目前推荐系统主要基于用户偏好和物品的相似度等标量进行推荐，忽略了用户的偏好方向，增加了不相关推荐的风险。基于此，本文提出基于方向性偏好的个性化序列推荐模型，通过推荐符合用户偏好方向的物品，综合用户的偏好和需求进行推荐从而提高了推荐的准确性。本文以电影评论数据集为背景，使用选择器多头自注意力机制和改进胶囊网络分别提取用户的长期偏好和短期需求，然后根据用户长期偏好和短期需求构成的偏好向量进行推荐。实验结果表明，模型的推荐准确性指标相比原模型提升了52%。 The current recommendation system is mainly based on scalar variables such as similarity of user preferences and items, ignoring the user’s preference direction, and increasing the risk of irrelevant recommendations. Based on this, this paper proposes a personalized sequence recommendation model based on directional preference, which improves the accuracy of recommendation by recommending items that conform to the user’s preference direction and integrating the user’s preferences and needs. Based on the movie review data set, this paper uses the selector multi-head self-attention mechanism and the capsule network to extract the user’s long-term preferences and short-term needs, and then recommends based on the user’s long-term preferences and short-term needs. The experimental results show that the recommended accuracy index of the model is improved by 52% compared with the original model.
目前推荐系统主要基于用户偏好和物品的相似度等标量进行推荐，忽略了用户的偏好方向，增加了不相关推荐的风险。基于此，本文提出基于方向性偏好的个性化序列推荐模型，通过推荐符合用户偏好方向的物品，综合用户的偏好和需求进行推荐从而提高了推荐的准确性。本文以电影评论数据集为背景，使用选择器多头自注意力机制和改进胶囊网络分别提取用户的长期偏好和短期需求，然后根据用户长期偏好和短期需求构成的偏好向量进行推荐。实验结果表明，模型的推荐准确性指标相比原模型提升了52%。
序列推荐，偏好方向，胶囊网络，多头自注意力机制，短期需求
Yuxuan Hu
College of Science, Northeastern University, Shenyang Liaoning
Received: Nov. 15th, 2021; accepted: Dec. 10th, 2021; published: Dec. 17th, 2021
The current recommendation system is mainly based on scalar variables such as similarity of user preferences and items, ignoring the user’s preference direction, and increasing the risk of irrelevant recommendations. Based on this, this paper proposes a personalized sequence recommendation model based on directional preference, which improves the accuracy of recommendation by recommending items that conform to the user’s preference direction and integrating the user’s preferences and needs. Based on the movie review data set, this paper uses the selector multi-head self-attention mechanism and the capsule network to extract the user’s long-term preferences and short-term needs, and then recommends based on the user’s long-term preferences and short-term needs. The experimental results show that the recommended accuracy index of the model is improved by 52% compared with the original model.
Keywords:Sequence Recommendation, Preference Direction, Capsule Network, Multi-Head Self-Attention, Short-Term Demand
Copyright © 2021 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
传统推荐系统方法主要包含基于内容的推荐方法、基于人口统计学的方法和协同过滤方法 [
序列推荐是推荐系统的一个研究方向，序列推荐 [
序列推荐的挑战主要有两点：1) 用户的偏好和需求是随时间动态变化的 [
从上面可以看出，目前主流的两种方法都有着一定的限制性。为了更准确地学习用户序列的特征，另一个突破点是结合多个方法的混合模型。例如，Tang等人 [
然而以上模型的推荐准则都是使用例如用户偏好和物品相似度等标量进行推荐，用户偏好和物品的相似度越高，则该物品越容易被推荐。但是单一标量准则忽略了用户的偏好方向，只能表达标量所表达的信息，容易为用户推荐相似度高但是不符合用户偏好/需求的物品。根据这个情况，DESR模型首次提出了偏好方向的概念，偏好方向定义为短期需求指向长期偏好，使用偏好方向进行推荐的优点是：综合了用户的长期偏好和近期的需求从而提高了推荐的准确性，减少了不相关推荐的风险。
尽管使用偏好方向的推荐综合考虑了用户的长期偏好和短期需求使得推荐更准确，但是DESR模型对于用户的长期偏好只是固定聚类表达了其单一的长期偏好，并没有考虑其长期偏好之间的依赖性和顺序演化，同样对于用户的短期需求也没有考虑其短期序列之间的依赖性。综上所述，可以建立模型来模拟用户长期和短期序列之间的依赖性和顺序演化，提升推荐的准确性。本文的贡献：
1) 根据用户行为习惯个性化划分用户序列。根据每个用户不同的行为习惯特征，自适应地划分用户的长期和短期序列；
2) 使用带选择器的多头自注意力机制进行用户潜在长期偏好提取并学习长期偏好之间的依赖性和顺序演化，增加用户本质长期偏好的权重，减小噪声行为对长期偏好提取的影响；
3) 使用带注意力的胶囊网络表示用户短期需求，通过增加模型对用户近期需求的关注度来抽取用户短期需求序列的潜在特征；
4) 基于短期需求指向长期偏好的用户偏好向量的方向进行推荐，使得模型专注于用户偏好和短期需求，提升模型推荐的准确性。
多头自注意力机制在自然语言处理的任务中获得了很好的运用，其优点主要在于将输入序列映射到多个不同的特征子空间从而更好的学习输入元素之间的依赖关系。结合了位置向量的多头自注意力机制克服了RNN类模型中的长序列数据导致的梯度消失/爆炸问题，还可以并行运算，增加了模型的工程实现能力。在本文中，使用结合选择器的多头自注意力机制，可以很好地提取用户长期序列中潜在的长期偏好，减少噪声行为的影响。
假定有一个h个头的多头自注意力模型，输入序列为 X ∈ R N × d k ，其中第i个头的计算过程如下：
h e a d i = A T T ( Q i , K i , V i ) (1)
A T T ( Q i , K i , V i ) = s o f t m a x ( Q i K i T d k ) V i (2)
其中 Q i = X W i Q , K i = X W i K , V i = X W i V ， d k 是放缩因子，作用是防止softmax函数由于内层的内积过大而造成梯度爆炸/消失，dk为嵌入的维度。则多头自注意力的计算公式为：
M u l t i H e a d ( Q , K , V ) = c o n c a t ( h e a d 1 , h e a d 2 , ⋯ , h e a d h ) W O (3)
其中WO为待学习参数矩阵，h个头的注意力权重计算除了使用点积，还可以使用拼接或者感知机等方式进行结合，本文使用点积。
多头自注意力还加入了位置向量来学习序列之间的顺序关系。位置向量加在注意力权重计算之前，加入的形式为直接与输入序列的编码相加，位置向量构造公式为：
{ P E 2 i ( p ) = sin ( p 10000 2 i d p o s ) P E 2 i + 1 ( p ) = cos ( p 10000 2 i d p o s ) (4)
即将ID为p的位置映射为一个dpos维的向量，其第i个元素的值为PEi(p)。
传统自注意力网络模型考虑所有输入的元素，然而自注意力模型计算每个元素表示的时候仅仅只是将所有的输入的元素考虑在内，而没有考虑其对于当前元素的相关性。使用基于选择机制的自注意力可以针对每个计算表示的元素，动态地选择与之具有相关性的子集，然后作为输入进行后续的自注意力计算。
选择器注意力的计算过程为：
A T T K S ( A , Q , K ) = s o f t m a x ( A Q K T d ) V (5)
A = s i g m o i d ( Q K T ) (6)
选择器模块对初始注意力权重进行sigmoid操作，保留大于阈值的权重，去掉小于阈值(本文选取阈值为0.5)的权重进而达到减小噪声影响，保留影响大的数据的作用。
胶囊网络是由Hinton [
图1. 胶囊网络结构图
图1中，胶囊网络的通过一种迭代的“动态路由”算法抽取输入数据的特征，通过动态路由算法，多次迭代之后输出的向量会聚集成可以代表之前输入向量高层特征。假设有底层输入特征 u = ( u 1 , u 2 , ⋯ , u n ) ，经过胶囊网络提取高层特征 v = ( v 1 , v 2 , ⋯ , v k ) 的计算过程如下：
v i = W i u i (7)
s = ∑ i = 1 n c i v i (8)
v = S q u a s h ( s ) (9)
S q u a s h ( s ) = ‖ s ‖ 2 1 + ‖ s ‖ 2 s ‖ s ‖ (10)
其中Wi由反向传播确定，ci的值由动态路由算法确定。Squash()称为挤压操作，用来“挤压”向量的模值且不改变向量方向。
动态路由算法确定ci值的伪代码如下：
本文提出的基于方向性偏好的个性化序列推荐模型SDESR的框架如图2所示，其主要分为四部分：1) 输入层：输入用户的历史行为序列并自适应地划分为长期序列和短期序列，然后进行编码；2) 长期偏好提取层：使用带选择器的多头自注意力机制基于长期序列提取用户的长期偏好；3) 短期需求推断层：使用基于注意力的胶囊网络提取高层用户短期需求特征；4) 方向性偏好推荐层：根据前两步求出的用户长期偏好和短期需求向量构建用户的偏好向量，最后根据偏好向量推荐符合用户短期需求和长期偏好的物品加入用户的推荐列表。
由于每个用户的行为习惯不同，其偏好的形成和演化过程也不同，所以需要根据用户的行为习惯来划分用户的行为序列，于是本文提出习惯因子特征habit_factor，根据习惯因子特征自适应地划分用户短期行为序列会话。
假定有用户u的行为序列嵌入 H = ( h 1 , h 2 , ⋯ , h n ) ，每个行为发生的时间戳与上一次行为的时间间隔序列为 T H n = ( t 1 , t 2 , ⋯ , t n − 1 ) ，对于一个包含 l ( < n ) 个行为的序列片段 H l ，其习惯因子特征为：
h a b i t _ f a c t o r H l = λ D ( T H l ) + ( 1 − λ ) D ( H l ) (11)
其中D()表示方差。习惯因子特征刻画了该段行为序列中每个行为发生的时间与前一行为发生的时间紧密性以及该段行为序列内部联系的紧密性。给定阈值hf (由数据的分布特点决定)，本文将 h a b i t _ f a c t o r H l < h f 的行为划分成同一段短期行为序列。
图2. SDESR模型框架
由于每个人的偏好是不断演化的，并且受到之前的行为影响会丢弃或者新生成一些长期偏好，所以在用户的序列数据中存在一些噪声行为，根据此考虑在学习用户长序列数据特征时“去伪存真”，使用选择器自注意力保留用户本质的偏好，去除不相关的噪声行为的影响。
长期偏好提取部分以用户长期序列编码矩阵作为输入，输出用户的长期偏好向量，具体结构框架如图3所示：
图3. 选择器多头注意力网络框架
给定用户长期序列行为的编码矩阵 X l o n g n × d k ，首先输入带h个头的选择器多头自注意力网络学习用户行为在不同特征子空间的依赖和顺序关系，其中第i个头的计算过程为：
h e a d i = A T T K S ( A i , K i , V i ) (12)
A T T K S ( A i , K i , V i ) = s o f t m a x ( A i Q i K i T d k ) V (13)
A i = s i g m o i d ( Q i K i T ) (14)
其中 Q i = W i Q X p ， K i = W i K X p ， V i = W i V X p ， X p 为经过位置编码后的序列矩阵， X p = X l o n g n × d k + P E ( X l o n g n × d k ) 。最后将所有头的输出拼接并线性映射成k个长期偏好表示 p r e c a p k × d k ：
H e a d = C o n c a t ( h e a d 1 , h e a d 2 , ⋯ , h e a d h ) W C (15)
p r e c a p = H e a d W O (16)
其中WC和WO为待学习的参数。
选择器多头自注意力模型的目标函数为：
M S E ( p r e c a p , y l o n g ) = 1 k ∑ i = 1 k ( p r e c a p i − y l o n g ) 2 (17)
其中ylong为用户目标推荐列表中所有标签的均值。
用户当前的需求主要受近期的行为影响，并且影响程度随着时间的前溯减弱。基于此，在胶囊网络中引入注意力机制，对胶囊网络的输出进行注意力加权来对用户短期需求进行提取。
模型输入用户的短期行为序列 X s h o r t n × d k ，输出提取的用户短期需求特征 d e c a p ^ d × d k 。模型训练时，第i段短期行为序列的下一次行为嵌入 d e c a p i 作为其标签。
预测需求特征 d e c a p ^ 的计算过程如下：假定胶囊网络有d个输出胶囊，对一组含有M条记录的样本，输出其d个胶囊分别学习到的d个特征 c a p = ( c a p 1 , ⋯ , c a p d ) ，将第M条记录嵌入作为注意力的查询Qm分别对d个特征进行注意力加权：
A T T ( Q m , K c a p ) = s o f t m a x ( Q m K c a p T ) (18)
d e c a p = A T T ( Q m , K c a p ) V c a p (19)
其中 Q m = X s h o r t , M W Q ， K c a p = c a p W K ， V c a p = c a p W V 。
虽然用户最近一次行为最能代表其近期需求，但是推荐列表不是一次性的推荐，而是对用户未来一段时间的预测，需要考虑用户需求的演化性，所以为了更好地预测用户未来一段时间的行为，增加La作为辅助损失，自定义损失函数Loss如下：
L = 1 n ∑ j = 1 N ∑ i = 1 d ( d e c a p j − d e c a p j i ^ ) 2 (20)
L a = ∑ j = 1 N ( d e c a p _ m j ^ − d e c a p _ s j ) 2 (21)
L o s s = L + α L a (22)
其中，decapj是第j组短期序列的标签， d e c a p j i ^ 是第j组短期序列的第i个预测需求特征。 d e c a p _ m j ^ 是第j组短期序列的d个预测特征的均值，decap_sj是第j组短期序列的下s条标签的均值， α 是辅助损失的权重。增加了辅助损失的模型更能综合表达用户未来一段时间的综合需求。
给定目标用户的k个长期偏好向量 p r e c a p = { p r e c a p 1 , ⋯ , p r e c a p k } ，短期需求向量decap，则用户的偏好向量一共有k个，其中第 个偏好向量scapi为：
s c a p i = p r e c a p i − d e c a p (23)
给定候选物品嵌入 T t × d k ，模型为每个用户推荐固定个数LR个物品，根据角度矩阵Angle和距离矩阵Dis构成的得分矩阵Score给出推荐：
S c o r e = ( 1 − m _ b a s e ) A n g l e + m _ b a s e ( 1 − D i s ) (24)
A n g l e = c o s ( T , s c a p ) (25)
D i s = d i s ( T , d e c a p ) (26)
其中 c o s ( x , y ) = x T y ‖ x ‖ ‖ y ‖ ， d i s ( x , y ) = ( x − y ) 2 d i s m a x ， d i s m a x 为Dis的最大值。
根据推荐准则Score可以看出，对于候选物品集合中的每一个物品，若其方向与偏好向量方向夹角越小，其距离短期需求向量的距离越小，则其被推荐的概率就越大。
本文在真实电影数据集movielens-1m上进行实验，该数据集包含了电影推荐服务[movielens] (http://movielens.org)的5星评分和自由文本标记活动的信息。其中有9742部电影的100,836个评级和3683个标签。
本文仿真实验在macOS 11.4环境下进行，使用python3.8，基于pytorch框架进行开发实验。
本文将数据集中用户的电影历史记录按照时间戳排序，将用户按照8:2的比例划分数据集。首先基于电影标签数据使用Struc2Vec图嵌入方法构建每部电影节点与其对应标签节点的图并计算电影节点的嵌入表示。根据Struc2Vec算法原理，拥有相同或者相似的标签的电影节点其嵌入表示向量之间的距离也越近。
给定目标用户的预测推荐列表 { t 1 , ⋯ , t L R } 和标签电影列表 { y 1 , ⋯ , y l a b e l _ l e n } ，基于方向偏好的评价指标定义如下：
1) 推荐列表准确度
a c c u r a c y = 1 − 1 L R ∑ i = 1 L R min ( { d i s ( t i , y 1 ) , d i s ( t i , y 2 ) , ⋯ , d i s ( t i , y l a b e l _ l e n ) } ) (27)
d i s ( t i , t j ) = d M S E ( t i , t j ) d i s m a x (28)
其中ti为推荐列表中的待推荐电影嵌入，dismax为距离归一化参数，取所有电影嵌入之间距离的最大值。
2) 长期偏好准确度
a c c _ p r e = 1 − 1 L R ∑ i = 1 L R min ( { d i s ( t i , p r e c a p 1 ) , d i s ( t i , p r e c a p ) , ⋯ , d i s ( t i , p r e c a p K ) } ) (29)
acc_pre是衡量推荐列表中待推荐电影与目标用户的长期偏好的准确度，acc_pre值越大，则表示推荐列表越符合目标用户的长期偏好。
3) 短期需求准确度
a c c _ d e = 1 − 1 L R ∑ i = 1 L R d i s ( t i , d e c a p ) (30)
acc_de是衡量待推荐电影符合目标用户短期需求的准确度，acc_de值越大，则推荐列表越符合目标用户短期需求。
为了验证本文提出的SDESR模型的有效性，选取以下模型作为对比模型：
1) RAND：基于随机的方法，基于本文的数据集是从用户电影历史记录中没有的电影中随机生成推荐。
2) LSTM：长短时记忆网络，可以学习序列之间的顺序性和长距离依赖关系，相比于RNN其能在更长的序列中有更好的表现。
3) KFN：原理与KNN相似，即根据邻居的行为提供推荐。
4) DESR：首次提出使用方向性偏好进行推荐的模型。
本节主要分析SDESR模型中两个主要模型的超参数影响。首先是带选择器的多头自注意力网络的超参数precap_num，其表示多头自注意力网络输出长期偏好的个数，实验结果见图4：
图4. 自注意力网络输出长期偏好个数对模型精度影响
从图4可以看出，当precap_num = 5时，模型的MSE最小，对于用户的预测偏好最准确，于是选取输出长期偏好个数k = 5。
其次是带注意力的胶囊网络训练超参数：decap_len和kernel_size，分别表示胶囊网络损失函数的标签个数和胶囊网络中每个胶囊抽取序列的窗口长度。实验结果如图5：
图5. 胶囊网络模型超参数
从图5可以看出，当窗口长度kernel_size = 7，标签个数decap_len = 10时，模型效果最好。
最后是模型的推荐超参数m_base，其表示得分矩阵中短期需求距离矩阵的权重，当m_base值越大时，符合用户短期需求的物品越会被推荐，实验的结果见图6。
从图6可以看出，随着m_base值增加，模型的长期偏好准确性上升幅度很小，短期需求准确性上升幅度最大，总体准确性上升幅度也随着短期需求上升而上升。根据实验结果，本文选取m_base = 0.9。
图6. 得分矩阵超参数对模型推荐效果影响
基于上一节确定的超参数值，在为用户推荐LR = 10个电影的情况下，对比了本文提出的模型和对比模型之间的效果，对比结果见表1：
| 模型 | accuracy | acc_pre | acc_de |
|---|---|---|---|
| RAND | 0.150 | 0.129 | 0.291 |
| KFN | 0.225 | 0.268 | 0.349 |
| LSTM | 0.454 | 0.420 | 0.533 |
| DESR | 0.344 | 0.668 | 0.429 |
| SDESR | 0.523 | 0.857 | 0.758 |
表1. 不同模型对比结果
从表1可以看出，本文提出的SDESR模型在三个指标下的表现效果均为最佳，其中总体准确度accuracy相比DESR模型提升了52%，相比传统序列推荐模型LSTM提升了15%，相比KFN和RAND分别提升了超过80%。在长期偏好准确度acc_pre方面，SDESR模型比DESR模型提升了28%。短期需求准确度acc_de方面，SDESR模型相比DESR提升了76%。综上所述，SDESR模型在长期偏好和短期需求表达方面表现均优于对比模型，相比基于标量的推荐，基于偏好向量的推荐更加符合用户偏好。
一个好的推荐系统不仅要推荐符合用户偏好的项目，还要有开拓用户视野的能力，本节探究了m_base参数对模型多样化和差异化推荐的影响，定义模型多样性指标div和差异性指标difference：
d i v = 1 L R 2 ∑ i = 1 L R ∑ j = 1 L R d i s ( t i , t j ) (31)
d i f f e r e n c e = 1 L R ∗ L H ∑ i = 1 L R ∑ j = 1 L H d i s ( t i , t j ) (32)
其中LH为目标用户历史记录中的电影数，div反映了推荐列表中各推荐项目之间的不同程度，difference反映了推荐列表与用户历史记录的差异程度。实验结果见图7：
图7. m_base对模型多样性和差异化推荐的影响
从图7可以看出，随着m_base值增加，即当模型越来越关注用户短期需求时，模型的多样性和差异性效果均下降。其中模型推荐差异性随着m_base值增加下降幅度较小，而多样性下降和波动幅度较大，说明m_base值主要影响模型的推荐多样性，即模型越关注用户的短期需求，模型推荐的物品越单一化。
目前大部分推荐模型主要基于用户偏好与项目之间的相似度等标量进行推荐，忽略了用户的偏好方向，本文基于方向性偏好，综合用户长期偏好和短期需求为用户推荐既符合用户偏好又专注用户需求的物品。本文提出的基于方向性偏好的个性化序列推荐模型，利用用户的序列数据，使用带选择器的多头自注意力机制学习长序列数据中的顺序关系和依赖关系，保留重要特征，去除噪声信息，有效地提取了用户的长期偏好，并且专注用户的近期需求，通过提高模型对于用户近期的需求信息的关注来提高用户的短期需求预测准确度从而提升模型的推荐效果。实验结果表明，本文提出的模型相比于原模型在长期偏好和短期需求方面的推断准确性有很大的提升，使得本文模型的推荐效果进一步提升，但本文提出的模型在多样性推荐和差异性推荐方面还未有很有效的解决方法，希望在未来的工作中提供更加多样化的推荐。
胡雨萱. 基于方向性偏好的个性化序列推荐模型Personalized Sequence Recommendation Model Based on Directional Preference[J]. 计算机科学与应用, 2021, 11(12): 2932-2944. https://doi.org/10.12677/CSA.2021.1112297
https://doi.org/10.1016/j.jhydrol.2020.125285
https://doi.org/10.1016/j.ins.2019.09.007
https://doi.org/10.3390/su12104107
https://doi.org/10.24963/ijcai.2019/883
https://doi.org/10.1145/3018661.3018689
https://doi.org/10.1109/ACCESS.2020.3027380
https://doi.org/10.1145/3308558.3313650
https://doi.org/10.1145/3357384.3357868
https://doi.org/10.1145/3366423.3380100