一种基于长短期偏好序列的推荐模型.docx

?

?

一种基于长短期偏好序列的推荐模型

?

?

边晶李国梁

摘要：解决信息过载问题较好的办法之一就是采用推荐算法。为了达到更好的效果，本文提出了一种新的推荐模型。此模型基于长短期序列推荐，利用自注意力机制从用户的历史交互记录推断项目之间的关系，然后借助自注意力估算出用户交互的权重，对全局信息进行捕获，然后利用残差网络进一步发现项目之间潜在的关系。

关键词：推荐系统;自注意力机制;序列推荐

1.引言

随着互联网的发展，数据变得越来越多，如何从如此之多的数据中选择有效的信息，成为用户当前需要考虑的一个重大问题，而推荐系统的诞生就是为了解决此类信息过载的问题[1]andEvaluations/titlesecondary-titlearXivpreprintarXiv：1905.01997/secondary-title/titlesperiodicalfull-titlearXivpreprintarXiv：1905.01997/full-title/periodicaldatesyear2019/year/datesurls/urls/record/Cite/EndNote。近些年来，深度学习技术在顺序推荐中引起了越来越多的兴趣，但当将其应用于推荐系统时，很难在一个较长的序列中对项目的依赖关系进行建模，也无法捕获序列的全局信息和项目之间的交互。

受到Zhangetal.的启发，本文提出了一种基于长短期偏好序列的推荐模型。利用此模型的短期偏好推荐和长期偏好推荐可以明确地调用用户的整个历史序列中的项目-项目交互，实现模型学习序列的全局表示;在卷积网络部分，采用残差网络将低层的有用信息传播至高层，进而提高模型的性能。

2.模型

本文提出一种基于长短期偏好序列的推荐模型，包括以下三个部分。

2.1短期偏好建模

用户近期与项目之间的的交互能够反映用户的需求，因此需要对用户的短期偏好进行建模。首先通过自注意力机制获取用户的全局信息，然后使用卷积网络获得项目之间的非线性关系。

在自注意力机制中允许接收n个输入，然后将这n个输入进行自乘，最后得到用户交互和注意力得分的总和。通过自注意力的这种表达形式可以了解整个序列的信息，而且无论序列内元素的距离如何，都能捕获它们之间的关系。

如图1所示，自注意力机制的输入由query，key，value构成，而且这三个值是由用户的交互序列决定，其中，d表示潜在空间的维数。假设用户的短期交互的长度为L，即

，则交互矩阵的行是用户的交互历史，列则是维度。

首先，自注意力机制的数学公式定义如下：

Q、K、V分别表示查询（query）、键（key）和值（value）。其输出定义为

=Attention（Q，K，V）#?????????????????????????????（2）

其中V是输入矩阵，Q和K是输入矩阵通过映射权重矩阵WQ和WK（WQ∈Rd×d=Wk∈Rd×d）得到的，映射关系是ReLU函数，也就是Q=ReLU（WQV），K=ReLU（WkV）。ReLU（RectifiedLinearUnit）是广泛使用在深度学习中的非线性激活函数，它的数学表达式如下：

ReLU（x）=max（x，0）#?????????????????????????????????（3）

在自注意力输出之前会进行掩码操作，这样可以减少对交互矩阵进行填充时的消极影响，自注意力的输出是一个L×L的矩阵，此矩阵认为是L个项目之间的相似矩阵。另外，?是用于缩放上面点积的缩放因子，从而防止梯度变得太大。

接下来，把输出的矩阵和value（也就是???）相乘，最后得到的结果是最终的加权输出：

其中∈RL×d，输出认为是用户的短期偏好的表示。为了学习用户的单一注意表示，我们将L个自我注意表示的均值进行嵌入。

在自注意力機制当中，并不包含任何的时间以及位置信息。如果没有上述信息的话，模型将无法保证输入的数据保持序列模式。ShawPetal.[21]和LiJetal.[22]Yujie/authorauthorMcAuley，Julian/author/authors/contributorstitlestitleTimeIntervalAwareSelf-AttentionforSequentialRecommendation/titlesecondary-titleProceedingsofthe13thInternationalConferenceonWebSearchandDataMining/secondary-title/tit