基于图神经网络和改进自注意网络的会话推荐

盛 强，成卫青

(南京邮电大学计算机学院，江苏 南京 210023)

随着互联网信息技术的不断发展，用户在网上从事各种活动，例如电影、购物、社交等行为产生了庞大的信息，加剧了信息过载。现在越来越难以从庞大信息中找出适合自己需求的信息。推荐系统在帮助缓解信息超载问题和选择合适内容方面发挥着重要作用。其根据当前会话中的动作序列来预测用户的下一个动作，可以有效缓解网上信息过载的问题。传统的推荐系统只是将用户与物品的交互历史放在一个二维评分矩阵中，通过填补这个矩阵的空缺来实现预测，但在现实应用中可能存在数据稀疏和冷启动问题，而且许多应用场景中用户的意图和用户身份有可能都是未知的，在正在进行的会话中只有用户的历史操作。与传统推荐不同的是，序列化会话推荐将用户历史交互的项目作为完整序列而不是项目的简单集合，以便准确预测他们将与之交互的下一个项目。由于序列化会话推荐更符合实际情况，并且在考虑更多信息的情况下可以获得更准确的结果，因此目前受到了广泛研究。

基于马尔可夫链（Markov Chain， MC）［1］是经典序列化推荐方法，它假设下一个动作是在前一个动作的基础上进行的，该方法已成功地用于捕获推荐的短期项目转换。它们通过作出强有力的简化假设，在高稀疏性环境中表现良好，但在更复杂的场景中可能无法捕捉复杂的动态。

近年来，越来越多的基于深度学习的方法被用于会话推荐，GRU4Rec［2］是最早将递归神经网络应用于顺序推荐的模型，之后又通过数据扩充和考虑用户行为的时移来增强GRU4Rec模型。Caser［3］利用卷积神经网络（CNN）来学习会话中复杂的短期信息。在其他的一些研究中，图神经网络（GNN）成为提取用户短期意图的重要的组成部分。SR⁃GNN［4］和 GC⁃SAN［5］利用图神经网络捕获会话图中复杂的项目信息并结合注意力机制来捕获用户偏好。然而，这些基于深度学习的方法大多对会话全局偏好的学习不够重视，更多考虑的是用户当前会话的局部偏好，而忽略了来自其他会话的有用的项目信息和用户的长期静态偏好。

因此，本文提出了一种基于图神经网络和改进自注意力网络相融合的推荐模型，简称GNN⁃SAP，从会话的局部偏好和全局偏好角度上考虑，不仅通过GNN和注意力机制来捕获当前会话的短期偏好，而且通过改进自注意力网络作为全局模块来捕获会话的全局静态偏好。此外，为会话序列加入位置嵌入模块，以保存会话序列中用户访问顺序信息。

本文的主要贡献如下：

（1）大多数基于会话推荐仅捕获用户会话的短期偏好，本文提出了通过改进自注意力网络（Improve Self⁃Attention）来提取用户会话中长期静态偏好，并与基于GNN局部偏好学习模块相结合共同预测用户的行为。

（2）考虑到会话序列用户访问的顺序，会话节点不同的访问顺序隐含了不同的信息，本文加入了可学习的位置嵌入模块，用于更好地学习会话序列之间的复杂信息，来进行准确地预测。

（3）本文在电商领域3个公开的数据集上进行了大量的实验，结果表明，本文提出的GNN⁃SAP模型在各项指标上均优于与之比较的9个基准模型。

本节回顾基于会话推荐系统的一些相关工作，包括传统推荐方法、基于深度学习的方法和基于注意力机制的推荐方法。

1.1 传统推荐方法

传统的推荐方法主要分为基于邻域的方法［6－8］，基于矩阵分解（MF）的方法［9－11］和混合推荐的方法［12］，其中基于矩阵分解的方法因其高效、准确而受到欢迎。矩阵分解（MF）方法寻求揭示潜在维度来代表用户的偏好和物品的属性，并通过用户和物品嵌入之间的内积来估计交互作用。在此之后提出了基于物品相似性模型［13－14］（如 FISM［13］），通过汇总用户交互项的表示来获取用户的偏好。通过这种方式，用户的历史交互项目和候选项目之间的因子相似性可以作为预测评级的标准，这为基于MF的模型提供了与基于邻域的模型一样的良好解释性。混合推荐在处理数量有限的用户交互时提供了更多的信息。传统推荐方法在数据较为稀疏的条件下表现良好，但在现实中交互数据较为复杂的场景下，可能无法捕捉深层所隐含的复杂信息，无法对用户行为进行更为精确的预测。

1.2 基于深度学习的推荐方法

近年来，随着深度学习的快速发展，已经彻底改变了推荐系统。传统的推荐方法已逐渐被基于深度学习的推荐方法所取代，其性能相较于传统推荐方法取得了较大提升。GRU4REC［2］是首次在会话的推荐系统中引入RNN，使用具有门控递归单元的深度递归神经网络来对会话数据进行建模，从会话的历史交互中学习会话表示，提供用户下一次点击的预测。由于RNN提供的序贯建模能力，它们的模型在预测下一步行动时可以考虑用户的历史行为。之后在此基础上，Tan等［15］提出了一种数据增强技术来提高GRU4REC基于RNN的会话推荐的性能。NARM［16］利用RNN上的注意力机制来捕获用户的顺序行为特征和主要目的。STAMP［17］是基于MLP网络和注意力机制的短期注意优先模型，可以有效地捕获用户的一般兴趣和当前兴趣。最近，Tang等［3］提出了一种基于卷积序列（CNN）进行建模的方法，通过水平卷积层和垂直卷积层来学习用户的动态变化。该模型比基于RNN的方法具有更好的性能。基于CNN和RNN推荐方法相较传统的推荐方法取得了不错的预测效果，但其需要从大量的数据中学习用户的表示才能取得较好的推荐结果，而在会话交互序列较为稀疏情况下，该类模型的学习相当困难，很难取得较好的效果。

1.3 基于图神经网络的推荐方法

随着CNN和RNN在推荐领域的成功应用，目前在许多领域研究火热的图神经网络也被应用到推荐系统中。在推荐系统中，图神经网络相较于CNN和RNN能够通过会话图更好提取用户和物品之间交互的信息，以做出准确的预测。Wu等［4］率先提出了基于图神经网络的推荐模型（SR⁃GNN），通过GNN和传统注意力机制来提取会话中用户短期动态偏好和预测用户的行为。随后，Xu等［5］提出了GC⁃SAN，通过GNN和自注意力机制来提取用户的偏好信息。Qiu等［18］提出FGNN模型，该模型通过多头注意力聚合其相邻会话的嵌入来学习每个项目的表示，并通过反复将每个学习的嵌入与每次与会话的相关性结合起来生成最终的会话表示。但是，以上这些方法都只对当前转换信息进行建模捕获，却忽略了来自会节点的全局静态偏好信息和其他会话有用的项目转换信息。

1.4 注意力机制

注意力机制最早是在视觉图像领域中提出的，Mnih等［19］首次对RNN模型使用注意力机制来进行图像分类，随后注意力机制被用到机器翻译［20］任务中。注意力机制背后的原理是输出依赖于特定的相关输入的部分。这种机制可以计算输入的权重，使模型更易于解释。最近，注意力机制已被应用到推荐系统［21－23］。

Transformer［24］是一种纯粹基于注意力的序列到序列方法，在机器翻译任务中实现了最先进的性能。Kang等［25］基于Transformer的简单并行化的自注意力机制，提出了一种基于自注意力的序列推荐模型（SASRec），其推荐效果优于基于MC／RNN／CNN的序列推荐方法。由于在序列化推荐方面取得了最先进的结果，之后许多模型在SASRec基础上进行改进和提升（如 TiSASRec［26］，AttRec［27］，FISSA［28］）。

大多数现有的推荐模型利用自注意力机制来捕获序列中的远距离项目转换，来进行用户预测并取得了不错的效果。然而，在相邻项目之间建立复杂的上下文信息仍然是一个挑战，而且大多数会话推荐忽略了其他会话可能包含了与当前会话相关的项目信息。

本文通过图神经网络来捕获当前会话的相邻项目之间的节点信息，并通过改进的自注意力网络来获取会话全局项目转换的信息，从局部和全局的角度上来更全面地预测用户下一次点击意图。

本节提出基于图神经网络和改进自注意网络的模型GNN⁃SAP，它将图神经网络和自注意力网络应用于基于会话的推荐中。下面先阐述基于会话推荐的问题，然后详细描述GNN⁃SAP模型。

2.1 问题描述

基于会话的推荐旨在仅根据用户当前的交互顺序预测用户下一步希望访问的项目。这里给出基于会话的推荐符号定义。

设 V ＝ ｛V1，V2，…，Vm｝， 表示所有会话中涉及的所有唯一项目的集合，令匿名会话 S＝｛V1，V2，…，Vn｝，其中Vt∈V表示会话S中用户在时间步长t的点击项目，基于会话的推荐目标是根据之前点击序列预测会话下一次的点击。本文通过GNN和传统注意力网络捕获当前会话S中交互历史中的局部信息，再结合全局偏好学习模块捕获的会话全局信息，来预测用户当前会话下一次点击的项目 Vn＋1， 最终对于会话 S，GNN⁃SAP 模型会输出所有可能访问候选项目的概率y＾，其中向量y＾的元素值是相应项的推荐分数，由于推荐者通常会为用户提出多个建议，因此一般将从y＾中选择前K个项目作为推荐。

2.2 工作流程

GNN⁃SAP从用户历史交互记录的当前会话的局部和全局上来提取会话序列的信息，同时为当前会话加入相关位置信息，以便保存用户会话交互记录所隐含的顺序信息。图1展示了GNN⁃SAP模型的工作流程。

图1 GNN⁃SAP模型图

（1）用户每次点击序列会构成一次会话，将会话构建成会话图，随后通过图神经网络（GNN）来提取会话图中当前会话节点所蕴含的丰富的信息。

（2）将GNN提取后的会话节点加入可学习位置信息，来保存其原有位置信息，并通过注意力网络来提取用户短期动态偏好。

（3）对于会话全局偏好学习，将会话序列通过位置嵌入模块加入位置信息，并送入基于改进的自注意力网络来提取会话的全局静态偏好，并且通过前馈神经网络（FFN）和残差网络来提取其非线性特征。

（4）最终将局部偏好与全局偏好非线性特征经过线性融合，再送入预测层，得到项目集合V中每个项目的得分，得分越高表示被用户点击的可能性越大。

2.3 图神经网络模块

首先将每个会话构建成一个会话图。给定会话S ＝ ｛V1，V2，…，Vn｝， 将每个项目 vi视为一个节点，将 （Vi－1，Vi） 视为一条边，表示用户在会话 S 中的Vi－1之后点击项目Vi，因此，每个用户会话序列都可以建模为一个有向图Gs＝ （γs，εs）。

由于会话序列中可能会重复出现多个项目，通过该边的出现次数除以该边起始节点的出度，来为每条边分配归一化权重。该模型可以支持构建各种会话图的方法，并生成相应的连接矩阵。最后图神经网络应用两个加权连接矩阵来捕获用户会话序列的局部信息。

接下来，通过图神经网络获得当前会话节点的潜在特征。首先把每个项目vi∈V转化为统一的低维潜在空间向量，节点向量Vi∈Rd表示项目v的d维潜在向量。对于会话图中的节点Vt，不同节点之间的信息传播可以形式化为

然后将它们和之前的状态vt－1一起输入到图神经网络中。因此，GNN层最终输出ht计算如下

式中， Wz，Wr，Wh∈ R2d×d，Pz，Pr，Ph∈ Rd×d表示可学习的参数；
σ（·）表示sigmoid函数，7表示逐元素乘法；
zt，rt分别表示更新门和重置门，决定要保留和丢弃的信息；
表示候选状态组合，ht表示GNN最终输出状态。

2.4 位置嵌入模块

用户会话交互序列的位置信息同样重要，会话历史交互顺序表明了用户兴趣随着时间的变化过程。为了保存会话交互位置信息，在GNN捕获的节点和会话全局序列之后加入可学习的位置嵌入模块P∈Rn×d，不仅能更好保存会话序列中的信息，而且还能过滤会话中的噪声。

式中，n表示会话的长度，hi表示图神经网络提取的项目节点，vi表示会话序列中用户点击的项目i，P＝［p1，p2，…，pn］ 其中， pi∈表示vi的位置向量信息。

2.5 注意力网络

考虑到经过GNN提取并加入位置信息之后，当前会话序列具有复杂的局部信息，会话中序列可能具有不同的优先级。为了使推荐系统更专注于找到会话序列中与用户偏好相关的信息，本文采用软注意机制来更好捕获会话的局部偏好sl。

式中，参数q∈Rd和W1，W2∈Rd×d表示嵌入向量的权重，c表示注意力偏置向量，αi表示序列xi的注意力分配系数。

2.6 全局偏好学习模块

Transformer在NLP领域中首次提出了自注意力机制，将嵌入层的输入通过线性投影分别转换为Query、Key和Value三个不同矩阵，并将它们输入到使用放缩点积的注意力层中。由于序列化所隐含的顺序性，在预测 （t＋1）项时应该只考虑前t项，而自注意力层的输出包含后续所有项目的嵌入，为了不依赖t时刻之后的输出，自注意力机制通过禁止Qi和Kj（j＞i）之间的点积来进行因果约束。自注意力机制的表示如下

尽管通过GNN和注意力机制可以很好地提取会话的局部动态偏好，但局部表示仍然忽略来自其他会话的有用的项目信息和会话的长期静态偏好。本文从会话的全局序列上考虑，不再对用户行为序列进行因果约束，使未来的更多可用信息可用于对训练期间序列的预测，以便更好地提取会话的全局偏好，图2展示了自注意力机制与改进自注意力机制的流程对比。

图2 自注意力机制与改进自注意力机制流程对比

在序列化会话推荐中，具有相似项目的序列往往具有相似的表示。通过参照其他会话具有代表性的项目信息，可以增强对当前会话相似项目的预测。因此，本文引入了一个由所有会话共享的可学习Query矩阵向量qs∈R1×d来代替原有投影转换的矩阵Query，同时放弃了原有自注意力机制中的因果约束，使得预测会话中每个项目时都可以参照全部序列，由此更好地来获取匿名会话序列中的全局偏好信息。全局偏好学习模块可以表示为

F ＝ LBA（E） ＝ softmax（qs（EW′K）T）EW′V（7）

式中，E∈Rn×d表示加入位置信息的会话序列节点， W′K，W′V∈ Rd×d表示通过投影学习矩阵参数。

2.7 残差网络

在某些情况下，多层神经网络已经证明了具有学习分层特征的能力。然而，在残差网络被提出之前，简单地增加层数并不容易应对更好的性能。残差网络的核心思想是通过残差连接将底层特征传播到高层。在使用前馈神经网络提取非线性特征时，为了防止深度神经网络退化，将底层全局会话的序列信息嵌入到最后一层，使模型更好地获取全局偏好信息。

2.8 前馈神经网络

尽管全局偏好学习模块可以用于捕获会话的全局信息，但其聚合会话全局的序列信息仍然是一个线性模型。为了赋予模型非线性并考虑不同潜在维度之间的相互作用，本文引入了前馈神经网络，其应用两个线性变换，通过中间的ReLU激活函数来提取非线性特征。为了低层特征传播到更高层特征，更好捕获全局信息，同时缓解深度神经网络中的过拟合问题，加入了残差网络和Dropout正则化技术。

式中， W3，W4∈ Rd×d，b1、b2表示偏置向量。

2.9 预测层

最后，通过对局部偏好表示和全局偏好表示的向量进行线性融合来表示最终的会话

式中，W5∈ Rd×2d，sl表示局部偏好，sg表示全局偏好。在获得每个会话最终表示后，通过将其初始嵌入项乘以会话表示sh来计算每个候选项目vi的得分，最后通过softmax函数获得最终输出

本文采用交叉熵损失函数来训练模型

本节首先描述实验中使用的数据集、评估指标和比较方法。然后，将本文提出的GNN⁃SAP方法与其他基线方法进行比较。最后，对不同实验环境下的GNN⁃SAP进行详细的分析。

3.1 数据集

本文在 Diginetica［29］、Tmall［30］和 Nowplaying［31］这3个真实数据集上验证本文所提出的GNN⁃SAP方法的有效性。其中Diginetica数据集来自2016年CIKM杯，本研究仅使用其中的交易数据，Tmall来自IJCAI⁃15大赛，其中包含匿名用户在天猫网购平台上的购物日志记录。NowPlaying数据集来自文献［31］，描述了用户的音乐收听的行为信息。

本文按照文献［4－5］对这3个数据集进行预处理。过滤掉数据集中长度为1的会话和出现次数少于5次的项目。将最新数据设置为测试数据，剩余的历史数据用于训练。对于会话序列S＝｛V1，V2，…，Vn｝， 生成输入和相应的标签 （｛V1｝，V2），（｛V1，V2｝，V3），…，（｛V1，V2，…，Vn－1｝，Vn） 用于在 3个数据集上进行训练和测试。预处理后的数据如表1所示。

表1 实验中数据集的统计数据

3.2 评估指标

本文使用P@K和MRR@K评估指标来评估推荐模型的性能，这些指标也广泛用于其他相关的评价工作。

P@K：P@K指标被广泛作为推荐领域预测准确性的衡量标准。P@K表示测试用例在排名列表中的前K个位置中具有正确推荐项目的比例。本文采用P@10，P@20用于所有测试。P@K定义为

式中，N表示推荐系统中测试样本数据的总量，nhit表示在前K个排名列表中具有正确项目的数量，当推荐项目出现在推荐的排名列表的前K个位置时发生命中。

MRR@K：平均倒数排名是正确推荐的项目的倒数排名的平均值。当排名超过K时，指标值设置为0。MRR度量考虑推荐排名的顺序，其中越大的MRR值表示推荐的项目排在列表顶部。本文采用MRR@10，MRR@20指标，MRR@K 定义为

式中，N表示测试数据中样本总数，M表示前K个推荐物品中包含正确项目的样本集，Rank（t）表示项目t在推荐排名列表中的排名。

3.3 基线算法

为了评价GNN⁃SAP方法的性能，本文将其与以下具有代表性的推荐方法进行比较：

POP：该模型是结构较为简单的推荐方法，总是根据训练集中物品出现的频率推荐项目，推荐出现频率较高的项目。

Item⁃KNN［32］：该方法是一个传统项目到项目的推荐，向用户推荐与会话中先前点击的项目相似的项目，其中相似性定义为会话向量之间的余弦相似性。

FPMC［1］：采用矩阵分解和一阶马尔可夫链分解的组合作为其推荐方法，可以捕获用户的长期偏好以及项目到项目的转换。

GRU4Rec［15］：一种基于RNN的会话推荐模型，由门控循环单元GRU组成，利用会话并行的小批量训练过程，并在训练过程中采用基于排名的损失函数。

NARM［16］：采用具有注意力机制的RNN来捕捉用户的主要目的和序列行为，并将其与候选项目相结合以生成推荐。

STAMP［17］：一种短期记忆优先级模型，采用注意力机制和MLP网络从之前的点击中捕获用户的长期偏好与会话中最后一次点击的当前兴趣相结合。

CSRM［32］：通过利用记忆网络来捕获最新的会话，以更好地预测用户当前会话的兴趣。

FGNN［18］：最近提出的一种通过设计加权注意力图层来捕获项目嵌入，下一个推荐的会话项目由图级特征提取器学习。

SR⁃GNN［4］：最近提出的基于会话的图神经网络推荐模型，通过GNN捕获当前会话的潜在信息并且通过传统的注意力网络提取会话中的信息进行预测。

3.4 实验参数设定

为使实验结果公平公正，所有基线模型的参数设置均一致。本文将3个数据集潜在向量的维度设置为 100，batch⁃size 大小设置为 100，对于 CSRM，将内存编码器大小设置为100，对于FGNN，将GNN层数设置为3，头数设置为8。在本文提出的模型GNN⁃SAP中，参数均使用均值为0且标准差为0.1的高斯分布进行初始化，并使用Adam优化器，其初始学习率为0.001，每3个epoch后将衰减0.1。L2惩罚系数设置为10－5，迭代次数为30。

3.5 实验结果分析

3.5.1 与基线模型比较

GNN⁃SAP和9个基线模型在3个真实数据集上的实验结果如表2所示。其中每一列的最佳结果以粗体突出显示，与基线模型相比 GNN⁃SAP在Diginetica上的表现比SR⁃GNN平均高出3.6%，在Tmall上平均高出8.7%，在Nowplaying上平均高出5.6%。可以观察到，GNN⁃SAP在所有3个数据集上以两个指标（k＝10和k＝20）一致地实现了最佳性能，从而验证了本文提出的方法的有效性。

表2 GNN⁃SAP与基线模型的性能对比

对于POP这种传统算法，它的性能相对较差。这种简单的模型仅基于重复的共现项目或对连续项目进行推荐，这在基于会话的推荐场景中是存在问题的。与POP相比，FPMC利用一阶马尔可夫链和矩阵分解在3个数据集上均显示了其有效性。Item⁃KNN在Diginetica和Nowplaying数据集上取得了比基于马尔可夫链的FPMC更好的结果。但是Item⁃KNN仅利用项目之间的相似性，而没有考虑会话序列顺序。这表明传统的基于马尔可夫链的方法主要依赖于连续项目的独立性的假设是不现实的。

在基于深度学习的会话推荐中，基于神经网络的方法与传统方法相比往往具有更好的性能。GRU4Rec作为基于 RNN的推荐方法，尽管在Diginetica和Nowplaying数据集上表现较差，但仍然显示了RNN在序列建模中的能力。NARM和STAMP在3个数据集上均优于GRU4Rec。NARM不仅使用RNN对会话序列进行建模，而且使用注意力机制来捕获主要会话序列中信息，这表明关键会话序列的信息在推荐中的重要性。STAMP基于注意力机制提取长期兴趣并将最后一次点击作为短期兴趣，将短期与长期兴趣相结合预测用户偏好，在几乎所有情况下都优于传统会话推荐。这一结果证明了在会话不同项目上分配不同的注意力权重将短期与长期偏好相结合的有效性。

在所有的基线方法中，基于GNN的方法在大多数情况下表现优于传统和基于RNN的方法。其考虑了当前会话中项目之间的转换，将每个会话建模为图形，通过GNN捕获当前会话节点的丰富信息。SR⁃GNN和FGNN证明了在基于会话的推荐中应用GNN提取局部信息的有效性。这表明利用图神经网络建模会话局部信息将比序列建模、RNN或集合建模更适合于会话推荐。

本文提出GNN⁃SAP方法通过GNN和注意力网络捕获用户的局部偏好，与之前推荐方法不考虑全局偏好或者简单提取全局偏好不同，本文在模型中加入了一个用来专门提取全局偏好表示的模块，以此更好地提取匿名会话的全局偏好。为了提取全局偏好非线性特征以及防止神经网络过拟合，加入了前馈神经网络和残差网络。考虑到不同访问顺序会话节点隐含了不同的信息，因此在会话节点之间加入了可学习的位置嵌入模块，保留原有的位置信息。

本文提出的方法GNN⁃SAP在所有3个数据集上都明显优于SR⁃GNN，具体结果如图3所示。与传统GNN和RNN方法不同，本文提出的方法考虑了会话全局信息和会话的局部信息，并且还集成了相对位置信息，从而获得一致的更好性能。

图3 GNN⁃SAP与基线模型的性能对比

3.5.2 不同捕获方式的影响

本文提出的GNN⁃SAP从会话局部和全局的角度考虑来预测用户行为，为了找出不同模块对GNN⁃SAP性能的贡献，本节进行了消融研究，比较仅采用局部偏好学习模块（GNN⁃Local）、全局偏好学习模块（GNN⁃Global）和两者相结合（GNN⁃SAP）的效果，如表3所示。请注意，这里只展示 P@20和MRR@20的结果，因为P@10和MRR@10的变化趋势与它们相似。

表3 不同捕获方式的比较

从表3结果可以看出，在3个数据集上，对于基于GNN的短期偏好学习比基于自注意力的长期偏好学习取得了更好的预测效果。这证明了图神经网络比注意力机制更适合用来提取当前会话节点的局部的复杂信息和动态偏好，同时全局偏好学习模块在捕获静态偏好上也具有一定的有效性。本文提出的GNN⁃SAP模型在3个数据集上明显优于单独的局部偏好学习和全局偏好学习模块，这表明从当前会话的局部和全局偏好捕获用户动态和静态偏好的有效性，局部信息与全局信息互补，为用户提供更好的推荐。

3.5.3 不同组件的影响

本文提出的GNN⁃SAP中加入了可学习的位置嵌入模块、FFN和残差网络等，本节通过消融研究来分析它们产生的不同影响，表4显示了默认方法及其变体在3个数据集上取得的效果。

表4 不同组件的性能比较

Remove PE（Postitional Embedding）：从 GNN⁃SAP中移除可学习的位置嵌入模块，从表4中可以看出，GNN⁃SAP在3个数据集上相比移除位置嵌入模块的方法取得了更好的效果。这表明在当前会话节点和全局会话序列中加入位置信息，可以更好地保存会话中原有访问顺序，以便更好捕获会话序列中的复杂信息，来进行更为准确的推荐。

Remove FR：从GNN⁃SAP中移除FFN和残差网络。从表4中可以看出，GNN⁃SAP在3个数据集上均表现比较好。这表明了通过加入FFN和残差网络来提取用户非线性特征和底层用户信息的有效性，能更好地提取用户会话的全局偏好信息。

本文研究了基于会话的推荐问题，这是一项具有挑战性的任务，因为由于隐私和数据保护的考虑，用户身份和历史访问记录常常难以获取。因此，本文提出了一种基于图神经网络和改进的自注意力机制的会话推荐系统。从用户全局偏好和局部偏好上共同考虑用户兴趣的变化。具体地说，首先将会话序列构建成会话图，通过GNN来提取会话图中丰富的局部上下文信息，随后通过注意力机制来提取用户的短期偏好。其次，通过改进注意力网络和前馈神经网络来提取会话的全局偏好，将局部上下文信息和全局上下文信息相融合，以增强对用户的预测。同时在用户会话中加入了位置嵌入向量，以保存原有的访问信息。在3个真实数据集上的实验结果表明，该方法显著优于9个基线算法。