定义 $A\in R^{N\times M}$为用户–物品邻接矩阵，其中N代表用户的数量，M为物品的数量。矩阵中的元素 $a_{ui}\in A$表示用户 $u\in U$与物品 $i\in I$是否有交互行为，若有交互行为，可将其取值为1，反之，则取值为0。通过用户–物品邻接矩阵可以构建对应的用户–物品交互图 $G\in \left(W,V\right)$，其中W为图中节点集合，包含用户集合 $U=\left\{u_1,u_2,\cdots ,u_N\right\}$和物品集合 $I=\left\{i_1,i_2,\cdots ,i_M\right\}$，V为图中边的集合，描述了用户与物品之间的交互，若用户u与物品i有交互行为，则在图中存在一条用户节点u到物品节点i的边，可以表示为 $\left(u,i\right)$。构建初始嵌入矩阵 $e\in E^d$如公式(1)，其中 $e_u$表示用户u的嵌入向量， $e_i$表示物品i的嵌入向量，d为嵌入向量的维度。将以上信息作为模型的输入，之后通过图卷积层来学习用户和物品的嵌入表示。

$E=\left[\underset{user}{\underset{︸}{e_{u_1},\cdots ,e_{u_N}}},\underset{item}{\underset{︸}{e_{i_1},\cdots ,e_{i_M}}}\right]$(1)

LightGCN在设计上简化了图卷积网络的复杂性，专注于利用图的连通性来提升节点的嵌入的学习效果。本文所提出的推荐模型也是在其基础上进行改进的。在LightGCN中的图卷积操作如下所示。

$e_u^{\left(k\right)}={\displaystyle \underset{i\in N_u}{\sum }\frac{1}{\sqrt{\left|N_u\right|\left|N_i\right|}}{e}_i^{\left(k-1\right)}}$(2)

$e_i^{\left(k\right)}={\displaystyle \underset{u\in N_i}{\sum }\frac{1}{\sqrt{\left|N_u\right|\left|N_i\right|}}{e}_u^{\left(k-1\right)}}$(3)

其中 $e_u^{\left(k\right)}$和 $e_i^{\left(k\right)}$分别表示用户u和物品i在k层图卷积后学到的嵌入表示， $N_u$和 $N_i$表示与其有交互行为的集合， $\text{1}/\sqrt{\left|N_u\right|\left|N_i\right|}$是一个归一化项，可以有效的避免节点的嵌入表示随着图卷积操作而变大 [8] 。值得注意的是，LightGCN只包含邻居节点向中心节点的消息传递，而不包括节点的自连接。

模型整体结构如 图1 所示，首先通过图注意力网络层将图结构与用户节点特征结合对用户节点进行分类，将用户节点划分到多个子图中。然后在子图中进行高阶嵌入传播以学习节点的深层次嵌入表示。最后将节点本身的嵌入表示与不同卷积层下得到的嵌入表示聚合得到节点最终的嵌入表示。将得到的用户与物品的嵌入表示通过内积方式获得推荐候选集。

为解决图卷积网络中存在的过平滑问题，通过用户分组策略对原有图中的消息传递过程进行优化。将原本的用户–物品交互图划分为多个交互子图，并在子图内部进行消息传递，避免了高阶邻居所带来的负面信息干扰，更有利于学习节点的嵌入表示。首先根据用户的特征对用户节点进行分类，划分到同一类别的用户视为具有相似兴趣，然后将同一类别用户划分到同一子图中，同时与这些用户直接相连的物品节点也划分到子图中，以保持子图内部用户–物品交互关系的完整性。每个用户只属于一个子图，而每个物品则可以存在于多个子图。将子图划分定义为G_g， $g\in \left(\text{1},\cdots ,N_{\text{g}}\right)$，N_g表示第g张子图。

在推荐系统中，用户的直接交互行为被视为其兴趣倾向的直接体现，因此，与用户发生过交互的物品可以作为用户节点的特征。同理，与物品有过交互行为的用户作为物品节点的特征。对具有交互行为的节点之间进行消息传递。将目标节点(无论是用户还是物品)的所有一阶邻居节点的信息，通过消息传递机制对这些邻居节点的特征进行聚合，从而生成一阶用户u和物品i嵌入表示。一阶消息传递的嵌入表示如下：

$e_u^{\left(1\right)}={\displaystyle {\sum }_{ig\in N_u}\frac{1}{\sqrt{\left|N_u\right|\left|N_i\right|}}}\left(e_{ig}^{\left(0\right)}\right)+e_u^{\left(0\right)}$(4)

$e_{ig}^{\left(1\right)}={\displaystyle {\sum }_{u\in N_i^g}\frac{1}{\sqrt{\left|N_u\right|\left|N_i\right|}}}\left(e_u^{\left(0\right)}\right)+e_{ig}^{\left(0\right)}$(5)

在高阶嵌入传播中，消息不仅仅在直接相邻的节点之间传递，而是通过多跳邻居节点逐步扩散，使得每个节点的嵌入能够学习到更远距离的邻居节点信息，从而捕获更深层次的图结构特征。子图由同一类别用户及其交互物品组成，因此用户可以接收到其所交互过的所有物品节点传递过来的消息，这些消息将共同构成用户节点的嵌入表示。由于同一物品可以存在于多个子图，所以物品节点接收的消息来自于多个子图。为学习到物品节点的嵌入表示，需要将每个子图中学习到物品节点的嵌入表示组合起来。其中 $e_{ig}^{\left(k\right)}$表示物品节点i在第g个子图中第k层图卷积后的的嵌入表示。本文将高阶图卷积操作定义为：

$e_u^{\left(k+1\right)}={\displaystyle {\sum }_{ig\in N_u}\frac{1}{\sqrt{\left|N_u\right|\left|N_i\right|}}}\left(e_{ig}^{\left(k\right)}\right)+e_u^{\left(k\right)}$(6)

$e_{ig}^{\left(k+1\right)}={\displaystyle {\sum }_{u\in N_i^g}\frac{1}{\sqrt{\left|N_u\right|\left|N_i\right|}}}\left(e_u^{\left(k\right)}\right)+e_{ig}^{\left(k\right)}$(7)

通过对节点进行分类并划分子图，可以确保消息传递只在各子图内部进行，避免了因无关节点间消息传递导致的噪声干扰，从而提升了节点的嵌入学习。改进的模型中特别强调了节点自身特征在构建其嵌入表示时的重要地位，认为节点本身的属性信息能够揭示其内在特性与行为模式，因此，在构造节点间消息传递时，加入了节点自身的特征信息。 $e_{ig}$表示从子图g中具有相似兴趣的用户学到的特征。将不同子图中学习到的物品节点的嵌入表示进行组合，获得物品i经过k层图卷积的嵌入表示，即：

$e_i^{\left(k\right)}={\displaystyle {\sum }_{g\in G}{e}_{ig}^{\left(k\right)}}$(8)

其中G是物品节点i所属的子图集合。

经过多层图卷积后，将所有层的用户和物品的嵌入表示通过加权求和来得到最终用户u和物品i的最终表示。其中α_k设为1/(k+1) (k是层数)。

$e_u={\displaystyle \underset{k=0}{\overset{k}{\sum }}{\alpha }_k{e}_u^{\left(k\right)}}$(9)

$e_i={\displaystyle \underset{k=0}{\overset{k}{\sum }}{\alpha }_k{e}_i^{\left(k\right)}}$(10)

将上述得到的用户嵌入表示 $e_u$和物品嵌入向量 $e_i$，采用内积的方式来获得用户对物品的偏好分数。

${\hat{y}}_{ui}=e_u^T{e}_i$(11)

模型采用贝叶斯个性化排序损失函数进行优化 [9] 。

$L={\displaystyle \underset{(u,i,j)\in O}{\sum }-\ln \sigma \left({\hat{y}}_{ui}-{\hat{y}}_{uj}\right)}+\lambda {\Vert \Theta \Vert }_2^2$(12)

其中 $O=\left\{\left(u,i,j\right)|\left(u,i\right)\in R^{+},\left(u,j\right)\in R^{-}\right\}$表示训练数据集，包含用户u，正样本物品i和负样本物品j。σ是激活函数，λ是正则化系数。 $\Theta =e^{\left(0\right)}$代表模型参数。 ${\Vert \Theta \Vert }_2^2$是参数的L2范数的平方。另外采用梯度下降优化算法ADAM对模型参数进行更新。

本节主要介绍的是子图生成模块，该模块通过用户–物品交互图构建一系列子图 $G\in \left\{1,\cdots ,N_g\right\}$，其中每个子图由具有相似兴趣偏好的用户及其交互物品组成。本文将用户划分到不同子图的过程定义为一个分类问题，将每一个用户唯一地分配至一个子图中，而每一个物品可以存在于多个子图中。在构建子图模块时，采用图注意力网络(Graph Attention Networks, GAT) [10] 作为用户分类器，根据用户特征对用户节点进行分类并划分到各子图中。对于每个子图，其内包含同一类别的用户，依据用户分类信息，若某用户不属于当前类别，则在原始用户–物品邻接矩阵中移除该用户与所有物品的邻接关系，从而得到子图的邻接矩阵。用户表示为一个特征向量，该向量融合了图结构信息与节点特征。通过注意力系数加强具有相近兴趣用户的表示，从而实现高效而精准的用户分类。

${\alpha }_{ij}{\text{=softmax}}_{\text{j}}\left({\text{e}}_{\text{ij}}\right)\text{=}\frac{\text{exp}\left({\text{e}}_{\text{ij}}\right)}{{\displaystyle {\sum }_{\text{k}\in {\text{N}}_{\text{i}}}\text{exp}\left({\text{e}}_{\text{ik}}\right)}}$(13)

${\mathrm{e}}_{ij}=LeakyReLU\left(a^T\left[W{u}_i\Vert W{u}_j\right]\right)$(14)

其中 $u_i$和 $u_j$是用户节点i和节点j的特征向量， $W\in R^{\left(D\times D^{\prime }\right)}$是权重矩阵， $\Vert$表示向量拼接操作，a是一个单层矩阵， $e_{ij}$表示节点i和节点j之间的注意力系数， $N_{ij}$表示与节点i有交互行为的所有节点集合， ${\alpha }_{ij}$是归一化后的注意力系数。首先利用权重矩阵将节点特征向量从原始维度映射到一个新的特征空间。这样做的目的是为了使得不同特征维度间能够进行有意义的交互。对于节点i和j其变换后的特征分别表示为 $W{u}_i$和 $W{u}_j$。接下来，将变换后节点的特征向量拼接起来，形成一个更高维度的向量。然后，利用一个可学习的权重向量a和上述拼接后的向量进行点积操作，之后通过一个非线性激活函数LeakyReLU得到一个标量值 $e_{ij}$，为了确保所有邻居节点的注意力系数之和1，从而形成一个概率分布，需要对 $e_{ij}$进行归一化处理得到注意力系数 ${\alpha }_{ij}$，通常使用softmax函数来实现。以上是注意力系数的计算方法，最后将得到的注意力系数与其对应的特征进行线性组合，以作为节点的最终输出特征，用于预测用户属于哪个子图。

$u_i^{\text{'}}=\sigma \left({\displaystyle {\sum }_{j\in N_i}{\alpha }_{ij}W{u}_j}\right)$(15)

在这一步中是一个消息传递的方式，通过加权求和的方式进行消息聚合。表示节点i的输出特征是与和它相邻的所有节点有关，是它们线性和非线性激活后得到的。本文采用无监督的方式将用户节点分到不同的子图中，所以并不需要真实的用户节点标签。

本文在三个数据集上进行了实验，实验数据集如 表1 所示。

本文采用召回率(Recall)和归一化折损累积增益(Normalized Discounted Cumulative Gain, NDCG)来衡量推荐系统的性能 [11] 。

模型基于深度学习框架pytorch1.8.0实现，实验参数如 表2 所示。

在本节中，首先评估MSGCN模型在不同卷积层数下的性能，然后研究子图数量对模型性能的影响。

为了验证改进后的算法在深层结构下的有效性，选择Gowalla数据集作为测试数据集，增加模型深度并与LightGCN进行比较。 图2 展示这一系列对比实验的结果，其中G-LightGCN-2、G-LightGCN-3和G-LightGCN-4分别表示具有2、3、4个子图的模型。从数据中可以看出当图卷积层数从1层递增至9层时，各模型推荐性能的演变情况。

图2. 不同图卷积网络层数下推荐性能对比图

在图中可以发现随着图卷积层数的增加，LightGCN的各项评价指标呈现出持续下降的趋势。这表明它在深层结构中存在过平滑问题。相比之下，本文所提出的模型在经历同样层数增长的过程中，其评价指标却呈现出稳步提升的态势。结果证明了改进后的模型在缓解过平滑问题上的能力，验证了改进后的模型的有效性。

图3. 子图个数不同推荐性能对比图

图3 展示在相同卷积层数时，不同子图划分数量对性能的影响。随着子图划分数量的增长，推荐系统的性能指标呈现出持续下滑的趋势。当划分5个子图时，其性能不仅显著低于仅划分成少数子图(少于5个)的其他三个实验组，且差距明显，证明了过度细化子图划分对推荐性能的消极影响。这一现象提示我们，在子图划分的优化过程中，存在一个临界点，越过此点，继续增加子图数量非但无法带来性能增益，反而可能引入噪声或复杂性，对模型的泛化能力和推荐准确性造成负面影响。

为了验证MSGCN模型的有效性和可行性，本文选取几种主流的推荐算法来进行比较。

NeuMF：作为一种前沿的神经网络驱动的协同过滤模型，其运用多层隐藏神经网络架构，以及用户和物品嵌入向量的串联操作，精确捕捉用户与物品之间复杂的、非线性的特征交互模式。

Hop-Rec：将矩阵分解技术与图结构信息相结合，通过在用户–物品交互图上实施随机游走策略，依据节点的度信息以概率方式选取不同的正样本对。

NGCF：通过图卷积网络在用户–物品交互图上进行消息传递，以此来捕获用户和物品之间的高阶相关性。通过多层图卷积操作，逐步融合高阶邻居节点的信息，从而学到更丰富的用户和物品嵌入表示。

LightGCN：作为NGCF的优化升级版本，通过严谨的消融实验，去除不必要的特征变换与非线性激活操作，并在最终的节点表示聚合阶段引入权重因子以平衡不同阶邻居信息的贡献。

实验结果如 表3 所示，改进后的模型在3个数据集上都优于其他模型。