图G首先经过预训练过属性图聚类网络得到聚类结果 $Q=\left\{q_{iu}\right\}$，并预测出图中每个节点的伪标签来扩充半监督分类任务的标签集，得到图的伪标签指示矩阵 $Y^{\prime }\in {ℝ}^{n\times K}$：

$\{\begin{array}{l}{y^{\prime }}_{ik}=1,\underset{u}{k=\arg \max }{q}_{iu}\\ {y^{\prime }}_{ik}=0,\underset{u}{k\ne \arg \max }{q}_{iu}\end{array}$(1)

其中为K标签类别数。

然后图G通过两层图卷积层得到图的嵌入特征 $Z\in {ℝ}^{n\times h}$，图卷积层的特征提取可以被表示为：

$Z=\mathrm{softmax}\left(\tilde{A}\mathrm{ReLU}\left(\tilde{A}X{W}^{\left(0\right)}\right)W^{\left(1\right)}\right)$(2)

其中 $\tilde{A}={\tilde{D}}^{-1/2}\left(A+I\right){\tilde{D}}^{-1/2}$为归一化后的邻接矩阵， $\tilde{D}$为矩阵 $\left(A+I\right)$的度矩阵， $W^{\left(0\right)}$、 $W^{\left(1\right)}$表示图卷积层的权重矩阵，h为图的每个节点嵌入特征维度。

接下来，根据嵌入特征Z以及属性图聚类网络预测的伪标签指示矩阵 $Y^{\prime }$，从未标记节点集 $V_u$中筛选出高置信度的节点，并作为标记数据指导半监督学习。节点如果满足公式(3)和(4)则被认为是高置信度节点，并将其加入伪标记节点集 $V_p$和标记节点集 $V_l$中。

$\underset{h}{\max }{z}_{ih}\ge {\alpha }_1$(3)

$\underset{h}{\arg \max }{z}_{ih}=\underset{k}{\arg \max }{y^{\prime }}_{ik}$(4)

其中 ${\alpha }_1$为置信度阙值。

与此同时，根据标记节点集的节点嵌入特征计算出每个类所对应的语义信息，语义信息的计算可以表示为：

$C_k=\frac{1}{\left|V_k\right|}{\displaystyle \underset{v_i\in V_k}{\sum }{Z}_i}$(5)

其中 $V_k\subset V_l$表示第k类标记节点集， $C\in {ℝ}^{K\times h}$为锚嵌入特征，表示每个类所对应的语义信息。

最后，网络预测出每个节点最终所对应的标签，具体来说，图中任意节点i的预测标签可表示为：

${y^{″}}_i=\arg \max z_{ih}$(6)

图2 是属性图聚类网络的结构图。受Zhao [10] 等人的启发，本文对图的原始结构信息进行数据增强，减少特征提取过程中累计噪声带来的影响，具体是利用概率矩阵 $M=\left\{m_{ij}\right\}$删除图中冗余的边，增加可能存在的边，其中 $m_{ij}$表示节点i和节点j之间存在一条边的概率。概率矩阵通过边缘预测器得出，本文使用预训练过的GAE作为边缘预测器，该过程可表示为：

$M=\mathrm{sigmod}\left({\mathrm{f}}_{gcn}\left(A,X\right)\cdot {\mathrm{f}}_{gcn}{\left(A,X\right)}^{\text{T}}\right)$(7)

其中 ${\mathrm{f}}_{gcn}(\cdot )$表示两层图卷积操作，根据概率矩阵M，我们添加前 ${\theta }_1\left|V\right|$个可能存在的边，并删除前 ${\theta }_2\left|V\right|$个最不可能存在的边，得到数据增强后的结构信息 $A^{\prime }$。

本文引入图注意力(GAT)机制，设计了一个融合特征编码器，GAT的特征提取过程可以表示为：

${\mathrm{f}}_{gat}\left(A^{\prime },X\right)=Z^{\prime }$(8)

${z^{\prime }}_i=\frac{1}{B}{\displaystyle {\sum }_{b=1}^B{\displaystyle {\sum }_{j\in {\mathbb{N}}_i}{s}_{ij}{W^{\prime }}_b{x}_j}}$(9)

其中B图注意力层中多头注意力的头数， ${\mathbb{N}}_i$为节点i的邻居节点， $W^{\prime }$为图注意力层的权重。 $s_{ij}$表示节点i和节点j之间的相似度系数，可表示为：

$s_{ij}=\mathrm{softmax}\left(f^{\prime }\left(W^{\prime }{x}_i,W^{\prime }{x}_j\right)\right)$(10)

其中 $f^{\prime }(\cdot ):{ℝ}^F\times {ℝ}^F\to ℝ$为映射函数。

接下来，将图的节点属性X和增强后的结构信息 $A^{\prime }$作为融合编码器的输入，得到最终融合嵌入特征：

$\tilde{Z}={\mathrm{f}}_{gcn}\left(A^{\prime },X\right)+\beta {\mathrm{f}}_{gat}\left(A^{\prime },{\mathrm{f}}_{gat}\left(A^{\prime },X\right)\right)$(11)

其中 $\beta$为线性融合加权系数。更进一步地，通过解码器重构出图的结构信息，这一过程可表示为：

$\hat{A}=\mathrm{sigmod}\left(\tilde{Z}\cdot {\tilde{Z}}^{\text{T}}\right)$(12)

其中 $\hat{A}$为图的重构结构信息。

之后，根据t-分布 [18] 计算出计算每个节点嵌入特征和聚类质心特征的相似性，得出属性图聚类网络输出的聚类结果，即初始概率分布 $Q=\left\{q_{iu}\right\}$：

$q_{iu}=\frac{{\left(1+{\Vert {\tilde{z}}_i-{\mu }_u\Vert }^2\right)}^{-1}}{{\displaystyle {\sum }_K{\left(1+{\Vert {\tilde{z}}_i-{\mu }_K\Vert }^2\right)}^{-1}}}$(13)

其中 ${\left\{{\mu }_u\right\}}_{u=1}^K$表示每个类的质心特征。同时，根据初始聚类分布Q进一步计算目标概率分布 $P=\left\{p_{iu}\right\}$，作为模型聚类过程中的监督信息：

$p_{iu}=\frac{q_{iu}^2/{\displaystyle {\sum }_i{q}_{iu}}}{{\displaystyle {\sum }_k\left(q_{ik}^2/{\displaystyle {\sum }_i{q}_{ik}}\right)}}$(14)

为了提高聚类性能，本文筛选出高置信节点集 $V_h$， $V_h$中的任意节点i满足：

$\underset{u}{\max }{q}_{iu}>{\alpha }_2$(15)

$\underset{u}{\max }\left(q_{iu}|q_{iu}<{\alpha }_2\right)>\frac{{\alpha }_2}{2}$(16)

其中 ${\alpha }_2$为置信度阙值。

最后，为了将嵌入过程和聚类过程紧密联系在一起，本文通过 $\gamma$算子 [9] ，根据高置信节点集 $V_h$的初始概率分布更新结构信息A，并删除A中的冗余边，添加可能的边来增强结构信息，然后得到以聚类结果作为指导的结构监督信息 $A^{″}$。

本文通过重构损失来指导属性图聚类网络的图嵌入过程，计算图的重构结构信息 $\hat{A}$和聚类指导的结构监督信息 $A^{″}$之间的二元交叉熵损失：

$L_{rec}=\mathrm{BCE}\left(\hat{A},A^{″}\right)$(17)

为了使初始概率分布Q逼近于目标概率分布P，本文将聚类损失定义为KL散度损失：

$L_{clu}={\displaystyle {\sum }_{v_i\in V_h}{\displaystyle {\sum }_u{p}_{iu}\log \frac{p_{iu}}{q_{iu}}}}$(18)

最终，属性图聚类网络的总损失可以表示为：

$L_{attribute}={\lambda }_1{L}_{rec}+{\lambda }_2{L}_{clu}$(19)

在半监督分类任务中本文计算所有标记数据的交叉熵误差，因此分类损失可以定义为：

$L_{ce}=-{\displaystyle {\sum }_{v_i\in \left(V_l-V_p\right)}{\displaystyle {\sum }_{k=1}^K{Y}_{ik}\ln Z_{ik}}}-{\displaystyle {\sum }_{v_i\in V_p}{\displaystyle {\sum }_{k=1}^K{Y^{\prime }}_{ik}\ln Z_{ik}}}$(20)

其中Y为图的真实标签指示函数。值得注意的是，在计算分类损失时，对于标记数据集中新增的高置信度节点，本文使用其伪标签而不是真实标签。

根据聚类假设，如果图中的节点在同一聚类中，它们很可能属于同一类。因此，为了提高分类性能，本文通过一致性损失函数提高标记节点和新增标记节点之间的特征相似度，具体来说，是计算伪标签节点集 $V_p$中节点的嵌入特征和所对应类的语义信息之间的余弦相似度：

$L_s=-\frac{1}{\Vert V_p\Vert }{\displaystyle {\sum }_{vi\in V_p}\log \mathrm{cs}\left(z_i,C_{\underset{k}{\arg \max }{y^{\prime }}_{ik}}\right)}$(21)

其中 $\mathrm{cs}(\cdot )$为余弦相似度函数。最终，半监督分类网络的总损失可定义为：

$L_{semi}={\lambda }_3{L}_{ce}+{\lambda }_4{L}_s$(22)

在实验中本文首先使用三个标准指标来评估模型在聚类任务上的性能：聚类精度(ACC)、归一化互信息(NMI)和平均随机指数(ARI)，这些指标的得分越高，聚类效果越好。

本文所提出的属性图聚类网络在三个基准数据集上与其他聚类方法的比较结果如 表1 所示，其中粗体值表示聚类任务的最佳性能。从实验结果来看，可以定量分析，我们的方法在三个基准数据集上比其他方法获得了最好的结果。我们可以观察到，与只使用内容信息(K-means)的方法和只使用结构信息(DeepWalk)的方法相比，同时使用这两种信息的深度学习方法才能获得更好的结果，如GAE、VGAE、DAEGC以及GATE [22] 。这表明，图的内容信息和结构信息对图的聚类具有重要意义，两者的结合可以进一步提高聚类性能。

更进一步地，本文通过ACC指标评估半监督分类网络的性能。在控制标签率相同的情况下，我们与标签传播(LP)、图卷积神经网络(GCN)、Li等人提出的一些协作训练方案(Co-training、Self-training、Union以及Intersection)以及协作图卷积网络(CGCN)进行了大量的对比实验，详细的对比实验结果参考 表2~4 。实验证明所以出的方法在极低的标签率的情况下具有很强的竞争力，例如从 图3 可以看出，所提出的方法在Cora数据集上使用最低的标签率已经远超大部分方法，甚至逼近大部分方法使用高标签率的性能。

图4 展示了Cora数据集的原始嵌入特征以及使用不同标签率训练半监督网络所获得的嵌入特征。对比 图4 Cora的原始特征分布和 图4(b) 中使用0.5%的标签学习的特征，可以看出模型能挖掘到复杂图结构数据的潜在信息，即使在标签稀少的情况下依然能预测出大致分类结果。随着标签率的提升，模型性能也在不断上升，分类结果更加精确，每个类别的错误预测也在减少。