在详细介绍本文的算法之前，先对多标签学习做一个最基础的解释。

在多标签学习中，模型最后预测的结果通常会用+1来表明某个标签与目标示例是相关的，而0或−1则用来表明该标签与目标示例不相关，这种结果也称为逻辑标记值。 图2 给出了多标签学习的一般流程图，也就是使用了逻辑标记值的训练数据训练的一个多标签模型，先是对未知示例使用训练之后的多标签模型来预测与之匹配的标签，然后使用评价指标作为判断预测值与真实值之间的差距大小的一个衡量标准。多标签学习自被提出以来，“独立同分布”这一假设就一直存在于数据集的采集过程中。实际情况却是数据集中的不同样本之间可能存在相关性，如果在训练模型时考虑到检测目标点之间存在的相关关系，将在一定程度上提高模型的性能。

在已有的多标签学习中，以流形为基础，相关的示例通常处于较小的局部领域，因此标签也十分相关。所以本文利用近邻的样本信息来帮助优化多标签模型。

假设示例集合为X = {x₁,x₂,…,x_n}，其中n表示示例的个数。每个示例x都可以与标签集合L的一个子集相对应。标签集合L = {l₁,l₂,..,l_k}，其中k为标签的总数。根据这些示例的标签可以获得指示向量y，该向量是一个长度为k的二进制向量。若x属于第i个标签，那么y_i= 1，否则y_i= 0。多标签问题就是找到一个函数f: X→{0,1}^k，使f(x) = y。这也是本文算法要完成的任务。

在考虑如何将全局目标点相关性加入到本文模型中时，运用神经网络，通过其强大的学习和处理能力，来更准确地捕捉和解析目标点之间的关联。示例x可以为一个输入向量 $\chi ={ℝ}^{\alpha }$，其中α为输入向量的维度。神经网络 [22] $ℍ$为β层的网络，每当信号从一层传递至下一层时，它都会先于特定的权重相乘，随后加上一个偏置值。然后，这些经过调整的信号会经过一个激活函数，以增强网络的能力。为了优化网络性能，网络会利用误差反传算法来逐步调整这些权重和偏置参数，直到达到理想的结果。 $h^{\beta }=\sigma \left(W^{\beta }{h}^{\beta -1}+b^{\beta }\right)$，其中 $W^{\beta }$和 $b^{\beta }$分别为第 $\beta$层的权重矩阵和偏置矩阵。σ为激活函数，可以为ReLU或者是Sigmoid函数。值得注意的是，对于第一层输入层， $h^0=x$。

对于最后一层， $\hat{y}={\sigma }^{*}\left(W^o{h}^m+b^o\right)$，其中W^o为输出层的权重，b^o为输出层的偏置，h^m是最后一个隐藏层的输出。σ^*为Sigmoid函数(如 图3 )，即 ${\sigma }^{*}\left(z\right)=\frac{1}{1+e^{-z}}$。 $\hat{y}\in {\left[0,1\right]}^k$为模型预测的概率向量。(这一段行距设置不是按照要求的16磅，否则公式显示不完全)

为了训练上述构建的神经网络，我们定义一个损失函数来衡量预测值与真实值之间的差异，如下所示：

$L\left(y,\hat{y}\right)=-{\displaystyle \underset{i=1}{\overset{k}{\sum }}\left[y_i\log \left({\hat{y}}_i\right)+\left(1-y_i\right)\log \left(1-{\hat{y}}_i\right)\right]}$(1)

本文在这里使用的是二元交叉熵损失，其中L为所有标签的平均损失。

如前所述，从特征空间考虑，当样本的特征相关程度较高时，往往样本的标签集相关程度较高，因此，关注目标点的局部相关性是必要的。虽然已有很多学者在研究过程中利用到了目标点及其临近样本的信息，但是要么根据这些信息直接推断未知样本的标签集合，或者使用由局部信息计算的相关度作为权重。本文考虑从局部目标点相关性出发，用于约束对应标签空间中标签的相关性。

局部目标点相关性是指在一个特定样本的近邻范围内，目标点之间的关联程度。这种相关性通常体现在部分数据中，即相关的目标点往往具有相关的标签。局部目标点相关性和全局目标点相关性的主要区别在于它们的关注范围和影响方式。局部目标点相关性关注特定目标点及其近邻点的关系，有助于提高模型的局部预测精度；而全局目标点相关性关注整个数据集，有助于理解数据的整体结构和发现潜在的模式。在实际应用中，根据数据特点和任务需求，需要综合考虑这两种相关性来优化模型性能。

综上所述，局部目标点相关性和全局目标点相关性在多标签学习中各有优劣，将二者结合可以扬长避短。所以下面介绍本文对于局部目标点相关性的计算以及将其和全局目标点相关性融合的过程。

在计算局部范围内目标点的相关性时，假设一个查询点 $q\in X$，我们的目标就是在X中找到与q点最近的num个点。首先利用欧式距离，公式为：

$dist\left(x_i,q\right)=\sqrt{{\displaystyle \underset{j=1}{\overset{p}{\sum }}{\left(x_{ij}-q_j\right)}^2}}$(2)

其中x_ij表示向量x_i的第j个分量，q_j表示查询点q的第j个分量。利用k近邻算法求距离q最近的num个点，并把它们保存到集合N^q中，过程如下式所示：

$\begin{array}{c}{N}^q=\arg \underset{S\subset X,\left|S\right|=num}{\min }\arg \underset{S\subset X,\left|S\right|=num}{\min }{\displaystyle \underset{d_i\in S}{\sum }dist\left(d_i,q\right)}\end{array}$(3)

这里 $N^q=\left\{N_1^q,N_2^q,\cdots ,N_{num}^q\right\}$表示数据集X中与查询点q最近的num个点的集合， $\left|S\right|$则为集合S的大小。

此时，最近的num个点中，经过上述神经网络输出的结果应该相近。即如下式所示：

$argmin{\displaystyle \underset{i=0}{\overset{n}{\sum }}{\displaystyle \underset{j=0}{\overset{num}{\sum }}L\left({\hat{y}}_i,N_j^{{\hat{y}}_i}\right)}}$(4)

其中 ${\hat{y}}_i$表示神经网络 $ℍ$输入x_i得到的预测值， $N_j^{{\hat{y}}_i}$表示神经网络 $ℍ$输入第j个x_i的最近邻点得到的预测值。

结合上述(1)~(4)式，在同时考虑了全局目标点相关性及局部目标点相关性后，我们可以把最终需要优化的目标函数整理为下式：

$\begin{array}{c}G\left(y\right)=J\left(y\right)\\ -{\lambda }_1{\displaystyle \underset{i=1}{\overset{k}{\sum }}\left[y_i\log \left({\hat{y}}_i\right)+\left(1-y_i\right)\log \left(1-{\hat{y}}_i\right)\right]}\\ \begin{array}{c}+{\lambda }_2{\displaystyle \underset{i=0}{\overset{n}{\sum }}{\displaystyle \underset{j=0}{\overset{num}{\sum }}L\left({\hat{y}}_i,N_j^{{\hat{y}}_i}\right)}}+{\lambda }_{2}J\left(y\right)\end{array}\end{array}$(5)

在公式(5)中，λ₁和λ₂是平衡因子。目标函数中的第一项是为了防止过拟合的正则化项。第二项是预测值与真实值之间的全局差距，利用到了全局目标点的相关性。第三项是对不同示例的局部目标点的相关性进行约束。

由于目标函数呈现出非凸和不光滑的特性，它的梯度变化并不稳定。因此，传统的梯度下降方法在这种情况下无法有效工作。本文中，使用了拟牛顿下降法L-BFGS [23] 算法。L-BFGS算法以其卓越的性能，成为求解目标函数G(y)的最小值的理想选择。有关L-BFGS算法的信息不再赘述，详情可以参考文献 [23] 。

本文在8种真实的多标签数据集上进行了充分的对比实验，来验证所提算法的有效性。实验中所使用的数据集详细信息如 表1 所示。

实验中，本文采用了5个广泛使用的多标签评价指标来全面评估各算法的表现。这5个评价指标包括Average precision、Ranking loss、Hamming loss、One error和Coverage。其中Ranking loss、Hamming loss、One error和Coverage [1] 这4个指标在评估时，其数值越小，意味着算法的性能越出色。而Average precision这一指标则相反，其数值越大，表明算法的性能越优越。通过这5个指标的综合考量，我们能够更准确地比较各个算法在多标签任务中的性能表现。具体各指标的运算方法可以参考文献 [1] 。

本文将ML-GAL的性能与四种算法做对比，分别是BR [14] 、ML-LOC [24] 、ML-kNN [12] 和GLOCAL [25] 。其中，BR [14] 是问题转换方法中具有代表性的算法之一，它将多标签学习问题转化为多个二分类问题。ML-LOC [24] 是利用样本局部相关性的多标签学习方法。ML-kNN [12] 算法用到了k近邻信息，GLOCAL [25] 算法利用的则是全局和局部的标签相关性。

本文所提出的算法参数λ₁、λ₂的取值范围是 $\left\{2^{-5},2^{-4},\cdots ,2^6\right\}$。此外，k近邻算法中k的取值范围是 [1] [20] 。进而利用5折交叉验证的方法，在训练数据上对每个数据集进行算法性能的评估，从而确定每个数据集的最佳参数。

实验结果是针对各个算法在8个数据集上实施了10次5折交叉验证，所得实验结果不仅展示了均值，还涵盖了方差。 表2 和 表3 中总结了5种算法在Average precision和Ranking loss两种评价指标下的实验结果。其中粗体标出的是在5种算法中的最优结果。

实验结果表明，本文提出的ML-GAL算法在提升多标签学习性能方面是有效果的。在以上16组(2评价指标 × 8数据集)对比实验结果中，ML-GAL算法共有10次排在第一，3次第二，2次第三以及1次第四。并无排在最后的情况。

本文采用了Friedman检验对5种不同算法的性能进行了显著性检验，并在 表4 中列出了各种度量指标的Friedman统计值F_F以及在0.05显著水平下的临界值。经过检验，我们发现在这三个指标上，可以成功推翻对比算法间性能无显著差别的假设。为了更深入地验证本文算法是否显著优于其他四种算法，继续采用了0.05显著水平下的Bonferroni-Dunn检验。在实验中，将ML-GAL作为控制算法，利用临界值域(Critical Difference, CD)来量化ML-GAL算法与其他算法在平均排序上的差异。如果其他算法的评价排序值与ML-GAL差距超过CD值，则表明ML-GAL算法的性能与其他算法存在显著差异。

图4 的CD图提供了直观的视觉比较，图中水平轴表示了5种算法的平均排序值，排序值越接近右侧，说明算法排名越靠前。在每个CD图中，如果某个算法与ML-GAL的差距小于一个CD值，我们会用一条加粗黑线来将其相连。否则，则意味着这两种算法在多标签学习的性能上存在显著差异。

图4. ML-GAL与其他四个算法在Bonferroni-Dunn检验下的比较结果

通过分析 图4 可以得到以下结论：

(1) ML-GAL算法在这三种评价指标上的表现均最为出色；

(2) ML-GAL算法在这三种评价指标上的性能都显著优于BR [14] ；

(3) ML-GAL在One error评价指标下的数值表现尤为突出。与GLOCAL [25] 相比，两者在Hammingloss和Coverage两个指标下的表现相当接近，但在Oneerror评价指标下的表现相差较多。与ML-Knn [12] 相比，两者在Oneerror评价指标下相差不多，但在Hammingloss和Coverage两个指标的区别明显。