我们通过 图1 分析在多标签特征选择过程中，特征和成对标签之间相关性的分析。

在 图1 中， $f_k$是候选特征， $l_i$， $l_j$和 $l_k$是三个标签。区域1 + 2 + 3 + 4是候选特征 $f_k$为标签( $l_i$, $l_j$)提供的信息量，即联合互信息 $I\left(l_i,l_j;f_k\right)$，区域2 + 3 + 4 + 5是候选特征 $f_k$为标签( $l_j$, $l_k$)提供的信息量，即联合互信息 $I\left(l_j,l_k;f_k\right)$。考虑当区域1等于区域5时，即满足 $I\left(l_i,l_j;f_k\right)=I\left(l_j,l_k;f_k\right)$，这意味着候选特征为( $l_i$, $l_j$)和( $l_j$, $l_k$)提供的信息量相同。然而，由图中可知，区域2和区域4分别是标签对( $l_i$, $l_j$)和( $l_j$, $l_k$)冗余的部分，并且区域2小于区域4，即 $I\left(f_k;l_i;l_j\right)<I\left(f_k;l_j;l_k\right)$，这部分不能被候选特征提供的信息加以区分。实际上，候选特征 $f_k$为标签( $l_i$, $l_j$)提供的有效信息要大于给标签( $l_j$, $l_k$)提供的有效信息。

根据以上讨论，我们提出一个基于三元互信息的权重：

$w_{i,j,k}=1-\frac{I\left(f_k;l_i;l_j\right)}{H\left(l_i\right)+H\left(l_i\right)}$(6)

其中， $0<w<2$，证明如下：

由信息论可知：

$\begin{array}{c}I\left(f_k;l_i;l_j\right)=I\left(f_k;l_i\right)+I\left(f_k;l_j\right)-I\left(l_i,l_j;f_k\right)\\ \le I\left(f_k;l_i\right)+I\left(f_k;l_j\right)\\ =H\left(l_i\right)-H\left(l_i|f_k\right)+H\left(l_j\right)-H\left(l_j|f_k\right)\\ \le H\left(l_i\right)+H\left(l_j\right)\end{array}$(7)

所以 $I\left(f_k;l_i;l_j\right)$满足：

$I\left(f_k;l_i;l_j\right)\le H\left(l_i\right)+H\left(l_j\right)$(8)

又因为：

$\begin{array}{c}I\left(f_k;l_i;l_j\right)=I\left(f_k;l_i\right)+I\left(f_k;l_j\right)-I\left(l_i,l_j;f_k\right)\\ \ge -I\left(l_i,l_j;f_k\right)\\ =-H\left(l_i,l_j\right)+H\left(l_i,l_j|f_k\right)\\ \ge -H\left(l_i,l_j\right)\\ \ge -H\left(l_i\right)-H\left(l_j\right)\end{array}$(9)

所以：

$I\left(f_k;l_i;l_j\right)\ge -H\left(l_i\right)-H\left(l_j\right)$(10)

进而可以得到：

$-H\left(l_i\right)-H\left(l_j\right)\le I\left(f_k;l_i;l_j\right)\le H\left(l_i\right)+H\left(l_j\right)$(11)

即

$-1\le \frac{I\left(f_k;l_i;l_j\right)}{H\left(l_i\right)+H\left(l_j\right)}\le 1$(12)

因此权重 $w_{i,j,k}$的取值范围是 $\left[0,2\right]$。当 $w=1$时，即 $I\left(f_k;l_i;l_j\right)=0$，说明候选特征为两个标签提供的信息量等于给两个标签单独提供的信息量。当 $w<1$时，即 $I\left(f_k;l_i;l_j\right)>0$，说明特征为两个标签提供的信息中有一部分是无效信息。当 $w>1$时，即 $I\left(f_k;l_i;l_j\right)<0$，由三元互信息定义可知特征 $f_k$为两个标签提供的信息量要大于给两个标签单独提供的信息量。

基于以上分析，提出对特征相关性测量的新定义如下：

新特征相关性：设F是特征全集，S是已选特征集合，L是标签集合， $f_k\in F-S$表示候选特征， $l_i,l_j\in L$是两个标签。那么新特征相关性的定义如下：

$NREL\left(f_k;L\right)={\displaystyle \underset{l_i\in L}{\sum }\left\{I\left(f_k;l_i\right)+\frac{1}{\left|L\right|}{\displaystyle \underset{l_j\in L,l_i\ne l_j}{\sum }w*I\left(l_i,l_j;f_k\right)}\right\}}$(13)

$NREL\left(f_k;L\right)$在衡量候选特征相关性时，使用 $I\left(f_k;l_i\right)$计算候选特征 $f_k$为单个标签提供的信息量，同时使用 $w*I\left(l_i,l_j;f_k\right)$来计算候选特征为两个标签提供的有效信息量。使用权重 $1/\left|L\right|$来平衡两种信息量。

综合上述分析，将候选特征为成对标签提供的信息量纳入候选特征相关性的评估机制中，能够更准确地评估其重要性。同时，在该过程中引入权重机制来有效挖掘候选特征为两个标签提供的有效信息。

利用上一节提出的新特征相关性以及最大相关最小冗余策略，原始的目标函数(5)可以写成

$\begin{array}{c}J\left(f_k\right)=NREL\left(f_k;L\right)-{\displaystyle \underset{f_i\in S}{\sum }I\left(f_k;f_i\right)}\\ ={\displaystyle \underset{l_i\in L}{\sum }\left\{I\left(f_k;l_i\right)+\frac{1}{\left|L\right|}{\displaystyle \underset{l_j\in L,l_i\ne l_j}{\sum }w*I\left(l_i,l_j;f_k\right)}\right\}}-{\displaystyle \underset{f_i\in S}{\sum }I\left(f_k;f_i\right)}\end{array}$(14)

在该式中，S是已选特征集合， $f_i$表示集合S中的特征。第一项使用 $NREL\left(f_k;L\right)$来衡量特征相关性，第二项使用 ${\displaystyle {\sum }_{f_i\in S}I\left(f_k;f_i\right)}$作为特征冗余项。在特征选择过程中使用前向搜索策略，即每次迭代选择一个获得 $J\left(f_k\right)$最大值的特征加入到已选特征集合S中。算法伪代码如下：

首先。初始化每个参数：已选特征集合S和特征个数K，然后，3~12行计算每个特征的 $NREL\left(f_k;L\right)$并选择最大值作为第一个特征加入到S中。最后，13~20行计算公式(14)并选择满足要求的特征直到满足阈值K。

为了验证所提出算法的有效性，本文将IPFS算法与八种算法(MIFS、D2F、PMU、SCLS、LRFS、FIMF、FSSL、AIII-FS [13] )在12个公开数据集上进行实验比较。其中，MIFS、D2F、PMU、SCLS、LRFS、FIMF是传统的多标签特征选择算法，FSSL是流标签场景下的特征选择算法，AIII-FS是最新提出的基于信息论的多标签特征选择算法。实验中的12个数据集来自Mulan公开数据库 [14] ，数据集的信息如 表1 所示。这些数据集包含三个不同的领域，其中10个多标签数据集(Medical、Enron、Arts、Business、Educations、Entertain、Recreation、Reference、Science和Social)被广泛运用于文本分类，图形数据集Scene对图像样本进行语义分类，Yeast数据集被用于进行生物信息分类。

表2 ~ 4 展示九种特征选择算法在12个不同数据集上的性能表现对比，评价指标分别是Hamming Loss、Zero One Loss和Macro-F1。其中，Hamming Loss和Zero One Loss指标是基于ML-KNN [15] 分类

Table 1. Description of data sets

表1. 数据集描述

Table 2. Comparison results of 9 multi-label feature selection algorithms on Hamming Loss index

表2. 9个多标签特征选择算法在Hamming Loss指标上的比较结果

器得出的结果，而Macro-F1指标则是基于3NN分类器的结果。所有算法均在选取数据集中20%的特征子集上进行评估，并计算了平均分类性能及其标准偏差。表中以加粗字体表示的是在各个数据集上达到最优性能的特征选择方法。

Hamming Loss的值越小，表明特征选择算法的分类性能越优良。如 表2 所示，所提出的算法在8个数据集上取得了最佳性能，在其他4个数据集上取得了次优性能。其中，在Education、Science和Social数据集上，AIII-FS算法展现了最佳性能，这代表AIII-FS算法在这三个数据集上的表现结果要更好。相较于其他六种基于信息论的多标签特征选择算法(MIFS、D2F、PMU、SCLS、LRFS和FIMF)，所提出的算法在12个数据集上均展现出最佳性能。总体而言，本文提出的算法在ML-KNN分类器上实现了最佳的Hamming Loss分类性能。

Table 3. Comparison results of 9 multi-label feature selection algorithms on the Zero One Loss index

表3. 9个多标签特征选择算法在Zero One Loss指标上的比较结果

Zero One Loss的值越小，代表分类性能越优。如 表3 所示，所提出的算法在Medical、Scene、Education、Entertain、Recreation、Reference和Social这七个数据集上展现了最优的分类性能，在Enron、Arts、Business和Science数据集上则次之，表现仅次于AIII-FS和MIFS算法。在Yeast数据集上，D2F和LRFS算法的性能优于所提出的算法。从平均结果来看，所提出的算法在所有数据集上的表现均优于其他算法。

Macro-F1值越高，表示分类性能越优良。根据 表4 所示的平均结果，在所有数据集上，提出算法IPFS平均值为0.1691，而LRFS算法平均值为0.1588；其他算法的平均值分别为0.1194、0.1346、0.1244、0.1372、0.1309、0.1377。显然，IPFS在性能上显著优于这些算法。SCLS算法取得了最低的平均值0.1105。因此，IPFS算法在Macro-F1指标上表现出明显的优越性。

Table 4. Comparison results of 9 multi-label feature selection algorithms on the Macro-F1 index

表4. 9个多标签特征选择算法在Macro-F1指标上的比较结果

为了更清晰地展示本文提出算法的优越性， 图2 、 图3 分别给出了9个算法在Arts和Education数据集上的20组特征子集的平均分类性能，特征子集中的特征个数从总特征数的1%到20%。横坐标表示特征个数百分比，纵坐标表示不同评价标准的分类性能。不同颜色的线和符号代表不同的算法，其中IPFS算法用黑色菱形线表示。

从 图2 和 图3 中的结果可以观察到，在Arts数据集上，IPFS的四个分类评价指标均展现出较其他多标签特征选择算法更优的分类性能。在Education数据集上，本研究提出的算法与AIII-FS算法在分类性能上表现相似，且均优于其他算法。综合上述分析，本研究提出的算法展现出较优的分类性能，这表明通过该算法选出的特征子集具有更高的质量。