核方法的基本原理 [14] 为：当需要处理的变量为非线性时，引入核函数，它是一个非线性变换，用来将原始空间R中的线性不可分问题转化为高维特征空间H中的线性可分问题。 图1 展示了数据从输入空间映射到高维特征空间的过程。

核函数定义 [14] ：假设存在映射 $\phi$，能将二元函数 $X^n\times X^n$，映射到特征空间H中，并且满足 $K\left(x,y\right)=\left(\phi \left(x\right)\cdot \phi \left(y\right)\right)$，称K是核函数。常见的核函数包括多项式核函数、高斯径向核函数、多层感知机核函数等。

在本文的实际应用中采用了以下三种核函数，具体形式如下：

1) 多项式核函数

$k\left(x,y\right)={\left(x\cdot y+c\right)}^d$(1)

其中 $c\ge 0$，d是整数，均为自定义参数。当参数d较小时，此函数的外推能力较强，但随着d的增大，外推能力则逐渐变弱。

2) 高斯径向核函数

$k\left(x,y\right)=\exp \left(-\frac{{\Vert x-y\Vert }^2}{2{\sigma }^2}\right)$(2)

其中 $\sigma >0$是自定义的高斯核函数的带宽参数。它决定了高斯分布的标准差，即控制了核函数的平滑程度和波动范围。

3) 多层感知机核函数

$k\left(x,y\right)=\tanh \left(-b\left(x\cdot y\right)-c\right)$(3)

其中b，c是自定义参数。

核主成分分析的核心思想 [16] [17] 是将核函数与主成分分析相结合，在非线性变换函数 $\phi$的作用下将原始空间R中数据映射到特征空间H，即R中的样本点 $X_1,X_2,\cdots ,X_n$转变为H中的样本点 $\phi \left(X_1\right),\phi \left(X_2\right),\cdots ,\phi \left(X_n\right)$，并在H中进行主成分分析。

实现过程为：若样本集合中有n个样本点，用两者的内积 $\phi \left(X_i\right)\cdot \phi \left(X_j\right)$表示R中的两个数据 $X_i$和 $X_j$在H空间的距离。假设H空间中的样本 $\phi \left(X_1\right),\phi \left(X_2\right),\cdots ,\phi \left(X_n\right)$已经中心化，即

${\displaystyle \underset{k=1}{\overset{n}{\sum }}\phi \left(X_k\right)}=0$(4)

则在H空间中进行主成分分析，通过计算协方差矩阵

$C=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}\phi \left(X_i\right)\cdot \phi {\left(X_i\right)}^{\text{T}}}$(5)

求得满足 $\lambda V=CV$的特征值 $\lambda \left(\ge 0\right)$以及相应的特征向量 $V\left(\in H\right)$。

由于 $V\in span\left\{\phi \left(X_1\right),\phi \left(X_2\right),\cdots ,\phi \left(X_n\right)\right\}$ [17] ，则存在一组参数 ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$使

$V={\displaystyle \underset{j=1}{\overset{n}{\sum }}{\alpha }_j}\phi \left(X_j\right),j=1,2,\cdots ,n$(6)

故 $\lambda V=CV$就等价于 $\lambda \left(\phi \left(X_k\right)\cdot V\right)=\left(\phi \left(X_k\right)\cdot CV\right)$ $k=1,2,\cdots ,n$。

通过定义 $n\times n$的核矩阵K [17] ， $K\left(X_i,X_j\right)=\phi \left(X_i\right)\cdot \phi \left(X_j\right)$，上述 $\lambda V=CV$等价为 $n\lambda \alpha =K\alpha$对核矩阵K进行特征分解得到其特征值 ${\bar{\lambda }}_1\ge {\bar{\lambda }}_2\ge \cdots \ge {\bar{\lambda }}_n$( $\bar{\lambda }=n\lambda$)， ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$为相应特征向量。则 $\phi \left(X\right)$在H空间向量 $V^k$上的投影为：

$\left(V^k\cdot \phi \left(X\right)\right)={\displaystyle \underset{i=1}{\overset{n}{\sum }}{\alpha }_i^k}\left(\phi \left(X_i\right)\cdot \phi \left(X\right)\right)={\displaystyle \underset{i=1}{\overset{n}{\sum }}{\alpha }_i^k}K\left(X_i,X\right)$(7)

此外，当假设 ${\displaystyle \underset{k=1}{\overset{n}{\sum }}\phi \left(X_k\right)}=0$不成立时，只需将矩阵K调整为

$\hat{K}=K-I_{n}K-K{I}_n+I_{n}K{I}_n$(8)

其中 ${\left(I_n\right)}_{ij}=1/n$。

本文为验证基于KPCA欠抽样算法在不平衡数据集上的分类效果，使用UCI数据库中9组数据集进行实验，这9组数据集的不平衡度呈递增形式且范围由1.79%~33.74%，实验数据集信息如 表1 。此外部分数据是多分类数据集，本实验运用一种应用广泛的转化方法 [19] 将多分类数据集中的某些类别合并使之成为二分类数据集。例如一个7分类数据集steel-plates，steel-plates_0表示将数据集中标签为0的样本看作少数类，那么多数类则是由标签1到6这六类样本合并而成。

本文采用五折交叉验证方法进行实验，即将每个数据集划分为5份，选取4份作为训练集，1份作为测试集，每个数据集重复实验5次，实验5次并以平均值作为最终的评价结果。分类器采用线性回归模型中的Logistic Regression模型。本文实验包括3种情况，具体如下：

1) 原始数据不进行欠抽样预处理，仅使用Logistic Regression分类器模型对不平衡数据集进行分类。

2) 采用随机欠抽样算法对原始数据进行预处理，再利用Logistic Regression分类器模型对预处理后的不平衡数据集进行分类。

3) 采用本文提出的基于KPCA的欠抽样方法对不平衡数据集进行预处理，再利用Logistic Regression分类器模型对预处理后的不平衡数据集进行分类。

本文采用基于混淆矩阵分析的方法来对不平衡数据集分类器性能进行评价。此方法在当少数类样本远小于多数类样本时，可以适当减少分类器把所有的样本都分类为多数类。因此，本文采用准确率(Accuracy)、F1-measure和AUC值作为评价指标测试3种实验情况的分类结果。

由 表2 可看出数据的预测值与真实值的组合有四种：分别为：预测和真实同为正例、预测和真实同为负例、预测为正例真实为负例、预测为负例真实为正例。TP、TN、FP、FN分别表示其对应样本个数，有 $TP+TN+FP+FN=$样本总数。

1) Accuracy：所有结果中，预测正确的结果所占的比例，计算公式为：

$\frac{TP+TN}{TP+FP+TN+FN}$(12)

2) F1-measure：综合了查准率(Precision)和召回率(Recall)，是他们的调和平均，用来反应模型的稳健性，计算公式为：

$F1=\frac{2TP}{2TP+FN+FP}$(13)

3) AUC：AUC [20] (Area Under Curve)是ROC曲线下的面积，用来衡量算法的性能。

ROC曲线是受试者特征曲线(Receiver Operating Characteristic Curve)是一种用于反映诊断检查方法敏感性和特异性特征的曲线图。ROC曲线的纵轴是真正例率(Ture Positive Rate，简称TPR)公式为：

$TPR=\frac{TP}{TP+FN}$(14)

横轴是假正例率(False Positive Rate，简称FPR)公式为：

$FPR=\frac{FP}{FP+TN}$(15)

实验分析了三种情况的Accuracy、F1-measure、AUC。 表3 列出了三种算法在各个数据集下的评价指标值，其中原数据不进行预处理直接分类的方法缩写为DTC；随机欠抽样缩写为RUS；加黑数字为同组最大值。

由 表3 可以看出基于KPCA的欠抽样方法与其他算法相比，整体来看在绝大多数数据集上都表现的不错。在AUC值指标方面：相比其他方法本文方法体现出其稳定的优势，在各个数据集中都有不同的提升。在指标Accuracy和F1-measure值上：本文方法在大部分数据集上表现依旧不错，但在极个别数据集上表现略微不足。

为了更好的观察对比 表3 中的三种方法在这9组数据集上三种指标上的表现，下面采用3个柱状图形式直观的展示3个评分的对比结果。

图3 给出了三种方法的Accuracy的对比结果，可以看出本文算法在其中6组数据集中相对其他两种算法均有小提升，但在Wall-following_1和Steel-plates_0数据集中，本文算法的表现力不如DTC方法且略有降低。但由 图3 知在Wall-following_1数据中虽然其Accuracy略有下降但与F1-measure的进步相比，Accuracy下降的不明显。而在Steel-plates_0数据集中 图3 和 图4 结果表明本文算法与原始数据直接进行分类的方法相比在利用KPCA进行预处理时对于特征的提取时可能导致了一些关键信息丢失，减低了多数类的分类准确率以及召回率使得模型整体Accuracy与F1-measure值均比不进行预处理直接分类的方法略低一些。

图4 给出了三种算法在F1-measure上的对比结果，可以看出除了上述提到的第六个数据集外，与其他两种方法相比，基于KPCA欠抽样算法在各个数据集上均有所提高。尤其在第2、3、4以及第7个数据集上相对于其他两种方法表现优秀，相对于最低评分平均提升了68%。因此，在F1-measure方面有显著进步，进而进一步验证了本文方法的有效性。

图5 给出了三种方法的AUC值对比结果，清楚的观察到相对于其他两种方法，本文方法在这9组数据集上的表现一贯优秀，在每个数据集上均有不同程度的提升。其稳定性可以得出此方法在处理不平衡数据集时能力更强，具有一定的鲁棒性。同时也验证了此方法有效性和稳定性。