软件缺陷数据集从包含软件项目开发周期的软件仓库里收集。然而，在挖掘软件历史仓库的过程中，数据集中包含一些降低预测模型性能的不必要的信息，如异常值、高维度、类不平衡、数据差异等。

通常，软件产品大致符合二八原则，80%的缺陷集中在20%的程序模块中，缺陷数据分布不均匀，有缺陷的模块要远少于无缺陷模块，即类不平衡问题。类不平衡严重影响了分类模型的性能，无缺陷的实例支配着数据样本，分类器会偏向于无缺陷的实例。而在软件测试中，有缺陷的模块被误报为无缺陷的模块会给软件公司带来更大的损失。

纪晨辉等 [1] 提出了基于领域合成的过采样方法，该方法分为两个阶段：样本预处理和样本合成。对于每个少数类样本，计算其周围的邻居样本，并根据邻居样本中少数类和多数类的数量，将样本分类为安全类、边界类和噪声类。对于每个边界点，找到其k个最近邻点，并根据这些邻居样本中多数类和少数类的数量差异，确定需要生成的合成样本数量。计算每个特征的最大值和最小值，并找到中间范围，这个范围即为可以合成的特征值的范围。在这个范围内随机生成特征值，并将生成的合成样本添加到列表中。最后，将合成的样本与原始数据集合并，得到过采样后的数据集。该方法在AEEEM数据集和NASA数据集上的表现优于其他传统的过采样算法。饶珍丹等 [2] 在过采样预处理阶段，提出了AJCC-Ram的过采样方法，该方法基于改进的ADASYN自适应过采样和CURE-SMOTE过采样，分别在类边缘和类中心层面生成新样本。具体来说，该方法首先根据少数类样本的K近邻样本将其分为边缘类和中心类。对于边缘类样本，采用改进的ADASYN算法进行过采样，以增强边界处样本的多样性；对于中心类样本，采用CURE-SMOTE算法进行过采样，以保证样本数据的原始分布属性。此外，为了解决过采样可能引起的噪声问题，还采用了CLNI (最近列表噪声识别)方法进行噪声过滤和数据清理。Goyal [3] 提出了一种新的基于邻域的欠采样N-US，首先识别“缺陷”(buggy)实例的邻域，并找出属于“无缺陷”(clean)类的邻居。计算这些“无缺陷”邻居与“缺陷”实例的距离，并确定那些距离小于所有邻居距离中位数的邻居为“待删除”(Nominated-for-Elimination)数据点。统计这些“待删除”数据点在不同“缺陷”实例邻域中的出现次数，选择那些在多个邻域中重复出现的“待删除”数据点进行删除。删除这些“待删除”的“无缺陷”数据点后，得到一个更加平衡的欠采样训练数据集。张丽等 [4] 提出了一种改进的过采样方法，这种方法基于聚类分析，特别是针对少数类的样本进行处理，以提高过采样的质量和代表性。使用基于聚类分析的特征选择算法FECAR (Feature Clustering and Feature Ranking)，通过最小描述长度原则(MDLP)对特征进行离散化，计算特征之间的关联性，以及特征与类标之间的信息增益，进而进行特征聚类，选择关键特征集。对少数类样本进行K-means聚类，然后根据聚类结果，对每个簇中的样本计算合成样本的数量。合成样本的总数等于多数类和少数类样本的差值。在合成新样本时，考虑了样本的关键特征权重和与簇心的距离权重，以此来确定每个样本的合成数量，并使用改进的SMOTE算法合成新样本。

Rajbahadur等 [5] 探讨了两类特征重要性方法：分类器特定(Classifier Specific, CS)方法和分类器不可知(Classifier Agnostic, CA)方法。这些方法用于从缺陷分类器中派生特征重要性排名。研究发现，即使是对于同一个数据集和分类器，不同的特征重要性方法可能会计算出不同的特征重要性排名。因此，除非这些方法之间存在强烈的一致性，否则这种可互换使用可能会导致结论不稳定。CS方法利用给定分类器的内部信息来衡量每个特征对分类器预测的贡献程度。而CA方法将分类器视为“黑盒”，不使用任何特定于分类器的详细信息来计算特征的重要性。CA方法的主要优势是它们可以用于任何分类器，无论是可解释的还是黑盒分类器。Gao等 [6] 探讨了在软件缺陷预测中处理数据不平衡问题时可解释性的重要性，并提出了一种基于规则的可解释模型来直接处理不平衡数据。通过实证研究，论文发现重采样技术 [7] (如过采样、欠采样和SMOTE)会对基于规则的可解释模型产生显著影响，包括改变特征重要性和增加模型复杂度。此外，直接在原始不平衡数据 [8] 上构建有意义的可解释模型是不可行的，因为缺陷覆盖率低且性能差。软移除机制 [9] (Soft-Removal for Covered Instances)：对于被覆盖的少数类实例，不是直接移除，而是通过权重递减的方式使其对后续规则的影响减小，但仍有可能被其他规则覆盖。改进的增益函数 [10] (Improvement on FOIL Gain)：使用加权的少数类实例数量来计算候选项的增益，同时降低覆盖多数类实例的候选项的重要性。容忍较低 [11] 的覆盖率(Tolerance of Lower Coverage)：接受信心度高于最小覆盖率阈值的规则，以确保模型能够尽可能覆盖缺陷实例。

本次实验使用的十一个项目为AEEEM [12] 下的EQ，NASA下的mw1，SOFTLAB下的ar1与ar4，MORPH下的ant-1.4、jedit-4.0、jedit-4.3、log4j-1.0、camel-1.0、poi-2.5与velocity-1.4。

以AEEEM数据集下的EQ项目 [13] 为例， 表1 展示了61个特征中前10个特征的数据示例。对于项目中 [14] 的每个模块，每个特征都有一个特定的值。

项目的平均值 [15] 是通过将每个模块的赋值之和除以项目中的模块数量计算得出。该表展示了项目中缺陷模块 [16] 的百分比，数据表现出明显的不平衡性。

这项工作面临数据高度不平衡 [17] 的问题，其中约13%的软件模块存在缺陷，而近87%的模块是干净的( 表1 )。因此，如果不对数据进行深入挖掘 [18] ，我们无法简单使用软件缺陷数据集来评估我们的模型。为了解决这一问题，我们采用了一种称为“合成少数过采样技术” [19] (SMOTE, Synthetic Minority Oversampling Technique)的方法。如下 图2 所示。

该算法由Chawla提出，其原理是通过少数类样本与其N个近邻样本之间的线性插值 [20] 合成新的少数类样本。算法步骤如下：

对每个少数类样本，计算其与其他少数类样本的欧式距离，得到N个近邻。

从N个近邻中随机选择一个少数类样本，合成新的少数类样本。合成公式如式(1)所示：

$x_{new}=x_i+rand\left(0,1\right)\times \left(\begin{array}{c}{x}_{zi}-x_i\end{array}\right)$(1)

其中，x_i为第i个少数类样本，x_zi为x_i的随机近邻样本。如上 图2 所示，左侧为计算x_i的K近邻样本，右侧为合成新样本。

SHAP (SHapley Additive exPlanations)是一种基于博弈论中Shapley值的方法，用于解释机器学习模型的预测。它通过分配每个特征对预测结果的独特贡献，提供了模型决策的透明度。在软件缺陷预测中，SHAP能帮助识别导致缺陷的关键因素，辅助开发人员进行有效的缺陷管理和质量控制。SHAP的通用性使其适用于多种模型，增强了模型预测的可解释性。见 图3 ，以AEEEM数据集下的EQ项目为例，使用热力图进行分析。

如上面的summary_plot 图3 所示，y轴为项目特征名，x轴中正数表示促进，负数表示抑制，颜色越红，表示值越大，作用就越强；颜色越蓝色，表示值越小，作用就越弱。可以总结为y轴表示每一个特征，x轴表示对结果是促进还是抑制，不同的颜色表示作用效果。

在机器学习中，特征选择对提升模型性能和解释性至关重要。本实验利用XGBoost算法对AEEEM公开数据集的EQ项目进行特征重要性分析和选择。XGBoost是一种高效的梯度提升决策树算法，它通过迭代优化损失函数，适用于大规模和高维数据，且能输出特征重要性评分。如下 图4 所示。

我们采用基于特征重要性的过滤方法，通过XGBoost的“plot_importance”函数可视化特征重要性，并设置阈值筛选出关键特征。实验结果显示，通过选取重要性高的特征子集，模型在保持准确率的同时减少了特征数量，增强了模型的解释性并提升了性能。

选择的特征子集对模型预测的贡献显著，且模型准确率未因特征减少而下降，反而有所提升，这一发现证实了XGBoost在特征选择上的有效性。

主成分分析(PCA)是多元统计分析中一种重要的降维技术，旨在通过减少数据集的维度来简化数据，同时保留最大的方差信息。该方法通过线性变换将原始数据投影到新的坐标系中，新坐标的基向量(主成分)捕捉数据中的主要变异。

PCA的基本步骤包括：首先，构建原始数据矩阵X；其次，对数据进行零均值化处理；然后，计算协方差矩阵以评估变量间的相关性；接着，求解协方差矩阵的特征值和特征向量；之后，根据特征值的大小对特征向量进行排序，并选择前k个特征向量组成投影矩阵P；最后，通过P将原始数据映射到k维空间，得到降维后的数据。

方差描述一个数据的离散程度：

$\mathrm{cov}\left(x\right)=\frac{1}{n}{\displaystyle {\sum }_{i=1}^n\left(X_i-\bar{X}\right)\left(Y_i-\bar{Y}\right)}$(2)

协方差描述两个数据的相关性，接近1就是正相关，接近−1就是负相关，接近0就是不相关。

$C\left(x_a,x_b\right)=\frac{1}{n}{\displaystyle {\sum }_{i=1}^n\left(x_{ai}-{\bar{x}}_a\right)\left(x_{bi}-{\bar{x}}_b\right)}$(3)

下面，我们以向量个数等于3为例，我们转变为矩阵的表示形式：

$C\left(\begin{array}{ccc}\mathrm{cov}\left(x,x\right)& \mathrm{cov}\left(x,y\right)& \mathrm{cov}\left(x,z\right)\\ \mathrm{cov}\left(y,x\right)& \mathrm{cov}\left(y,y\right)& \mathrm{cov}\left(y,z\right)\\ \mathrm{cov}\left(z,x\right)& \mathrm{cov}\left(z,y\right)& \mathrm{cov}\left(z,z\right)\end{array}\right)$(4)

从矩阵中会发现协方差矩阵其实就是由对角线的协方差与非对角线的协方差构成，所以协方差矩阵的核心理解：由向量自身的方差与向量之间的协方差构成。这个定义延伸到更多向量时同样受用。

在线性代数中给定一个方阵A，它的特征向量v在A变换的作用下，得到的新向量仍然与原来的v保持在同一条直线上，且仅仅在尺度上变为原来的 $\lambda$倍。则称v是A的一个特征向量， $\lambda$是对应的特征值，即：

$Av=\lambda v$(5)

这里的特征向量v也就是矩阵A的主成分，而 $\lambda$则是其对应的权值也就是各主成分的方差大小。

至此，我们的目的就是寻找主成分，所以问题就转变成了寻找包含主成分最多的特征向量v，但是这个v并不好直观的度量，由此我们可以转变为寻找与之对应的权值 $\lambda$， $\lambda$越大，则所对应的特征向量包含的主成分也就越多，所以问题接着转变为了寻找最大值的特征值 $\lambda$。

通过计算向量矩阵得到其协方差矩阵，然后特征分解协方差矩阵得到包含主成分的特征向量与对应的特征值，最后通过特征值的大小排序后依次筛选出需要用于降维的特征向量个数。

1) 准备数据，对目标变量进行编码，标出有缺陷值。

2) 划分训练集与测试集，测试集不动，对训练集进行Smote过采样合成样本。

3) 将处理后的数据集导入到基准模型-Smote模型中进行训练。

4) 保存基准模型-Smote模型，对测试集进行预测，并计算ACC (精确度)、F1。

1) 归一化和标准化处理数据集。

2) 划分训练集与测试集，测试集不动，对训练集进行Smote过采样合成样本。

3) PCA降维处理后，以AEEEM下的EQ项目为例，特征从61个降到23个，保留95%的方差。

4) 将处理后的数据集导入到PCA-Smote-XGBoost模型中进行训练。

5) 保存PCA-Smote-XGBoost模型，对测试集进行预测，并计算ACC (精确度)、F1。

我们还使用精确度Accuracy (ACC)和F1指标来评估所考虑模型的有效性。F1指标是精确度和召回率之间的调和平均值。

TP (True Positive)：正确的视为异常样本。

FP (False Positive)：错误的视为异常样本。

FN (False Negative)：错误的视为正常样本。

TN (True Negative)：正确的作为正常样本。

注：P：异常样本；N：正常样本；T：正确的；F：错误的。

Accuracy：正确分类的样本数占总样本数的比例。

$\text{Aссurасу}=\frac{\text{TP}+\text{TN}}{\text{TP}+\text{FN}+\text{FP}+\text{TN}}$(6)

Precision：真实有缺陷占预测为有缺陷样本的比例。

$\text{Prесіsion}=\frac{\text{TP}}{\text{TP}+\text{FN}}$(7)

Recall：正确视为有缺陷的样本占所有异常样本的比例。

$\text{Recall}=\frac{\text{TP}}{\text{TP}+\text{FN}}$(8)

F1：综合了Precision和Recall两指标。

$\text{F-measure}=2\times \frac{\text{Precision}\times \text{Recall}}{\text{Precision}+\text{Recall}}$(9)

如 表2 、 表3 所示，标粗的为最优值，以ACC精确度和F1为指标，在NASA数据集下的MW1、KC1、PC1、PC5项目；MORPH数据集下的camel-1.2、ivy-1.4、poi-1.5、redktor项目进行对比实验，使用了Smote (合成少数类过采样技术)、ADASYN (自适应合成抽样)、Smote_Tomek (去除那些与多数类样本最近的少数类样本，进一步提升分类效果)、Smote_ENN (移除一些噪声和边界不清晰的样本的欠采样技术)、ACTUAL (不使用采样方法)。XGBoost-Smote模型明显优于其他四种情况。

以AEEEM数据集下的EQ项目为例，为了提高模型的训练速度，使用PCA算法对特征进行降维，如下 图5 所示为PCA降维处理后，把EQ的特征降到23个，并保留95%以上的信息。

本研究同时以ACC和F1作为评价指标，在软件缺陷数据集的十一个项目中，与八种基准模型(AdaBoost自适应增强这里简称为AB、CatBoost Categorical Boosting这里简称为CB、Decision Tree决策树这里简称为DT、Gradient Boosting梯度提升这里简称为GB、K-Nearest Neighbor近邻这里简称为KNN、RandomForest随机森林这里简称为RF、SVM支持向量机、XGBoost、Ridge岭回归)进行对比实验，如下 表4 所示。

为了更加直观地分析实验结果，本文由 表4 得到了如 图6 、 图7 所示的折线图，从 表4 、 图6 、 图7 可以看出：PCA-Smote-XGBoost模型在十一个软件缺陷数据集的项目中，相较于其他八种基准模型，在ACC和F1两个指标上，同时取得了全部第一，实验结果保留两位小数，在某些项目中出现并列第一的情况，同时PCA-Smote-XGBoost模型在十一个项目上的ACC/F1平均值为0.83/0.82，比其他八种基准模型的平均值分别提高了7%/6%、6%/6%、5%/4%、5%/4%、7%/6%、9%/7%、16%/13%、12%/11%，无论从局部还是整体来看，PCA-Smote-XGBoost模型都优于其他八种基准模型。

针对软件缺陷预测中成本高效率低和数据集的类不平衡问题，本文从软件缺陷数据集的特征入手，首先对XGBoost下的特征重要性进行了分析，比较了四种采样方法，得出了XGBoost-Smote的优越性，然后在基准模型-Smote的基础上进行对比实验，给XGBoost-Smote加入PCA，降低维度提高性能指标，提出了PCA + Smote + XGBoost模型，在软件缺陷数据集的十一个项目上验证了该模型的有效性。