为验证机器学习各种分类评价指标，本文使用UCI数据库中Vehicle Silhouettes (汽车轮廓)数据集中前三个类别的数据和sklearn中的MLPClassifier分类器，进行BP神经网络分类实验，并将各种分类评价指标进行总结、分析。

原始数据利用从汽车轮廓中提取的一组特征，将给定的样本分类为四种类型的车辆之一。其中共前三个类别包括647条样本，每条样本有18个指标，倒数第二列为样本的真实类别，包括opel、saab、bus、van四种类型，最后一列为类别标号。下面表1展示了该数据集的部分数据。

表1. Vehicle Silhouettes数据集部分数据

导入所需的程序包，代码如下：

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import math

from sklearn.model_selection import train_test_split

from sklearn.neural_network import MLPClassifier

from sklearn import metrics

from sklearn.metrics import accuracy_score

from sklearn.metrics import confusion_matrix

from sklearn.metrics import recall_score

from sklearn.metrics import precision_score

from sklearn.metrics import matthews_corrcoef

from sklearn.metrics import f1_score

from sklearn.metrics import cohen_kappa_score

from sklearn.metrics import precision_recall_curve

from sklearn.metrics import plot_roc_curve

from sklearn.metrics import roc_curve

from sklearn.metrics import auc

先对各指标数据分别进行归一化，再取出归一化后的数据集中前两类的数据，共430条样本，其中70%作为训练集，30%作为测试集。将训练集代入二分类BP网络中进行训练，并得到测试集的预测类别结果，代码如下：

#生成二分类训练集和测试集

X_binary = vehicle.iloc[:430, :18]

X_binary = (X_binary-np.min(X_binary))/(np.max(X_binary)-np.min(X_binary))

Y_binary = vehicle.iloc[:430, 19]

X_binary_train, X_binary_test, Y_binary_train, Y_binary_test = train_test_split(

X_binary, Y_binary, test_size = 0.3, random_state = 8)

#训练二分类BP神经网络

clf_binary = MLPClassifier(solver = 'lbfgs', hidden_layer_sizes = (5, 5)，

activation = 'logistic'，max_iter = 30, random_state = 0)#共两个隐藏层，每层5个节点，激活函数为logistic函数，最大训练步数30步。

clf_binary.fit(X_binary_train, Y_binary_train)

Y_binary_pred = clf_binary.predict(X_binary_test)

先对各指标数据分别进行归一化，再取出归一化后的数据集中前三类的数据，共647条样本，其中70%作为训练集，30%作为测试集。将训练集代入多分类BP网络中进行训练，并得到测试集的预测类别结果，代码如下：

#生成多分类训练集和测试集

X_multi = vehicle.iloc[:, :18]

X_multi = (X_multi-np.min(X_multi))/(np.max(X_multi)-np.min(X_multi))

Y_multi = vehicle.iloc[:, 19]

X_multi_train, X_multi_test, Y_multi_train, Y_multi_test = train_test_split(

X_multi, Y_multi, test_size = 0.3, random_state = 8)

#训练多分类器BP神经网络

clf_multi = MLPClassifier(solver = 'lbfgs', hidden_layer_sizes = (8, 6)，

activation = 'logistic'，max_iter = 200, random_state = 0)#共两个隐藏层，第一层8个节点，第二层6个节点，激活函数为logistic函数，最大训练步数200步。

clf_multi.fit(X_multi_train, Y_multi_train)

Y_multi_pred = clf_multi.predict(X_multi_test)

混淆矩阵(Confusion Matrix)，是评价机器学习分类精度的一种常见指标，其每一行代表样本的真实类别，每一列代表样本的预测类别。

1) 二分类混淆矩阵

在二分类情况下，混淆矩阵如图1所示，由TP，FN，FP，TN组成。

其中TP为实际是正类，预测为正类的样本数；FN为实际是正类，预测为负类的样本数；FP为实际是负类，预测为正类的样本数；TN为实际是负类，预测为负类的样本数。相应Python实验代码如下：

confusion_binary = confusion_matrix(Y_binary_test, Y_binary_pred)

得到二分类混淆矩阵为：

( 61 2 8 58 )

从混淆矩阵中可以看出，第0类只有2个样本被错误预测为第1类；第1类有8个样本被错误预测为第0类，说明整体预测效果较好。

2) 多分类混淆矩阵

在多分类情况下，以三分类为例，把其中一类当正类，另外两类当负类，分别针对三类中每一类进行计算，混淆矩阵如图2所示，由T00，F01，F02，F10，T11，F12，F20，F21和T22九个元素组成。

图1. 二分类混淆矩阵

图2. 三分类混淆矩阵

图中第一行代表第0类的情况，T00表示本身是第0类，又被模型预测到第0类的样本数；F01表示本身是第0类，但是被模型预测到第1类的样本数；F02表示本身是第0类，但是被模型预测到第2类的样本数。

图中第二行代表第1类的情况，F10表示本身是第1类，但是被模型预测到第0类的样本数；T11表示本身是第1类，又被模型预测到第1类的样本数；F12表示本身是第1类，但是被模型预测到第2类的样本数。

图中第三行代表第2类的情况，F20表示本身是第2类，但是被模型预测到第0类的样本数；F21表示本身是第2类，但是被模型预测到第1类的样本数；T22表示本身是第2类，又被模型预测到第2类的样本数。

相应Python实验代码如下：

confusion_multi = confusion_matrix(Y_multi_test, Y_multi_pred)

得到的三分类混淆矩阵为：

( 64 0 0 3 42 17 5 17 47 )

从混淆矩阵中可以看出，第0类样本全部预测正确；第1类有3个样本被错误预测为第0类，有17个样本被错误预测为第2类；第2类有5个样本被错误预测为第0类，有17个样本被错误预测为第1类，说明整体预测效果较好。

三类以上情况与以上类似。

1) 准确率

准确率(Accuracy)，是指正确分类样本数占样本总量的比例，可用来评价模型整体预测效果。

在二分类情况下，如下面的公式：

A c c u r a c y = T P + T N T P + T N + F P + F N

公式中TP (True Positive)代表本身是正类，又被模型预测到正类的样本数；TN (True Negative)代表本身是负类，又被模型预测到负类的样本数；FP (False Positive)代表本身是负类，但是被模型预测到正类的样本数；FN (False Negative)代表本身是正类，但被模型预测到负类的样本数。相应Python实验代码如下：

accuracy_binary = accuracy_score(Y_binary_test, Y_binary_pred)

得到测试样本的准确率为0.9225，说明模型整体预测效果很好。

在多分类情况下，准确率就等于被模型正确预测的样本数总数占总样本数的比例，如下面的公式：

Accuracy = ∑ i = 0 n − 1 T i i ∑ i = 0 n − 1 T i i + ∑ i = 0 n − 1 ∑ j = 0 , j ≠ i n − 1 F i j

公式中T_ii表示本身是第i类，又被模型预测到第i类的样本数；F_ij表示本身是第i类，但是被模型预测到第j类的样本数。相应Python实验代码如下：

accuracy_multi = accuracy_score(Y_multi_test, Y_multi_pred)

得到测试样本的准确率为0.7846，说明模型整体预测效果较好。

2) 召回率

召回率(Recall)，是指分类正确的正类样本个数占所有正类个数的比例，可用来评价正类样本的预测效果。由于在实际分类工作中，正类样本数往往是少数，被错分的代价也更高，所以模型拥有较高的正类召回率是很重要的。

在二分类情况下，如下面的公式：

Recall = TP TP + FN

公式中TP (True Positive)代表本身是正类，又被模型预测到正类的样本数；FN (False Negative)代表本身是正类，但被模型预测到负类的样本数。相应Python实验代码如下：

Recall_binary = recall_score(Y_binary_test, Y_binary_pred, average = None)

若设第0类为正类，得到的召回率为0.9683；若设第1类为正类，得到的召回率为0.8788。

在多分类情况下，可以计算每一类的召回率，某类的召回率就是该类正确预测的样本数占该类总样本数的比例，如下面的公式：

Recall i = T i i T i i + ∑ j = 0 , j ≠ i n − 1 F i j

公式中T_ii表示本身是第i类，又被模型预测到第i类的样本数；F_ij表示本身是第i类，但是被模型预测到第j类的样本数。相应Python实验代码如下：

Recall_multi = recall_score(Y_multi_test, Y_multi_pred, average = None)#average参数设为None表示分别计算每一类的召回率

若设第0类为正类，得到的召回率为1，因为第0类的全部样本都被正确预测为第0类；若设第1类为正类，得到的召回率为0.6774；若设第2类为正类，得到的召回率为0.6812，第1类和第2类的召回率较低。

3) 精确率

精确率(Precision)，是正确预测的正类样本数占所有被预测为正类的样本数的比例。二分的类情况如下：

Precision = TP TP + FP

公式中TP (True Positive)代表本身是正类，又被模型预测到正类的样本数；FP (False Positive)代表本身是负类，但是被模型预测到正类的样本数。相应Python实验代码如下：

Precision_binary = precision_score(Y_binary_test, Y_binary_pred, average = None)

若设第0类为正类，得到的精确率为0.8841；若设第1类为正类，得到的精确率为0.9667。

在多分类情况下，可以计算每一类的精确率，某类的精确率就是该类正确预测的样本数占所有被预测为该类的样本数的比例，如下面的公式：

Precision j = T j j T j j + ∑ i = 1 , i ≠ j n − 1 F i j

公式中T_jj表示本身是第j类，又被模型预测到第j类的样本数；F_ij表示本身是第i类，但是被模型预测到第j类的样本数。相应Python实验代码如下：

Precision_multi = precision_score(Y_multi_test, Y_multi_pred, average = None)#average参数设为None表示分别计算每一类的精确率

若设第0类为正类，得到的精确率为0.8889；若设第1类为正类，得到的精确率为0.7119；若设第2类为正类，得到的精确率为0.7344。

1) G-mean值

了解G-mean值之前，首先应明确灵敏度(Sensitive)和特异度(Specificity)。灵敏度(Sensitive)与召回率(Recall)相同，是指正确预测的正类样本数占所有正类样本数的比例。特异度(Specificity)是指正确预测的负类样本数占所有负类样本数的比例。实际上，Sensitive表示正类的召回率，Specificity表示负类的召回率，如下面的公式：

S e n s i t i v e = T P T P + F N ， S p e c i f i c i t y = T N T N + F P

在二分类情况下，G-mean值等于灵敏度和特异度的几何平均数。G-mean值以相同的权重综合了正类和负类的召回率，所以对数据样本在各类的分布不敏感，即使数据很不平衡，G-mean值也能综合考虑到各类召回率，很好地评价一个分类器的性能。G-mean值越高，说明模型整体预测效果越好，如下面的公式：

G - m e a n = S e n s i t i v e × S p e c i f i c i t y

公式中Sensitive表示正类的召回率，Specificity表示负类的召回率，相应Python实验代码如下：

Gmean_binary = np.sqrt(Recall_binary[ 0 ]*Recall_binary[ 1 ])

得到的G-mean值为0.9224。

在多分类情况下，我们认为也可以将各个类别的召回率求几何平均数得到多分类的G-mean值，其值越高，说明模型整体预测效果越好，如下面的公式：

G-mean = ∏ i = 0 n − 1 Recall i n

公式中Recall_i表示第i类的召回率，将n个类别的召回率相乘再开n次方，得到其几何平均值，即多分类G-mean值。相应Python实验代码如下：

Gmean_multi = math.pow(Recall_multi[ 0 ]*Recall_multi[ 1 ]*Recall_multi[ 2 ], 1/3)

得到的G-mean值为0.7727。

对于三分类以上的情况，也可以将装有各类召回率的列表代入如下函数求G-mean值，代码如下：

import math

def Gmean(Recall_list):

G = 1; n=len(Recall_list)

for Recall in Recall_list:

G = G*Recall

return math.pow(G, 1/n)

2) Matthews相关系数

Matthews相关系数(Matthews correlation coefficient, MCC)，用一个值综合混淆矩阵，度量真实值与预测值之间的相关性。

在二分类情况下，公式中分母含有四项，分子含有两项，如下面的公式：

M C C = T P × T N − F P × F N ( T P + F P ) ( T P + F N ) ( T N + F P ) ( T N + F N )

分母中第一项(TP + FP)表示所有被预测为正类的样本数，第四项(TN + FN)表示所有被预测为负类的样本数，第二项(TP + FN)表示测试集中实际为正类的样本数，第三项(TN + FN)表示测试集中实际为负类的样本数。如果模型将所有测试样本全部预测为正类(分母第四项为0)或负类(分母第一项为0)，整个公式分母也为0，应认为这是一个随机分类器，Matthews相关系数应指定为0。如果测试集中本没有正类样本(分母第二项为0)，或负类样本(分母第三项为0)，则Matthews相关系数没有意义。

分子中第一项(TP × TN)表示所有被正确预测的样本数的乘积，第二项(FP × FN)表示所有被错误预测的样本数的乘积。

Matthews相关系数值介于[−1, 1]之间：

MCC = 1时，FP和FN均为0，则分子第二项为0，分母为 T P 2 T N 2 ，这表示每一类测试样本全部都正确预测到该类，分类器是完美的，分类结果全部正确。

MCC = 0时，一种情况是由于模型将所有测试样本全部预测为正类或负类，此时分类器是随机分类器；另一种情况是公式的分子两项之差恰好为0，此时MCC值也恰好为0。

MCC = −1时，TP和TN均为0，则分子第一项为0，分母为 F P 2 F N 2 ，这表示每一类测试样本全部都被错误预测，分类器是最差的，分类结果全部错误。

相应Python实验代码如下：

MCC_binary = matthews_corrcoef(Y_binary_test, Y_binary_pred)

得到的Matthews相关系数值为：0.8489。

在多分类情况下，我们认为也可以将Matthews相关系数推广到多分类问题上，如下面的公式：

MCC = ( ∏ i = 0 n − 1 T i i ) n − 1 − ∏ i = 0 n − 1 ∏ j = 0 n − 1 F i j ∏ i = 0 n − 1 ∏ j = 0 , j ≠ i n − 1 ( T i i + F i j ) × ∏ j = 0 n − 1 ∏ i = 0 , i ≠ j n − 1 ( T j j + F i j )

以三分类情况为例，如下面的公式：

MCC = ( T 00 T 11 T 22 ) 2 − F 01 F 02 F 10 F 12 F 20 F 21 ( T 00 + F 01 ) ( T 00 + F 02 ) ( T 11 + F 10 ) ( T 11 + F 12 ) ( T 22 + F 20 ) ( T 22 + F 21 ) ( T 00 + F 10 ) ( T 00 + F 20 ) ( T 11 + F 01 ) ( T 11 + F 21 ) ( T 22 + F 02 ) ( T 22 + F 12 )

与二分类情况类似，公式中分子表示所有被正确预测的样本数的乘积减去所有被错误预测的样本数的乘积；分母中第一行共六项，每类两项，共三类，表示实际属于各类的测试样本被正确预测的样本数(T_ii)分别与错误预测至其他各类的样本数之和；分母第二行共六项，每类两项，共三类，表示实际属于各类的测试样本被正确预测的样本数(T_ii)分别与其他各类错误预测至该类的样本数之和。

可以将混淆矩阵代入如下函数求得多分类的Matthews相关系数，代码如下：

import math

def MCC(confusion_matrix):

n = confusion_matrix.shape [ 1 ]

T = 1; F = 1

for i in range(n):

T = T*confusion_matrix[i,i]

for i in range(n):

for j in range(n):

if j! = i:

F = F*confusion_matrix[i,j]

Actual = 1; Predict = 1

for i in range(n):

for j in range(n):

if j! = i:

Actual = Actual*math.sqrt(float(

confusion_matrix[i, i] + confusion_matrix[i, j]))

for j in range(n):

for i in range(n):

if i! = j:

Predict = Predict*math.sqrt(float(

confusion_matrix[j, j] + confusion_matrix[i, j]))

T_pow = math.pow(T, n-1)

AP = Actual*Predict

return (T_pow-F)/AP

#将多分类混淆矩阵代入函数中

MCC_multi = MCC(confusion_multi)

得到的多分类Matthews相关系数为：0.4520。

将二分类混淆矩阵代入函数中验证，得到的Matthews相关系数结果与sklearn中matthews_corrcoef函数得到的结果同为0.8489。

3) F1-Score

F-Score也称F-Measure是一种用来综合衡量模型召回率和精确率的指标。召回率(Recall)和精确率(Precision)是一对矛盾的度量，一般情况下，Recall值高时Precision值往往偏低，Precision值偏高时Recall值往往偏低。当分类置信度高时，准确率Precision偏高，召回率Recall值偏低；而分类置信度低时，准确率Precision偏低，召回率Recall值就偏高。

F-Score = ( a 2 + 1 ) × P × R a 2 × P + R

其中a表示权重因子，P (Precision)表示精确率，R (Recall)表示召回率，将上式变形后可得 a 2 + 1 F-Score = a 2 P + 1 R 。用类别数2分别除以上式两边，并将系数整理至右边可得

F-Score = 2 2 a 2 a 2 + 1 × 1 P + 2 a 2 + 1 × 1 R

可以看出，F-Score是召回率和精确率的加权调和平均值。且对于参数a，当a > 1时表示精确率比召回率更重要，当a < 1时表示召回率比精确率更重要。a = 1时二者同样重要，由此可以引出F1-Score。

F1-Score是F-Score在a = 1时的特例，是最常用的综合衡量模型召回率和精确率的指标，是召回率和精确率的调和平均值。

在二分类情况下，如下面的公式：

F1-Score = 2 P R P + R ， 2 F1-Score = 1 P × 1 R

公式中P表示精确率，R表示召回率，相应Python实验代码如下：

F1_binary = f1_score(Y_binary_test, Y_binary_pred, average = None)

若设第0类为正类，得到的F1-Score值为0.9242；若设第1类为正类，得到的F1-Score值为0.9206。

在多分类情况下，需要为f1_score函数设置合适的average参数(如表2所示)，不能使用默认的‘binary’，可以根据需求计算几种不同的F1-Score值。

表2. Average部分参数

相应Python实验代码如下：

F1_multi = f1_score(Y_multi_test, Y_multi_pred, average = None)

若设第0类为正类，得到的F1-Score值为0.9412；若设第1类为正类，得到的F1-Score值为0.6942；若设第2类为正类，得到的F1-Score值为0.7068。

F1_multi_micro = f1_score(Y_multi_test, Y_multi_pred, average = 'micro')

得到的全局F1-Score值为0.7846。

F1_multi_macro = f1_score(Y_multi_test, Y_multi_pred, average = 'macro')

得到的各类简单平均F1-Score值为0.7807。

F1_multi_weighted = f1_score(Y_multi_test, Y_multi_pred, average = 'weighted')

得到的各类加权平均F1-Score值为0.7797。

4) Kappa系数

Kappa系数是一种基于混淆矩阵计算的，用于衡量样本实际类别与模型预测类别一致程度的综合指标。如下面的公式：

Kappa = P o − P e 1 − P e

其中，P_o值是指正确分类的样本数除以总样本数，也就等于模型的分类准确率Accuracy；P_e值是指各类实际样本数与被模型预测到该类的样本数的乘积之和，除以混淆矩阵中各项之和的平方。

在二分类情况下，如下面的公式：

P o = TP + TN TP + FN + FP + TN ， P e = ( TP + FN ) × ( TP + FP ) + ( TN + FP ) × ( TN + FN ) ( TP + FN + FP + TN ) 2

P_e公式中分子含有四项，其中第一项(TP + FN)表示正类的实际样本数；第二项(TP + FP)表示被模型预测到正类的样本数；第三项(TN + FP)表示负类的实际样本数；第四项(TN + FN)表示被模型预测到负类的样本数。分母表示混淆矩阵中各项之和的平方。相应的python代码如下：

Kappa_binary = cohen_kappa_score(Y_binary_test, Y_binary_pred)

得到的Kappa值为：0.8452。

在多分类情况下，如下面的公式：

P o = ∑ i = 0 n − 1 T i i ∑ i = 0 n − 1 T i i + ∑ i = 0 n − 1 ∑ j = 0 , j ≠ i n − 1 F i j ， P e = ∑ i = 0 n − 1 ( ( T i i + ∑ j = 0 , j ≠ i n − 1 F i j ) × ( T i i + ∑ j = 0 , j ≠ i n − 1 F j i ) ) ( ∑ i = 0 n − 1 T i i + ∑ i = 0 n − 1 ∑ j = 0 , j ≠ i n − 1 F i j ) 2

P_e公式中分子的n项中，每一项又包含两项的乘积，其中第一项表示第i类的实际样本数；第二项表示被模型预测到第i类的样本数。分母表示混淆矩阵中各项之和的平方。相应的Python代码如下：

Kappa_multi = cohen_kappa_score(Y_multi_test, Y_multi_pred)

得到的Kappa值为：0.6768。

Kappa系数取值介于[−1, 1]之间，Kappa系数值越大说明模型分类效果越好，“样本实际类别”与“模型预测类别”这两者的一致程度越高，具体地说，就是：Kappa值在0.21~0.40内可以认为两者具有“可接受”的一致性；Kappa值在0.41~0.60内可以认为两者具有“中等”的一致性；Kappa值在0.61~0.80内可以认为两者具有“较高”的一致性；Kappa值 > 0.81可以认为两者几乎完全一致。根据Kappa系数公式，当 P o = 1 且 P e ≠ 1 时，即所有样本都被正确预测且不全属于同一类别时，Kappa值为1，说明样本实际类别与模型预测类别两者完全一致。

另外，Kappa系数倾向于在不平衡数据集上得到更低的值。根据P_e值的公式，对于样本数在各类别中分布越不平衡的混淆矩阵，P_e值会越高，相应地，在模型分类准确率Accuracy (或者P_o)相同时，Kappa系数值会更低。