本文重复进行N次试验，每次的实验结果用 A c c T 来表示，采用N次实验结果中准确率最高的一次作为衡量模型的准确度：

a c c = max { a c c 1 , a c c 2 , ⋯ , a c c N }

准确率越高，模型的分类效果越好。本文 N = 100 。

本文考察制造业绩效评价内容 A 1 , ⋯ , A n 的优或差，利用NB模型进行分类识别。若 A 1 , ⋯ , A n 为“优”的概率大于预先设定的阈值 α ， α ∈ ( 0 , 1 ) ，则将其判别为“1”，否则为“0”。 α 的取值由实际情况而定。由于我们需要对绩效评价内容 A 1 , ⋯ , A n 的优或差进行分类，相应地就产生了两个指标：真正例率(TPR)和假正例率(FPR)，前者表示将 A 1 , ⋯ , A n 为“优”(或“1”)正确分类的概率；后者表示将 A 1 , ⋯ , A n 的“差”(或“0”)错误分类为“优”(或“1”)的概率。我们用下面的混淆矩阵来解释上述两个指标的计算(表1)：

表1. 混淆矩阵

上述两个指标的计算公式可表示为：真正例率(TPR) = TP/(TP + FN)；假正例率(FPR) = FP/(FP + TN)。理想状态下，TPR应该接近于1，FPR应该接近于0，所以模型中我们希望TPR尽量大，FPR尽量小，这取决于我们预先设定的阈值 α 。实际上TPR与FPR具有同向变化关系，我们可以画出ROC曲线(图1)。

图1. ROC曲线图

模型效果越好，则ROC曲线越远离对角线，极端的情形是ROC曲线经过(0,1)点，即将“1”全部预测为“1”而将“0”全部预测为“0”。ROC曲线与FPR轴围成的面积称为AUC值，用来定量地评价模型的效果，AUC值越大，说明模型的分类效果越好。

基于相关研究 [ 1 ] [ 4 ] [ 5 ] [ 6 ] [ 9 ] [ 10 ] 的基础及《企业效绩评价操作细则》(修订)的规定并结合实际，选取盈利能力、营运能力和偿债能力下的财务绩效因子分别对其量化后作为因变量，基本情况如下表2：

表2. 因变量的情况说明

给绩效因子赋值为Y，设定一个固定值a (参照2016年《国家企业标准值》 [ 11 ] )，若

Y = { 0 X ≤ a 1 X > a

其中X是绩效因子的具体值。

表3. 盈利能力指标情况

将盈利能力指标(表3)的绩效因子得分加总，记加总得分为x，x取值为0、1、2、3、4、5，若

y = { 0       if   0 ≤ x < 3 0       if   3 ≤ x ≤ 5

其中y代表盈利能力指标值，y为“1”说明企业的收益和盈利情况较好。鉴于营运能力和偿债能力的处理方法与盈利能力相似，故在此不再一一赘述。

按样本数据的70%划分为训练集，30%为测试集，用决策树模型分类，结果如下：

表4. 分类准确率及效果

表4说明我们通过设定固定值，对财务指标的绩效因子进行加总得分的处理效果是可以的。从而得到因变量为0~1变量，y为“0”表示该项能力“差”，“1”表示其能力为“优”，这就挑选出财务绩效较好的样本(优质客户)参与下一步的企业绩效评价分类建模。

为进一步探索制造业的绩效评价内容与财务报表其他科目之间的关系，通过财务报表科目构造一系列的变量，建立企业绩效评价的财务能力分类模型。由于数据的冗余变量和无关变量会对模型的训练时间、预测精度和简洁性会产生不利影响 [ 12 ]，并且变量较多，故这里我们选择用基于距离相关性的DS-SIS的独立筛选方法达到降维的目的 [ 13 ]，从构造72个变量中最终筛选出18个自变量进入模型，变量基本情况如下表5所示：

表5. 自变量解释及含义

本文所用的数据来源于某商业银行2014~2017年贵州省制造业529份财务报表数据，这些财务报表均经过审计且是标准无保留意见的。原始数据共有38,088个记录，根据实际需要通过对财务报表中的某些科目进行加工构造了72个变量。

将样本数据中为0或空值占比大于或等于9%的无关变量剔除，剩余54个变量，空值均采用均值补缺。然后选用基于距离相关性的DS-SIS的独立筛选方法进行降维 [ 13 ]，最终筛选出18个自变量进入模型。

为了消除数据方向和量纲的差异性影响，采用Z-score

x = x i − x ¯ s

对数据进行标准化处理。处理后的数据按10折交叉划分为训练集和测试集。

分别以绩效评价内容的三个能力指标为因变量，18个变量作为自变量，通过NB分类算法建立模型。

盈利能力指标建模得到的结果如表6及图2所示：

表6. NaiveBayes模型对盈利能力指标测试集数据的分类结果

图2. NB分类模型在盈利能力指标测试集上的ROC曲线

在表6中，表明有2份盈利能力为“优”的财务报表，被误判为“差”，有5份盈利能力为“差”的财务报表，被误判为“优”，剩余46份财务报表的分类正确。模型的总体分类准确率为86.79%，AUC值为0.8374。

营运能力指标建模得到的结果如表7及图3所示：

表7. NB模型对营运能力指标测试集数据的分类结果

表7中，52份财务报表参与测试，仅有1份盈利能力为“优”的财务报表，被误判为“差”，有5份盈利能力为“差”的财务报表，被误判为“优”，剩余46份财务报表的分类正确。模型的总体分类准确率为88.46%，AUC值为0.8679。

偿债能力指标建模得到的分类结果如表8及图4所示：

图3. NB分类模型在营运能力指标测试集上ROC曲线

表8. NB模型对偿债能力指标测试集数据的分类结果

图4. NB分类模型在偿债能力指标测试集上的ROC曲线

表8中，只有5份偿债能力为“差”的财务报表，被误判为“差”，剩余的48份财务报表被正确分类。模型的总体分类准确率为90.57%，AUC值为0.8829。

由此说明NB模型对制造业企业的三个财务能力分类效果较好，即绩效因子以外的报表科目通过构造加工后与关键的企业绩效评价内容之间存在较好的相关性，这些构造加工的变量可以作为衡量企业绩效的重要因素，从企业资产结构配置的合理性，能够更全面地对企业的财务绩效进行评价。

企业绩效评价模型中常用的模型有BP神经网络，logistic回归模型，本文首次将NaiveBayes分类模型应用于制造业的绩效评价分类，并与BP神经网络、logistic回归、支持向量机以及决策树模型进行比较，各模型均用MATLAB R2014a软件完成，运行的结果如下表9所示：

表9. 各绩效评价分类模型的实证结果

由上表可以看出：对于制造业企业绩效评价分类模型，logistic回归模型虽然本身较为稳定，但是建模结果是最不理想的，尤其盈利能力指标的分类，准确率比其他都低，仅为0.4906，但是模型AUC值大于0.5，说明该模型还是有意义的。决策树模型是有监督分类，属于机器学习的范畴，对样本数据不需要作何假设，但是当类别多时，可能会增加错误率。支持向量机和BP神经网络是人工智能和机器学习领域的方法，能够模拟数据间复杂的线性关系，但模型缺乏可解释性，从建模结果来看，支持向量机模型在acc和AUC指标上的表现仅次于朴素贝叶斯模型。朴素贝叶斯分类算法比较简单，拥有稳定的分类效率，由本文的建模结果分析可以说明朴素贝叶斯模型对于三个财务绩效指标的分类在acc和AUC值上的表现是最好的。