文献 [14] 指出Fisher判别分析通过寻找多变量间的线性法则来构造判别函数，从而描述或解释两组以及多组群体的区别的一种方式。Fisher判别分析基于一条假设，即多个群体具有互不相同的均值，但是具有相同的协方差矩阵。Fisher’s LDA分类不同于只是确定分类规则的判别分析，而是在分析的过程中做出预测，将对象分到某一类别之中。Fisher’s LDA分类除了均值不同和协方差矩阵相同的条件外，还要求对两个群体进行判别分析时，假设有2个p维样本，第1、2个样本分别为 $\left(y_{11},y_{12},\cdots ,y_{1n_1}\right)$、 $\left(y_{21},y_{22},\cdots ,y_{2n_2}\right)$，其均值向量分别为 ${\bar{y}}_1$、 ${\bar{y}}_2$，Fisher判别法需要计算出对应的t统计量，即：

$t=\frac{a\text{'}\left({\bar{y}}_1-{\bar{y}}_2\right)}{\sqrt{\left(\frac{1}{n_1}-\frac{1}{n_2}\right)a\text{'}{S}_{pl}a}}$ (1)

其中a为所求线性组合的投影方向， $S_{pl}$为两个样本共同的离差矩阵，当 $a=S_{pl}^{-1}\left({\bar{y}}_1-{\bar{y}}_2\right)$时， $t^2$最大。

在多群体Fisher判别分析中，假设存在g个群体，设第k个群组为 $G_k,k=1,2,\cdots ,g$。第k个样本 $\left(y_{k1},y_{k2},\cdots ,y_{k{n}_k}\right)$的均值为 ${\bar{y}}_k$。多群体Fisher判别分析中，以组间方差和组内方差的比值的最大值来确定投影方向a，组内方差与组间方差的比值如下：

$\frac{a\text{'}Ba}{a\text{'}Wa}=\frac{a\text{'}\left[{\displaystyle \underset{k=1}{\overset{g}{\sum }}\left({\bar{y}}_k-\bar{y}\right)\left({\bar{y}}_k-\bar{y}\right)\text{'}}\right]a}{a\text{'}\left[{\displaystyle \underset{k=1}{\overset{g}{\sum }}{\displaystyle \underset{i=1}{\overset{n_k}{\sum }}\left(y_{k_i}-{\bar{y}}_k\right)\left(y_{k_i}-{\bar{y}}_k\right)\text{'}}}\right]a}$ (2)

其中B为组间协方差矩阵，W为组内协方差矩阵之和。

设矩阵 $W^{-1}B$有非零特征值 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_s$，每个特征值对应的特征向量为 $e_1,e_2,\cdots ,e_s$，其中 $s\le \min \left(g-1,p\right)$。

线性组合 $e{\text{'}}_{k}y$为第k个判别式。将s个判别式作为判别函数，可以将原有高维数据转换到s维空间，实现了降维的目的。若要判别一个未知的个体属于哪类群体，只需计算该个体到各类群体中心的马氏距离，马氏距离最短的中心对应的类别，即为该未知个体所属的群体类别。

LDA判别法对于群体分布没有要求但需要群体有共同的协方差矩阵，比一般的Fisher判别法具有更广泛的适用性。作为一种线性判别分析，LDA判别法从方差分析的思想入手，通过降维实现数据可视化，为其他判别函数的构造提供了启发。

本文主要对LDA算法的以下两个缺陷进行研究。

1) 异方差性带来的误差问题：Fisher方法从方差分析的角度切入，计算组内方差与组间方差的比值，从而得到投影方向，只有在多组群体具有相同的协方差矩阵的时候才可以得到使用，具有较大的局限性；其次，由于方差主要通过反映了数据的离散程度来间接反映数据的集中程度，该方法的准确率并不算很高。在很多现实的工程问题中，需要处理的数据群体并不满足LDA方法的使用条件。

2) 同类别多中心和多类别同中心的问题：Fisher方法无法处理同类别多中心问题和多类别同中心。有些数据虽然有明显的划分界限，但是因为某一类的数据中心不止一个，有时各类的中心甚至都落到了对方的区域，产生了多类别同中心的问题，导致无法与其他类之间很好地分开。如 图1 (图中浅蓝色圆点为每个黑色簇的重心，深蓝色圆点为每个红色簇的重心，浅蓝色方点为黑色簇的总重心，粉色方点为红色簇的总重心)，虽然Fisher判别法确定了这两类的数据中心，但是这两类的数据中心均落到对方的数据中，并几乎与对方其中一个数据簇的中心重合，而且由于同类别多中心的问题，虽然划分依据使得两类中心的距离最大，但是并没有很好的将两类区分，误差较大。

定义1：伪预测(第一次映射)

设 $x_1,x_2,\cdots ,x_n$是相互独立的观测，每个观测有p维属性， $a=\left(a_1,a_2,\cdots ,a_p\right)$为系数向量，h为伪预测(第一次映射)。其函数关系为：

$\begin{array}{l}h\left(x_j\right)=a\text{'}{x}_j=a_1{x}_{j1}+a_2{x}_{j2}+\cdots +a_p{x}_{jp},j=1,2,\cdots ,n\\ a_1+a_2+\cdots +a_p=1,a_i\in \left[-1,1\right],i=1,2,\cdots ,p\end{array}$ (3)

其中 $x_j=\left(x_{j1},x_{j2},\cdots ,x_{jp}\right),j=1,2,\cdots ,n$。初始待定系数任意给定，且将该函数表达式的系数做归一化处理，即满足： $a_1+a_2+\cdots +a_n=1$。考虑到系数的重要性及方向性、归一性，限制系数 $a_1,a_2,\cdots ,a_n$取值范围为[−1, 1]。由于常数项系数对第二次映射无影响，所以不妨忽略常数项系数。这样可以有效将多维线性空间通过线性映射的方法映射至一维线性空间。

定义2：实映射(第二次映射)

定义实映射f，表达式如下：

$f\circ h\left(x_j\right)={\displaystyle \underset{i=1}{\overset{k}{\sum }}{c}_i{I}_{A_i}\left(h\left(x_j\right)\right)}$ (4)

其中 $A_i$为数轴上划分的第i块区间。

通过伪预测和实映射的两次映射，构建重映射模型，以二分类为例，设向量 $c=\left(c_1,c_2,\cdots ,c_k\right)$， $b=\left(b_1,b_2,\cdots ,b_{k-1}\right)$为实数轴上的划分值对应的向量，且 $-\infty =b_0<b_1<b_2<\cdots <b_{k-1}<b_k=+\infty$， $A_i=\left(b_{i-1},b_i\right]\cap R$， $h(\cdot )$为伪预测的函数， $f(\cdot )$为实映射的函数，目标函数 $g\left(a,b,c\right)$为实映射预测的属性值与实际的属性值差的绝对值之和，使之达到最小的预测方法，称之为LMMR模型，具体的最优化模型为：

$\min g\left(a,b,c\right)={\displaystyle \underset{j=1}{\overset{n}{\sum }}\left|f\circ h\left(x_j\right)-y_j\right|}$ (5)

其中 $c_i=0$或1， $i=1,2,\cdots ,k$， $y_j$表示 $x_j$， $j=1,2,\cdots ,n$对应的实际属性值。流程图和具体过程见 图2 、 图3 所示。

基于上述分析，LMMR的算法的具体步骤如下：

输入数据集 $X=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\cdots ,\left(x_n,y_n\right)\right\}$ (其中 $x_i$为观测向量， $y_i$为类别标识)，最大分割数 $nd$，随机次数m输出识别率，分割点最小值，划分点集，分割点最大值，回归参数。

$\left\{pun,y_{\min },\left\{d_1,d_2,\cdots ,d_{nd}\right\},y_{\max },a_1,a_2,\cdots ,a_n\right\}$

(1) for(i in 1: m){

(2) 用均匀随机数发生器在区间[−1, 1]上生成 $p-1$维个的随机数 $a_1,a_2,\cdots ,a_{p-1}$，由系数归一性构成系数向量 $a=\left(a_1,a_2,\cdots ,a_p\right)$。

(3) 将系数a和数据集X的观测参数值代入伪预测函数 $h\left(x_j\right),j=1,2,\cdots ,n$。

(4) 计算

$y_{\min }=\underset{j=1,2,\cdots ,n}{\min }h\left(x_j\right),y_{\max }=\underset{j=1,2,\cdots ,n}{\max }h\left(x_j\right)$

(5) 用均匀随机数发生器在区间 $\left[d_0,d_{nd+1}\right]=\left[y_{\min },y_{\max }\right]$上按均匀分布随机生成 $nd$个分割值： $d_1,d_2,\cdots ,d_{nd}$。

(6) do {

(7) for(k in 1: nd){

(8) for(j in 1: nd+1){

(9) 计算在区间 $\left[d_{j-1},d_j\right]$上各属性个体的个数

(10) 取该区间上个数最多者的属性 $c_i$为该区间的属性

(11) 计算在区间上具有属性 $c_i$的个体的个数 $n{n}_j$

(12) 计算识别率

$punT=\frac{{\displaystyle \underset{j=1}{\overset{nd+1}{\sum }}n{n}_j}}{length\left(X\right)}$

(13) }

(14) 用梯度下降法在 $\left[d_{k-1},d_{k+1}\right]$间选取 $d_k$使得 $punT$识别率最高，记为 $pu{n}_k$

(15) }

(16)}while (分割值 $d_1,d_2,\cdots ,d_{nd}$位置发生改变)

(17)计算识别率 $pun=\underset{k}{\max }pu{n}_k$

(18)}

(19)取上述m个识别率中最大的识别率 $pun$对应的

$\left\{pun,y_{\min },\left\{d_1,d_2,\cdots ,d_{nd}\right\},y_{\max },a_1,a_2,\cdots ,a_n\right\}$

为最终结果。

为了验证本文算法的有效性，分别对合成数据集和真实数据集进行探索实验，并且用Fisher算法和BP神经网络算法进行对比。所有算法均采用R4.1.0编写程序并且测试，选择Windows 10系统作为实验环境，选择Intel(R) Core(TM) i5-7200U CPU处理器，内存为8.00 GB。

本文分别用蒙特卡洛法和迭代法求伪预测函数系数和划分点值的精确数值解，伪预测函数系数为近似全局最优，划分点值为近似局部最优，其中划分点迭代值的初值为使用蒙特卡洛法得到的近似最优解。

本文采用判别分析算法中最重要的识别率作为模型优劣的评判标准，LMMR算法通过预测的结果与实际的类别相对比，借助目标函数 $g\left(a,b,c\right)$得到识别率R的计算公式为：

$R=1-\frac{g\left(a,b,c\right)}{N}$ (6)

或者根据LMMR具体的算法过程，也可以从分布函数的角度出发，得出识别率的等价计算方法：

定义4：(分布函数)设 $N_i$为类别i的个体占数据集的总数， $coun{t}_i\left(y\right)$为在重映射过后，重映射值小于y且属于类别i的个数，则类别i的分布函数的表达式为：

$F_i\left(y\right)=P_i\left(Y\le y\right)=\frac{coun{t}_i\left(y\right)}{N_i}$ (7)

若一共有 $k+1$个分割点(包括 $y_{\min },y_{\max }$)， $d_j,d_{j+1}$分别为第j个和第 $j+1$分割点， $N_{j,j+1}$为重映射过后，y介于 $d_j,d_{j+1}$中的样本容量，N为样本总数，则识别率R可表达为：

$R=\frac{{\displaystyle \underset{j=1}{\overset{k}{\sum }}\max \left\{N_{j,j+1}\left(F_i\left(d_j\right)-F_i\left(d_{j-1}\right)\right)\right\}}}{2{\displaystyle \underset{i=1}{\overset{n}{\sum }}{N}_i}}$ (8)

为了将LMMR算法与传统的Fisher’s LDA、神经网络算法在不同形状簇的数据集上的分类效果对比，本文选取了3个具有代表性的二维合成数据集(分别记为I，II，III)进行对比实验。

合成数据集的基本信息如 表1 所示，散点图如 图4 所示。 图4 中不同颜色的区域表示不同的类别，其中，红色点代表 $\alpha$类，黑色代表 $\beta$类，蓝色、绿色的圈分别为各区域的重心，黑色的叉、粉色的圈分别为类别 $\alpha$和类别 $\beta$的重心。

由 图4 知，传统的Fisher’s LDA算法虽然可以识别出每一类的重心，但是对于多重心的问题，每一类的重心可能近似重合，甚至落在了对方类别的区域，由于Fisher’s LDA算法能且只能识别每一类的重心，并把各类的重心尽可能地分开，却无法识别每一簇块的中心，导致分割方式与实际情况差别过大，误差偏大。而LMMR算法，首先不是通过各簇重心决定分类方式，而是直接以识别率作为目标函数，并且LMMR算法允许多次分块。所以是否多重心对它并无影响，可以将互相交错的多簇数据集很好地分类，如 图4(b) 、 图4(c) 所示。

表2 、 表3 列出了Fisher’s LDA、LMMR、BP神经网络3种算法在3个人工数据集上的分类结果，

可以看出Fisher’s LDA在多重心的人工数据集上，判别分类结果很差，另外两个算法判别结果都很好，LMMR算法略逊于BP神经网络，但是LMMR作为由传统统计学知识构建出的判别分析模型，它的可解释性强，原理清晰，而神经网络仅有判别结果和公式却无法解释模型内在原理。对比各算法的识别率R可以发现，LMMR算法在各个数据集上都有着较好的分类效果。

为了验证本文LMMR算法在现实数据上的有效性，在Mushroom data creation [15] 真实数据集上与Fisher’ LDA、LMMR算法以及BP神经网络算法进行对比实验，该数据集的基本信息如 表4 所示，其中e、p分别表示无毒蘑菇和有毒蘑菇。由于该数据为三维数据，用正视图、侧视图、俯视图对该数据集进行可视化，散点图(正视图、侧视图、俯视图)如 图5 所示，从中可以看出：该数据集是个三中心的数据集( 图5(d) 所示)。

表5 列出了LDA、LMMR、BP神经网络这3种算法在Mushroom data creation数据集中训练集和测试集的分类结果。对于该数据集3种算法的分类效果都不是很好，主要是因为该数据集e和p两类的数据交杂在一起。虽然能大致看出应分成3块，但e中仍然夹杂了很多p类的蘑菇。但通过训练集和测试集的比较，LMMR、BP神经网络这两种算法相对而言分类效果较好。首先，其训练集识别率相比LDA

略高。其次，一般而言，测试集的识别率会有所下降，而LDA的测试集识别率R相比训练集竟然下降了近11%。相比之下，主要是因为LDA无法准确地将该数据集分化成3类，导致其模型很不稳定；反观LMMR、BP神经网络两种算法的测试集识别率仅下降4%~5%。说明LMMR算法不仅拥有接近人工智能算法的识别率，且模型较为稳定，更有传统统计学算法模型易于解释的优点。

LMMR算法只有一个参数设置，也就是伪预测函数系数向量a。为了分析该参数对算法的影响，分别在合成数据集II和真实数据集Mushroom data creation上进行实验。对于真实数据集，我们将参数a的每一个分量，对于合成数据集II，我们将参数a的每一个分量，都做相对于均值5‰的波动，重复10次实验，得出参数a的波动对识别率的影响，并画出散点图。

由 表6 、 图6 和相对误差可以看出。识别率的波动均在3%以下，但相对0.5%的参数扰动，识别率的波动仍有些偏大，说明该模型对伪预测的系数(参数a)较为灵敏。原因在于，参数a是伪预测函数的系数，决定了第一次映射的方向，参数只是发生细微的变化，也可以让第一次映射的角度变化较大，导致对映射值无法进行很好的切割，造成了识别率的快速下降。但识别率的波动也仅有3%，误差并没有太大，仍在可接受范围之内，说明我们的模型相对稳定。