灰度共生矩阵(GLCM)的统计方法是20世纪70年代初由R. Haralick等 ‎[ 1 ] 提出。灰度共生矩阵定义为：在一张图片中，从灰度i的像素点出发，距离为 ( d x , d y ) 的另一个像素点的灰度为j的概率。其数学表达式为： P ( i , j | d , θ ) = { ( x , y ) | f ( x , y ) = i , f ( x + d x , y + d y ) = j , x , y = 0 , 1 , ⋯ , N − 1 } ，其中，d是用像素数量表示的相对距离；θ一般考虑四个方向，分别为0˚，45˚，90˚，135˚；{}表示集合， i , j = 0 , 1 , 2 , ⋯ , L − 1 ，L为图像灰度级； ( x , y ) 为图像中的像素坐标。

图1. 灰度共生矩阵几何表达

如图1所示：x方向是图像的列，y方向是图像的行， f ( x , y ) = i 为坐标 ( x , y ) 处的像素值，我们需要统计的是距离 ( d x , d y ) 处 f ( x + d x , y + d y ) = j 的次数，由于 ( d x , d y ) 的选择不同，则会导致角度的不同，一般会选择0˚，45˚，90˚，135˚，并且方向是双向的。

由于灰度共生矩阵的维度较大，一般不会直接作为区分纹理的特征，而是基于它构建一些统计量作为纹理分类特征。在这里使用到如下六个统计量：

1) 对比度(Contrast)

Contrast= ∑ i ∑ j ( i − j ) 2 P ( i , j ) 。

对比度直接反映了某个像素值及其领域像素值亮度的对比情况，即图像的清晰度和纹理沟纹深浅的程度。如果灰度共生矩阵偏离对角线的元素有较大值，即灰度差大的像素对越多，说明图像亮度值变化很快，则Contrast会有较大取值。具体地，纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。

2) 相异性(Dissimilarity)

Dissimilarity = ∑ i ∑ j | i − j | P ( i , j ) 。

计算对比度时，权重随矩阵元素与对角线的距离以指数方式增长，如果改为线性增长，则得到相异性。

3) 角二阶矩(Angular Second Moment, ASM)

ASM = ∑ i ∑ j P ( i , j ) 2 。

角二阶矩即为灰度共生矩阵元素的平方和，反映了图像灰度分布均匀程度和纹理粗细度。当图像纹理比较规则时，灰度共生矩阵的值集中在某一块(例如，连续灰度值图像，值集中在对角线附近；结构化的图像，值集中在偏离对角线的位置)，此时ASM有较大值，若灰度共生矩阵中的值分布较均匀(如噪声严重的图像)，则ASM有较小的值。

4) 能量(Energy)

Energy = ASM 。

5) 自相关(Correlation)

Correlation = ∑ i ∑ j ( P ( i , j ) 2 ( i − Mean ) ( j − Mean ) ) / Variance 。其中， Mean = ∑ i ∑ j ( i P ( i , j ) ) / L 2 ， Variance = ∑ i ∑ j ( i − Mean ) 2 P ( i , j ) 。

自相关反应了图像纹理的一致性。如果图像中有水平方向纹理，则水平方向矩阵的Correlation大于其余矩阵的Correlation值。它度量空间灰度共生矩阵元素在行或列方向上的相似程度，因此，相关值大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，相关值就大；相反，如果矩阵元素值相差很大，则相关值小。

6) 逆方差(Homogeneity)

Homogeneity = ∑ i ∑ j P ( i , j ) / ( 1 + ( i − j ) 2 ) 。

逆方差反映了图像纹理局部变化的大小，若图像纹理的不同区域间较均匀，变化缓慢，逆方差会较大，反之非均匀图像的逆方差值较小。与对比度相反，逆方差的权重随着元素值与对角线的距离变大而减小，并且是以指数形式减小。

本文图片来自kaggle网站的一个数据集，其中包括正常肺图片和肺炎图像两类。随机选择正常肺图片和肺炎图像各100张，按照8:2划分为训练集和测试集，即训练集160张，测试集40张，并将不同尺寸的图片缩放至256 × 256。以下实验使用相同的训练集与测试集。

首先对缩放至256 × 256的图片使用Skimage Feature中的Graycomatrix函数，在距离为2的情况下，计算0˚，45˚，90˚，135˚四个方向上的灰度共生矩阵，再利用Graycoprops函数，计算对比度(Contrast)、相异性(Dissimilarity)、角二阶矩(Angular Second Moment, ASM)、能量(Energy)、自相关(Correlation)、逆方差(Homogeneity)六个统计量。最终每张图片统计量的结果取四个方向上的平均值，由此根据灰度共生矩阵得到每张图片关于纹理的六个特征。在这里，我们不关心特征之间的共线性，只关心所有特征的预测结果。基于上述提取的特征，使用KNN、逻辑回归、决策树、支持向量机、随机森林、XGBoost、LightGBM分类模型进行训练和测试，实验结果如表1所示。

图2. 灰度共生矩阵提取特征下的ROC曲线

图3. 灰度共生矩阵提取特征下的P-R曲线

表1. 灰度共生矩阵提取的特征分类结果

注：ACC表示准确率(accuracy)，P表示精确率(precision)，R表示召回率(recall)，F1表示F1分数(F1 score)，P、R、F1均是肺炎图像为正例情况下的结果。

从表1中可以看到，在仅使用灰度共生矩阵提取特征的情况下，使用逻辑回归和支持向量机分类在七种算法中取得了最高的准确率，结果为80%。

准确率虽然最直观，但存在明显的缺陷。ROC曲线(Receiver Operating Characteristic Curve)能够更清晰地描述分类器的性能，它显示了在不同阈值下分类器的真阳性率(True Positive Rate, TPR)和假阳性率(False Positive Rate, FPR)之间的关系。图2为灰度共生矩阵提取特征下的ROC曲线，其中ROC曲线的横坐标为FPR，在本文中表示正常图片中被判定为肺炎图像的比例；纵坐标为TPR，表示所有肺炎图像中被识别出来的比例。

由图2中可以看出，ROC曲线中的线均高于对角线，它们交叉在一起，不能很好的判断分类器的性能，但是从AUC结果上可以看出，LightGBM模型的AUC最大，据此判断其分类性能最好。图3为灰度共生矩阵提取特征下的P-R曲线，可以用于寻找分类器在精确率与召回率之间的权衡。由图3可以看出，召回率在0.9以上时，LightGBM模型在精确率上的表现都优于其他模型。

ResNet ‎[ 12 ] 通过引入残差学习框架来解决深度神经网络训练退化的问题，残差学习模块如图4所示。假设最初期望拟合映射为 H ( x ) ，那么想让这些新加的层去拟合另外一个映射，此映射可以表示为 F ( x ) = H ( x ) − x ，那么最初期望拟合的映射 H ( x ) = F ( x ) + x 。这种残差映射相对于原始的映射是更加容易进行优化的，让残差变为0要容易的多。

图4. 残差学习模块

ResNet提出了五个不同深度的模型分别为ResNet18、ResNet34、ResNet50、ResNet101、ResNet152。在本文中我们选择ResNet50作为特征提取器，图5为ResNet50网络结构。

图5. ResNet50网络结构

ResNet50输入维度是224 × 224 × 3，即尺寸为224 × 224的三通道图片。首先是layer0，这部分在各个网络中都相同，由一个7 × 7，步长为2的卷积层、批归一化层(Batch Normalization，简记为BN)、ReLU激活函数和3 × 3，步长为2的最大值池化层组成，在图5 ResNet50网络结构中表示为CBR和MP (Maximum pooling)。layer0输出大小为56 × 56 × 64的特征图。

其次依顺序是layer1、layer2、layer3、layer4，分别由3，4，6，3个bottleneck (即残差模块)构成，bottleneck如图2所示。略有差异的是，layer1第一个bottleneck的恒等连接通过CB结构改变通道数；layer2、layer3、layer4第一个bottleneck的恒等连接通过CB结构改变通道数并进行下采样操作。最终layer4输出7 × 7 × 2048的特征图。

接着是平均池化层(Average Pooling, AP)，最后是全连接层输出维度为1000，本文在使用预训练的ResNet50提取特征时将全连接层的输出改为2048维。

由于胸部X光片特征差异小，使用灰度共生矩阵方法提取特征数量较少，而通过大规模数据集上预先训练的CNN模型学习的特征在图像分类任务中非常有用，因而以此为突破口，选取预训练的ResNet50作为特征提取器，并修改最后的全连接层，对每张图片输出一个2048维的特征向量。我们使用文献 ‎[ 13 ] 中提出的类激活映射(Class Activation Mapping, CAM)技术，将使用预训练的ResNet50提取到的特征图可视化，如图6所示。

图6. ResNet50热力图

从图6中可以看到，预训练的ResNet50特征提取在原图中虽然有少量关注点在颈部，但是可以看出主要关注点在肺部区域，能够比较充分的提取到肺部的细微特征。由于提取特征数量太多，会因为特征维数大使模型无法训练或者效果不好，所以使用lasso方法对特征进行筛选，最终筛选得到124个特征。利用提取的124个抽象特征结合上述机器学习分类算法进行图片分类，结果如表2所示。

图7. ResNet50提取特征下的ROC曲线

图8. ResNet50提取特征下的P-R曲线

从表2中可以看到，在仅使用预训练ResNet50提取特征的情况下，使用逻辑回归分类器在七种算法中取得了最高的准确率，结果为90%。图7为ResNet50提取特征下的ROC曲线，由图7 ROC曲线中可以看出，相比其余五种模型，表示决策树模型和LightGBM模型的曲线偏离对角线程度较小，曲线下的面积(即AUC)较小，分类效果较差；图8为ResNet50提取特征下的P-R曲线，在图8 P-R曲线中可以看到上述两种模型在精确率和召回率上的表现也较差。结合准确率和AUC结果可以判断逻辑回归模型在七种分类器中的性能最好。

表2. 预训练ResNet50提取的特征分类结果

为了验证提出的特征融合方法对于小样本肺炎图像分类的效果，我们使用准确率、精确率、召回率、F1分数对结果进行测评，其公式如下。 accuracy = T P + T N T P + F P + T N + F N ， precision = T P T P + F P ， recall = T P T P + F N ， f 1 = 2 precision × recall precision + recall 。其中，TP (True Positive)表示预测正确的正样本的数量；FP (False Positive)表示真实为负样本，被错误预测成正样本的数量；TN (True Negative)表示预测正确的负样本的数量；FN (False Positive)表示真实为正样本，被错误预测成负样本的数量，在这里，肺炎图像为正样本，正常图片为负样本。

将使用预训练的ResNet50提取的124个特征与灰度共生矩阵得到的6个特征统计量合并，得到肺炎分类的130个特征。再使用上述相同分类算法进行训练和测试，实验结果如表3所示。

图9. 融合特征下的ROC曲线

图10. 融合特征下的P-R曲线

表3. 融合特征的分类结果

从表3中可以看到，在融合灰度共生矩阵提取的特征与预训练的ResNet50提取的特征的情况下，使用逻辑回归分类在七种算法中取得了最高的准确率，结果为92.5%，与仅使用灰度共生矩阵提取的特征相比，准确率提高了12.5%；与仅使用预训练的ResNet50提取的特征相比，准确率提高了2.5%。另外，KNN、决策树、支持向量机、LightGBM在融合特征下的准确率相对于单独使用一种特征提取方法的结果都有明显的提高。我们也可以从精确率(precision)，召回率(recall)，F1分数(F1 score)三个指标看出，在融合特征下使用逻辑回归分类器比其他分类器更有优势，使用融合特征后分类效果明显改善。该结果可以从ROC曲线和P-R曲线中得到验证：

图9为融合特征下的ROC曲线，从图9中可以清晰地看到在七种分类器下，橙线偏离对角线的程度最大，其代表的逻辑回归模型的AUC在七种分类器下达到最大值0.9775；图10为融合特征下的P-R曲线，从图10中也能够看出橙色曲线将其他曲线完全包住，逻辑回归模型的分类性能最优。

仅使用灰度共生矩阵提取的特征数量较少，对胸部X光片肺部区域的特征提取不够充分；而仅使用ResNet50提取的是抽象特征，虽然特征数量较多，但是缺少具体可描述性特征，二者都存在特征不充分的问题。实验证明融合特征表现出较好的结果。图11为本文提出的肺炎诊断算法。肺炎图像经过灰度共生矩阵提取可描述的六个统计纹理特征，同时输入预训练的ResNet50提取图像中肺部区域的细微特征，并使用lasso方法对高维抽象特征进行降维，然后进行特征融合，最后基于融合特征使用逻辑回归分类器进行分类，提出的算法对小样本的分类效果较好。

图11. 肺炎诊断算法