为了通过整合全局信息来提升模型的分类性能，我们提出了一种新的基于改进MobileViT模型的脑肿瘤图像分类方法，该方法集成了MobileViT、CBAM和迁移学习技术等多种技术。具体的改进包括：(1) 在MobileViT模型中添加了CBAM模块和残差连接机制；(2) 将原始MV2模块中的ReLU6激活函数替换为SiLU激活函数；(3) 在训练过程中使用余弦退火算法更新学习率并使用迁移学习的方法加速模型收敛。 图1 详细描述了本文提出模型的结构。

MobileViT block是MobileViT模型的核心部分，其结构如 图2 所示。MobileViT block的主要计算过程分为以下四个步骤：

1) 将输入矩阵 $X\in R^{H\times W\times C}$先通过一个 $n\times n$的卷积层以捕捉特征图中的局部空间信息，再通过一个1 × 1的卷积层将特征图投影到高维特种空间中，得到具有局部空间信息的 $X_L\in R^{H\times W\times d}$，其中 $H,W,C$表示输入特征矩阵的高、宽和通道数，d表示经过1 × 1的卷积层调整后的通道数。

2) 将 $X_L$转换为一系列不重叠的patches表示为 $X_U\in R^{N\times P\times d}$，其中 $P=wh$， $N=HW/P$， $w,h$是patches的高和宽。

3) $X_U\in R^{N\times P\times d}$通过Transformer模块 [11] 得到具有全局信息的序列 $X_G\in R^{N\times P\times d}$，其具体计算公式可以表示为：

$X_G\left(p\right)=\text{Transformer}\left(X_U\left(p\right)\right),1\le p\le P$(1)

4) 将 $X_G$还原为 $H\times W\times d$大小的序列 $X_F\in R^{H\times W\times d}$。随后通过1 × 1卷积将 $X_F$调整为 $H\times W\times C$的大小并与最初的输入特张图X进行拼接。最后通过一个3 × 3的卷积层进行特征融合。

MV2模块是MobileNetV2 [12] 中的倒残差模块。在MobileNetV2中，传统的卷积层被深度可分离卷积所取代，它由两个子模块组成：深度卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)。这种技术有效地分解了传统的卷积运算，在保持表达能力的同时提高了计算效率。本文中的MV2模块首先使用1 × 1的卷积进行维度扩张，然后通过3 × 3的卷积进行特征提取，最后再经过一个1 × 1的卷积来对特征图进行降维操作。

原MV2模块中的激活函数为ReLU6激活函数，是ReLU激活函数的变种之一。虽然ReLU函数解决了正输入的梯度消失问题，但它在负输入时遇到了导数恒为0的难题，导致负区间的梯度消失问题，从而阻碍了许多神经元的更新。因此，本文使用SiLU激活函数代替ReLU6激活函数，SiLU激活函数是Sigmoid和ReLU的改进版本，具有无上界有下界、在接近零时更平滑的特点，在深度网络中的效果优于ReLU。SiLU激活函数的计算如公式(2)所示：

$\text{SiLU}\left(x\right)=\frac{x}{1+{\text{e}}^{-x}}.$(2)

卷积注意力模块(Convolutional Block Attention Module, CBAM) [13] 是一个综合了通道注意力机制和空间注意力机制的复合模型，它由通道注意力模块和空间注意力模块两个子模块组成，其结构如 图3 所示。

通道注意力模块旨在帮助网络识别各通道的重要性，具体计算过程如等式(3)、(4)所示。首先，输入特征分别通过全局平均池化(AvgPool)和全局最大池化(MaxPool)操作提取全局信息。然后，分别通过多层感知机(MLP)对提取到的全局信息进行处理，随后将两部分信息相加再通过一个Sigmoid激活函数得到每个通道的权重向量 ${\text{M}}_{\text{c}}\left(\text{F}\right)$。最后，将最初的输入特征F与通道权重向量 ${\text{M}}_{\text{c}}\left(\text{F}\right)$相乘，得到通道注意力特征图F1。空间注意力模块则是帮助网络识别不同空间维度的重要性，同理可根据公式(5)、(6)得到空间注意力特征图F2。

${\text{M}}_{\text{c}}\left(\text{F}\right)=\sigma \left(\text{MLP}\left(\text{AvgPool}\left(\text{F}\right)\right)+\text{MLP}\left(\text{MaxPool}\left(\text{F}\right)\right)\right),$(3)

$\text{F1}=\text{F}\otimes {\text{M}}_{\text{c}}\left(\text{F}\right),$(4)

${\text{M}}_{\text{s}}\left(\text{F}\right)=\sigma \left(\text{Conv}\left(\left[\text{AvgPool}\left(\text{F}\right)\text{;MaxPool}\left(\text{F}\right)\right]\right)\right),$(5)

$\text{F2}=\text{F1}\otimes {\text{M}}_{\text{s}}\left(\text{F}\right),$(6)

其中， $\text{F},\text{F1},\text{F2}$分别表示输入特征图，通道注意力特征图和空间注意力特征图。 $\text{AvgPool}(\cdot )$表示全局平均池化， $\text{MaxPool}(\cdot )$表示全局最大池化。 $\text{MLP}(\cdot )$表示多层感知机， $\sigma (\cdot )$是Sigmoid激活函数， $\otimes$表示逐点乘法， $\text{Conv}(\cdot )$则表示卷积操作。

迁移学习是一种机器学习方法，旨在将从一个任务或领域学到的知识和经验应用到另一个相关的任务或领域中，以改善学习效果。迁移学习已广泛应用于自然语言处理、计算机视觉等领域。本文提出的分类模型是为计算机视觉中的图像分类任务而设计的。在本文中，我们使用ImageNet数据集对MobileViT进行了预训练，该数据集包含1000个类别和126万张自然图像。尽管自然图像与脑肿瘤图像可能不同，但它们仍然具有相关性。通过迁移学习，模型能够从ImageNet数据集中学习到角、边、颜色、纹理等特征。这些学习到的特征有助于提高模型在脑肿瘤图像分类中的有效性。

学习速率是影响深度学习模型性能的超参数之一。学习速率过大往往会导致模型的振荡，而学习速率过小则会导致非常缓慢的训练过程。余弦退火 [14] 是一种优化算法，在训练深度神经网络时，作为调整学习速率的策略。它基于余弦函数的周期变化，通过在训练过程中逐渐降低学习率，帮助模型更好地收敛。采用余弦退火算法，学习速率在训练过程中会出现周期性的变化。该策略有助于模型在训练早期更好地探索损失函数的空间，避免在训练后期落入局部最优点。

本文所使用的数据集来自于Kaggle数据集，是2020年7月由印度杜尔加布尔国家理工学院的Sartaj Bhuvaji等人公开的脑肿瘤MRI四分类数据集 [15] 。该数据集一共包含四种类别的脑部MRI图像，其中胶质瘤(glioma tumor) 926张、脑膜瘤(meningioma tumor) 937张、无肿瘤(no tumor) 500张以及垂体瘤(pituitary tumor) 901张。数据集中的部分图像如 图4 所示。

为便于模型训练，本文将图像重新分配标签：胶质瘤标记为0，脑膜瘤标记为1，无肿瘤标记为2，垂体瘤标记为3。并且将图像随机裁剪到224 × 224像素的分辨率大小，然后以0.5的概率随机水平翻转图像，以增强模型的鲁棒性。随后将图像转换为张量类型，并对图像进行标准化处理。标准化后的图像 ${\text{X}}_n$可表示为：

${\text{x}}_n=\frac{{\text{x}}_i-\mu }{\sigma }$(7)

其中， ${\text{X}}_i$表示图像中每个通道的像素值， $\mu$表示图像每个通道中像素值的均值， $\sigma$表示图像每个通道中像素值的标准差。将处理好的数据集的70%作为训练集，30%作为测试集，其数据分布如 表1 所示。

实验采用Windows 10平台进行训练，并使用Pytorch深度学习框架进行网络构建。该实验基于GPU型号NVIDIA GeForce GTX 1080，15 GB内存。GPU数量为1，CPU数量为8核。实验设置迭代次数为20，BatchSize为30。使用余弦退火算法在训练过程中对学习率进行调整，其中学习率在每个周期开始的最大值设置为0.001，学习率在每个周期结束的最小值设置为0.00001。对比模型的学习率固定为0.0001。所有模型均采用了迁移学习的方法提升模型训练性能。

为评估模型的分类性能，本文采用准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1值作为评估指标，具体的计算规则如公式(8)、(9)、(10)、(11)所示。

$\text{Accuracy}=\frac{\text{TP}+\text{TN}}{\text{TP}+\text{TN}+\text{FP}+\text{FN}}$(8)

$\text{Precision}=\frac{\text{TP}}{\text{TP}+\text{FP}}$(9)

$\text{Recall}=\frac{\text{TP}}{\text{TP}+\text{FN}}$(10)

$F_1=\frac{2\times \text{Precision}\times \text{Recall}}{\text{Precision}+\text{Recall}}$(11)

其中TP(True Positive)表示原本为正类样本且预测为正类样本的数量，TN (True Negative)表示原本为负类样本且预测为负类样本的数量，FP (False Positive)表示原本为负类样本但预测为正类样本的数量，FN (False Negative)表示原本为正类样本但预测为负类样本的数量。

为验证本文方法的有效性，分别使用ResNet34 [16] ，ResNet50 [16] ，DenseNet121 [17] ，ShuffleNetV2_x2_0 [18] ，EfficientNet [19] ，MobileNetV3_large [20] ，MobileNetV3_small [20] ，MobileNetV2 [11] ，MobileViT [10] 和改进的MobileViT模型对脑肿瘤图像进行分类，并对各模型的分类结果进行比较。在这些基线中，ResNet是深度卷积神经网络，DenseNet、ShuffleNet、EfficientNet和MobileNet是轻量级深度学习模型。

本文采用了10种不同的深度学习模型对脑肿瘤图像数据集进行分类。 表2 为多种模型的实验结果，从 表2 中可以得出以下结论：

1) 本文提出模型在脑肿瘤图像数据集上的分类准确率为97.0%，精确率为97.1%，召回率为97.0%，F1值为97.0%。经过比较，本文所提出模型的所有性能指标都是最佳的，甚至分类准确率比ResNet50高出0.4%。

2) 在基线模型中，ResNet系列网络的分类性能明显优于其他轻量级深度学习模型(DenseNet，ShuffleNet，EfficientNet，MobileNet和MobileViT)，这归因于ResNet作为深度残差网络，在图像分类、目标检测和语义分割等许多计算机视觉任务中都表现出了良好的性能。

3) 在基线模型中，MobileViT是轻量级模型中表现最佳的模型，其分类准确率为90.6%，精确率为90.8%，召回率为90.6%，F1值为90.6%。然而与我们提出的模型相比，MobileViT的四个指标都低了近7%，这表明我们提出的模型优于MobileViT。

计算复杂度也是深度学习模型的一个重要度量指标，特别是对于部署在边缘设备上的深度学习模型，在本文中我们使用参数量和FLOPs (每秒浮点运算次数)来评估各模型的计算复杂度。从 表2 中可以明显看出，尽管ResNet50实现了96.6%的高分类准确率，但它的参数量为23,516,228大约是参数最多的轻量级网络DenseNet121的3.38倍，是参数最少的轻量级网络MobileViT的26.69倍。从 表2 中还可以看到，本文所提出模型的参数量为955542，仅次于MobileVIT模型。本文模型的FLOPs比MobileNet和MobileViT等轻量级模型略大，但仅比MobileViT高0.65%。虽然我们提出的模型复杂度略高于MobileViT，但它仍然属于轻量级网络，满足实时或部署在边缘设备上的要求，也具有相对较高的分类精度。

为验证本文提出的模型的有效性，我们进行了消融实验，以验证改进模块对模型分类性能的影响。实验结果如 表3 所示，对MV2模块进行改进后模型的分类准确率提高了5.2%，其他性能指标也得到了显著的改进。再相继加入余弦退火算法和CBAM模块，这两种改进方法都在不同程度上提升了模型的分类效果。