在Swin-CNN Block(a)中，Swin Transformer分支由一个Patch划分层、一个线性嵌入层以及两个Swin Transformer Block构成 [18] 。Patch划分层选取不同的Patch大小将图像分割成固定大小的块，通过线性嵌入层将这些块在通道维度展平，映射为向量。Swin Transformer Block则进行图像的全局特征提取，采用了移动窗口机制计算自注意力，提高了模型的计算效率。在每一对Swin Transformer Block中，除了归一化处理层LN与非线性特征变换层MLP之外，分别由窗口多头自注意力机制(Windows Multi-Head Self-Attention, W-MSA)与位移窗口多头自注意力机制(Shifted Windows Multi-Head Self-Attention, SW-MSA)组成。两种不同的自注意力模块成对使用，所以Swin Transformer Block的数量也都是偶数，结构如 图2 所示。W-MSA是一种添加了窗口机制的多头自注意力模块，能有效减少计算量，该部分在进行自注意力计算时，将已经分割好的不同patch进一步划分为多个窗口，在每个窗口内部进行自注意力计算，减少了模型计算过程中的参数数量，普通MSA与W-MSA的参数量计算公式分别为公式(1)与公式(2)。其中h和w代表每个patch的高度与宽度，C代表深度，M代表W-MSA中的窗口大小，δ代表参数数量。

$\begin{array}{c}\delta \left(\text{MSA}\right)=4hw{C}^2+2{\left(hw\right)}^{2}C\end{array}$ (1)

$\begin{array}{c}\delta \left(W-\text{MSA}\right)=4hw{C}^2+2{\left(M\right)}^{2}hwC\end{array}$ (2)

采用W-MSA模块时，只会在每个窗口内进行自注意力计算，窗口与窗口之间是无法进行信息传递的，在W-MSA后添加SW-MSA则可以解决这个问题。SW-MSA模块的窗口在原窗口基础上进行偏移，并且新的部分窗口进行位置融合，可以实现在与W-MSA不同的窗口内部的信息交互。

卷积分支由一个卷积神经网络(CNN)以及一个用于通道维度转换的1 × 1的卷积构成，CNN主要承担局部特征提取任务，通过卷积操作增强模型对CIN图像中细节特征的感知能力。CNN包含多个关键组件，包括7 × 7大核卷积层、批归一化层(Batch Normalization, BN)、ReLU激活函数、最大池化层(Max Pooling)、深层3 × 3卷积层和Dropout层等，具体网络结构如 图3 所示。在特征提取过程中，输入特征首先通过7 × 7大核卷积层进行初步特征提取，并通过BN层和ReLU激活函数进行数据标准化和非线性变换。随后，特征经过最大池化层对空间尺寸进行下采样，以压缩特征图大小并保留主要信息。接下来使用多个3 × 3卷积层、BN层与ReLU激活函数用，于提取更深层次的局部特征，进一步增强模型对CIN影像的病变区域细节的捕捉能力。并且在部分卷积层后，引入Dropout层随机失效部分神经元以防止过拟合，提高模型的泛化能力 [19] [20] 。特征提取之后会通过1 × 1卷积进行维度转换，使得卷积分支的输出通道数与其他分支保持一致，输出特征能够有效融合。最终，经过逐像素加和后，CNN分支的局部特征和Transformer分支的全局特征得以融合，增强了模型的特征表达能力。

在Swin-CNN Block(b)的主干部分，Swin Transformer Block没有差异，根据其数量的不同，可将Swin-CNN Block分为Block(b1)、(b2)和(b3)。在Swin Transformer Block特征提取之前，使用了Patch合并模块，类似于卷积网络中的池化层，该模块会对输入的特征图像进行下采样操作，之后特征图的高和宽会减半，深度会翻倍。在卷积分支部分，使用与Swin-CNN Block(a)中相同的卷积模块进行特征提取，该卷积分支还添加了通道注意力机制Squeeze-and-Excitation(SE) [21] 。SE主要由压缩和激励两部分组成，具体结构如 图4 所示。第一步对大小为H × W × C的输入特征图进行空间特征压缩，实现全平均池化，得到一个1 × 1 × C的向量。使用公式(3)将每个通道的H × W个像素值压缩为一个实数，式中H、W、C分别为图像的长宽及通道数，Z_c是通道的全局特征，表示了通道c上的平均特征值。

$\begin{array}{c}{Z}_c=\frac{1}{H\times W}\underset{i=1}{\overset{H}{{\displaystyle \sum }}}\underset{j=1}{\overset{W}{{\displaystyle \sum }}}{X}_c\left(i,j\right)\end{array}$ (3)

第二步进行激励操作，通过两个全连接层FC₁及FC₂对压缩后的向量Z进行通道特征学习，得到通道权重值S。不同的数值表示不同通道的权重信息，赋予通道不同的权重，得到具有通道注意力的特征向量，维度仍然保持1 × 1 × C。使用公式(4)实现上述操作，式中的δ与σ分别代表两个全连接层使用的激活函数ReLU与Sigmoid。

$\begin{array}{c}S=\sigma \left(F{C}_2\delta \left(F{C}_{1}Z\right)\right)\end{array}$ (4)

将得到的权重系数与输入特征图对应通道上的每个像素相乘，得到最终具有通道注意力的特征图像，其大小仍然为输入时的H × W × C。

在网络训练过程中，使用了焦点损失函数(Focal Loss) [22] ，用来解决数据集存在的类别不平衡问题。焦点损失函数在交叉熵损失函数(Cross-entropy Loss) [23] 的基础上，增加了调节因子以降低易分类样本的权重，使模型更多地关注那些困难样本，从而提高模型在类别不平衡情况下的性能。Focal Loss的基本公式和带有α权重的公式见公式(5)和公式(6)。

$\begin{array}{c}FL\left(p_t\right)=-{\left(1-p_t\right)}^{\gamma }\cdot \log \left(p_t\right)\end{array}$ (5)

$\begin{array}{c}FL\left(p_t\right)=-{\alpha }_t{\left(1-p_t\right)}^{\gamma }\cdot \log \left(p_t\right)\end{array}$ (6)

式中 $p_t$是模型预测目标类别的概率；γ是焦点因子，用于调节易分类样本的权重，当 $\gamma =0$时，焦点损失函数退化为交叉熵损失函数； ${\alpha }_t$是一个用于平衡正负样本的权重因子，通常用于处理类别不平衡的情况。在该模型中，选取的权重因子 ${\alpha }_t=0.25$， $\gamma =2.0$。

学习率是模型中的一个重要超参数 [24] 。为了更好地训练网络模型，使用了一种阶梯式学习率下降策略，每经过一定的epoch，学习率参数会进行一次固定倍率的衰减，可以用公式(7)表示。

$\begin{array}{c}Lr=Lr\times {\beta }^{\lfloor \frac{\text{epoch}}{\text{step}-\text{size}}\rfloor }\end{array}$ (7)

式中Lr为当前学习率，β表示衰减因子，即每个阶段的学习率衰减的比例；epoch表示当前的训练轮数；step-size表示学习率调整的周期，即经过多少个epoch后进行一次学习率的调整；⌊·⌋表示向下取整操作符，表示除法后向下取整。该模型中，各参数设置分别为β = 0.8，step-size = 2。此外还设置了最小学习率为0.00001，即学习率小于该值时不再进行衰减。

实验使用的阴道镜宫颈图像数据取自上海市某医院妇产科门诊2019.11~2023.10共计约4500名患者，根据图像的模糊程度、病灶区域可见度等因素，筛选出研究可用图像2325例，均为为6000 × 4000像素的三通道图像。其中，CIN1、CIN2、CIN3三种类型数量分别为1305、449、571例，按照约8:1:1的固定比例将其划分为训练集、验证集和测试集，具体数据信息见 表1 。由于数据量较大且单张图像尺寸较高，直接用于训练可能会增加计算负担并降低模型的训练效率。因此，在图像预处理阶段，首先将所有图像统一缩放至512 × 512像素，以减少计算复杂度并提高训练效率。此外，数据集中存在多个来自同一患者的图像，其中某些图像的特征高度相似，可能会导致模型过拟合。为缓解这一问题，在训练过程中采用在线数据增强策略，包括随机平移(图像尺寸的10%)、随机旋转(±15˚)、随机缩放(范围90%~110%)、水平翻转等方法，以提升模型的泛化能力。通过数据增强策略，可以在保证图像信息不失真的前提下，提升模型的鲁棒性，减少过拟合风险，并提高其在不同数据分布下的适应能力。

整个网络模型代码基于深度学习PyTorch框架实现，并在NVIDIA GeForce RTX 2080Ti GPU (12G)上执行训练过程。此外，模型超参数如迭代次数、初始学习率、批次大小和梯度优化器分别设置为150、0.001、4和AdamW优化器，patch大小为4，每个Swin-CNN Block模块中的窗口大小均为7，从前到后四个Swin-CNN Block中多头自注意力模块head的维度大小依次为3、6、12、24。

为了评估所提出的诊断模型的性能，选取了分类模型常用的评估指标，如精确率(Precision)、召回率(Recall)、F1 Score、准确率(Accuracy)和混淆矩阵等 [25] 。精确率表示被分类器判定为正类别的样本中，实际上是正类别的比例；召回率表示实际为正类别的样本中，被分类器正确预测为正类别的比例；F1 Score是精确率和召回率的调和平均，它综合考虑了分类器的准确性和召回能力；准确率表示被分类器正确分类的样本数量占总样本数量的比例；混淆矩阵则能够表示模型预测的各类具体结果，并且能用混淆矩阵中的数据计算出上述指标。这些指标的定义如下所示：

$\begin{array}{c}\text{Precision}=\frac{\text{TP}}{\text{TP}+\text{FP}}\end{array}$ (8)

$\begin{array}{c}\text{Recall}=\frac{\text{TP}}{\text{TP}+\text{FN}}\end{array}$ (9)

$\begin{array}{c}F1\text{Score}=\frac{2}{\frac{1}{\text{Precision}}+\frac{1}{\text{Recall}}}=\frac{2\times \text{Precision}\times \text{Recall}}{\text{Precision}+\text{Recall}}\end{array}$ (10)

$\begin{array}{c}\text{Accuracy}=\frac{\text{TP}+\text{TN}}{\text{TP}+\text{TN}+\text{FP}+\text{FN}}\end{array}$ (11)

各式中TP (True Positives)表示正确预测为正类别的样本数量；FP (False Positives)表示错误预测为正类别的样本数量；TN (True Negatives)表示正确预测为负类别的样本数量；FN (False Negatives)表示错误预测为负类别的样本数量。