本研究所用的实验数据均来源于上海市第一妇婴保健院，使用二维经会阴超声测量妊娠第38周至42周的妇女，获取宫颈超声图像，数据收集的时间为2022年11月至2023年7月。剔除质量较差，特征不明显的图像后，共采集了120张宫颈超声图像。本研究经医院伦理委员会批准[编号(No): KS2479]，患者均知情同意。

对123名受试者的宫颈超声图像进行评估，每张图像由临床专家标注。对于实验中要用到的标签数据，利用Labelme工具标注后经医生审核并通过。其中70%的数据集被随机选择用于训练，剩下的30%用于测试。对于原始图像数据，所有图像体积都处理为各向同性，并调整为448 × 448像素，垂直和水平方向上的像素间距为0.146 mm。模型预测的关键点位置将以坐标形式存储。两个关键点组成宫颈管长度(Cervical Length, CL)，三个关键点组成宫颈前角(Anterior Lip of Cervix, ACA)，另三个关键点组成宫颈后角(Posterior Fornix of Cervix, PCA)。因此，这三个用于判断引产结局的参数由4个关键点来确定。见 图1 。

Swin Transformer [12] 是一种自注意力机制的创新变体，网络结构如 图3 所示。旨在解决传统Vision Transformer (ViT) [13] 在处理高分辨率图像时面临的计算复杂度问题。与传统ViT不同，Swin Transformer通过引入窗口自注意力机制，限制了每个自注意力计算的范围，从而大大减少了计算和内存的消耗。

为了实现跨窗口的信息交互，Swin Transformer采用了位移窗口(Shifted Window)。这种设计通过在每一层的窗口内进行局部自注意力计算，并在下一层中通过平移窗口来连接不同窗口之间的信息。这种机制使得网络能够在保持计算效率的同时捕捉到全局特征，避免了传统自注意力机制在计算上的高消耗。

Swin Transformer的基本结构由多个Swin Block组成，每个Swin Block包含两个核心模块：窗口化自注意力(Window-Based Self-Attention)和多层感知机。通过这些Swin Block的堆叠，网络能够逐层提取图像的多层次特征。此外，Swin Transformer采用了分层设计的架构，将图像从高分辨率的块逐渐转化为低分辨率的块，从而能够学习从局部到全局的特征表示。这种分层策略使得Swin Transformer不仅在计算效率上具有优势，而且能够适应不同尺寸和分辨率的图像输入。

为使模型的输出尺寸与输入的图像保持一致，在模型的解码器部分加入转置卷积。转置卷积可以将通过编码器输出的小尺寸图像恢复到卷积操作前的尺寸。它通过对输入的特征矩阵进行上采样，填充特征图的外层，并进行一系列的卷积操作，将卷积核参数逆向翻转，最终扩大特征矩阵的尺寸，以便进行像素级的预测。本研究设置了三个转置卷积层，每层都包含一个转置卷积、批归一层和ReLU激活函数，这样可以增加模型的非线性和稳定性。见 图4 。

在转置卷积之后，为提高网络的表征能力，使模型能够关注信息量最大的通道特征并抑制不重要的特征，本研究引入了SE注意力机制 [14] ，该机制的主要结构包括三个部分。第一部分，输入的特征矩阵经过一个全局池化层，压缩其二维特征，输出大小为1 × 1 × 256的特征矩阵；第二部分由全连接层、激活函数和全连接层复合构成，将通道数先降维后激活，最后恢复维度，特征矩阵由1 × 1 × 256变为1 × 1 × 64最后恢复到1 × 1 × 256，以降低模型复杂度；第三部分，在完成两次全连接之后，使用sigmoid将值固定在[0, 1]之间，以获取每一个通道的权值，依次将权值系数和特征矩阵相乘，最终恢复输入大小的特征矩阵。见 图5 。

现有方法常应用高斯热图(Gaussian Heatmap) [15] 来表示每个关键点的概率分布，高斯热图是一种

平滑的概率分布，其具有连续性和平滑性，通过求最大值所在的位置坐标，可以更好地表示关键点的位置信息。为从预测的热图中提取2D关键点坐标，使用可微分的soft-argmax [16] 来减少由于热图量变化误差带来的误差。具体而言，将关键点的热图作归一化，使下一步的加权求和范围在0~1之间，见公式(1)。

$\Phi \left(h_{i,j}\right)=\frac{{\text{e}}^{h_{i,j}}}{{\displaystyle \underset{K=1}{\overset{W}{\sum }}{\displaystyle \underset{l=1}{\overset{H}{\sum }}{\text{e}}^{h_{k,l}}}}}$(1)

式中， $h_{i,j}$是关键点位置 $\left(i,j\right)$处的热图的值， $W\times H$是热图的大小。分别用x，y两个与热图大小一样的卷积核对归一化后的热点图加权求和，等价于对应元素相乘再相加，等价于卷积运算，见公式(2)。

${\Psi }_d\left(h\right)={\displaystyle \underset{i=1}{\overset{W}{\sum }}{\displaystyle \underset{j=1}{\overset{H}{\sum }}{W}_{i,j,d}\Phi \left(h_{i,j}\right)}}$(2)

式中，其中d是一个给定的分量x或y，W是一个对应于坐标 $\left(x,y\right)$的 $W\times H\times 2$权值矩阵。矩阵W可以用其分量 $W_x$和 $W_{\text{y}}$表示，它们是二维离散归一化斜坡，见公式(3)。

$W_{i,j,x}=\frac{i}{W},W_{i,j,y}=\frac{i}{H}$(3)

最后，给定一个热图h，给出了预测关键点的位置为公式(4)。

$y={\left({\Psi }_x\left(h\right),{\Psi }_y\left(h\right)\right)}^{\text{T}}$(4)

本研究所用的损失函数是pixel-wise的Mean Squared Error (MSE)，见公式(5)。

$L_{MSE}\frac{{{\displaystyle \underset{i=1}{\overset{K}{\sum }}{\displaystyle \underset{y=1}{\overset{W}{\sum }}{\displaystyle \underset{x=1}{\overset{H}{\sum }}\left[h_i\left(x,y\right)-\stackrel{⌢}{h_i}\left(x,y\right)\right]}}}}^2}{K}/W/H$(5)

式中K为关键点的个数， $h_i$和 ${\stackrel{⌢}{h}}_{\text{i}}$分别代表对应的真实点和预测点的值。

实验环境为：Intel Core i9-10940X，NVIDIA GTX 3090显卡，64位操作系统，Pytorch深度学习框架。编程平台为Pycharm，图形加速环境为CUDA11.1。实验设置训练轮数为200个epoch，初始学习率为0.001。采用Adam优化器根据历史梯度信息来自适应地调整学习率，批次大小为8。为了加速模型收敛，选取轻量级的swin_tiny预训练权重。

对于预测得到的关键点，采用半径误差(RE)，平均半径误差(MRE)，标准差(SD)对模型的性能进行量化评估。其中，半径误差采用欧几里得距离进行测量，见公式(5)~(9)。

$R_i={\left|\left(x_m-y_m\right)-\left(x_n,y_n\right)\right|}_2$(6)

$S_{\text{MRE}}=\frac{{\displaystyle \underset{i=1}{\overset{\delta }{\sum }}{R}_i}}{\delta }$(7)

$T_{\text{SD}}=\sqrt{\frac{{\displaystyle \underset{i=1}{\overset{\delta }{\sum }}{\left(R_i-S_{\text{MRE}}\right)}^2}}{\delta -1}}$(8)

$T_{\omega }=\frac{\#\left(\left\{\stackrel{⌢}{y_t}:R_i\le \omega \right\}\right)}{\delta }$(9)

其中 $R_{\text{i}}$表示半径误差， $\left(x_m,y_m\right)$表示预测关键点的坐标， $\left(x_n,y_n\right)$表示医生标注关键点的坐标， $\delta$代表测试总样本的数量与每个样本中关键点数量的乘积， $T_{\omega }$表示半径误差小于指定范围内的关键点数量在所有关键点数量中的占比， $\omega$表示临床上可以接受的误差范围，分别设置4 mm，5 mm，6 mm三个门限值对预测关键点的精度进行评判。

实验的可视化结果分析如下，选取4幅具有不同纹理特征与边缘轮廓的宫颈超声图像与HRNet、VITPose、U-Net和ResNet进行对比。从图像上可以清晰地观察到，本研究的方法相较于其他四个方法，所预测的关键点与医生标注的关键点更加接近，表现出更高的精度和准确性。见 图6 。

由 表1 可得，SE-SWTNet在平均半径误差、标准差以及半径误差小于指定范围内的关键点数量占比等指标上均优于其他三个模型。设置的三个门限范围，U-Net的关键点识别准确率最低，原因可能是U-Net的模型结构过于简单，对于处理复杂图像的关键点识别任务没有充分提取图像的特征信息，导致解码器部分无法准确恢复关键点的位置信息。VITPose虽然获得了仅次于本文方法的准确率，但相较于传统的CNN架构，其利用Transformer作为主干网络，在处理医学图像关键点检测任务中具有优异的全局感知能力。这使得VITPose能够更好地捕捉到图像数据中不同关系的依赖，有助于更好地理解医学图像复杂的结构，为后续研究医学图像关键点检测任务提供了有力的理论依据。HRNet的准确率位于U-Net和VITPose之间，它主要通过构建不同分辨率的子网络来融合多维度信息，然而其精度可能受到网络结构较浅的限制。尽管采用了密集连接的设计，但在处理复杂的医学图像时，可能需要更深层次的网络结构来提高特征表征能力。如果网络深度不足，可能会导致模型无法有效地学习到医学图像中的抽象特征，从而影响关键点检测的准确性。

为评估SE-SWTNet在实际临床环境中的性能，我们在测试集中引入了不同水平的高斯噪声(σ = 0.01, 0.05, 0.1)以及高斯模糊(kernel size = 3, 5, 7)，并测量关键点检测的精度变化。实验结果表明，SE-SWTNet在噪声和伪影干扰下仍能保持较高的检测精度，见 表2 。这表明该模型对噪声和伪影具有较强的鲁棒性，能够有效应对实际临床场景中的多种干扰因素。

为探究实验加入的各个模块对关键点识别结果的影响，设计了消融实验，将Dropout、MSE损失函数、SE注意力机制加入到基础网络swin transformer中。可以看到，单独加入Dropout或SE注意力机制均能有效提高关键点识别的准确率和降低平均半径误差。当同时加入Dropout、损失函数和SE注意力机制时，模型的表现进一步提升，取得了最优的结果：平均半径误差降低至1.11 mm，且在4 mm、5 mm和6 mm误差范围内的准确率分别达到了93.5%、96.5%和97.5%。见 表3 。