Research on Image Segmentation Model of Pancreatic Lesions
Pancreatic lesion segmentation is an important task in medical image analysis, but it is challenging due to the irregular size and shape of the pancreas as well as its location. Early detection of pancreatic lesions is crucial for patient treatment and prognosis, and thus has received much attention. In this paper, we propose an improved U-Net network model that significantly improves the accuracy and robustness of pancreatic lesion segmentation by introducing the MedSAM encoder and the Efficient Channel Attention (ECA) module. The MedSAM encoder preprocesses the input image and extracts multi-level and multi-scale features. The MedSAM encoder is able to efficiently capture the complex structure of the pancreas and the lesion region’s detail information, providing high-quality feature representation for subsequent segmentation. Second, the Efficient Channel Attention (ECA) module is introduced in the up-sampling process to enhance the inter-channel dependencies and prevent the loss of channel information due to dimensionality reduction. The experimental results on the MSD_Pancreas dataset show that this paper’s method achieves significant improvement in both the evaluation metrics of Dice Similarity Coefficient (DSC) and Hausdorff Distance (HD95). Specifically, the DSC score of this paper’s method reaches 82.7% and the HD95 value is 10.2 mm, which are improved by 4.4% and 2.3 mm, respectively, compared with the baseline U-Net. The experimental results show that this paper’s method significantly outperforms the baseline model in the task of pancreatic lesion segmentation, especially when dealing with complex lesions and regions with fuzzy boundaries.
Segmentation of Pancreatic Lesions
胰腺癌是一种恶性程度高、预后极差的消化系统肿瘤,据国外最新数据显示,胰腺癌总体5年生存率仅为13%,而在中国人群体中,仅有8.5%,是所有恶性肿瘤中最低的
近年来,深度学习技术在医学图像分割领域取得了显著进展,尤其是基于卷积神经网络(CNN)的算法在胰腺病变分割中展现出巨大潜力。开发自动化、高精度的胰腺病变图像分割模型具有以下重要意义:1) 大幅减少医生工作量,缩短诊断时间。2) 捕捉人眼难以识别的特征,减少漏诊和误诊。3) 精准的分割结果为手术规划和放疗靶区勾画提供可靠依据。4) 有助于大规模数据分析,推动胰腺癌的早期诊断和个性化治疗研究。
胰腺位于腹腔深处,周围被其他器官(如胃、肝脏、脾脏、肠道)包围,导致其在影像中难以清晰显示,此外,胰腺的形状、大小和位置在不同个体间差异较大,且与周围组织的对比度较低,边界模糊,导致难以分割。MedSAM编码器能够从复杂的医学图像中提取多层次、多尺度的特征
近年来,随着深度学习方法的兴起,基于深度学习方法对胰腺病变分割得到广泛的研究。注意力机制源于对人类视觉的研究,能够使模型关注序列中关键的信息,为序列的不同部分分配不同的权重。SENet
本研究采用Medical Segmentation Decathlon (MSD)中的胰腺分割数据集,其中包含282例胰腺3D CT图像,图像尺寸为512 × 512 × D (D为切片数量)。数据来自多个医疗机构,具有较高的多样性和泛化性。所有数据均由专业医生进行标注,保证了标注的准确性。部分数据集切片可视化如
实验时将数据集按照7:2:1的比例将数据集划分为训练集、测试集和验证集,并对数据集进行预处理操作,如随机旋转、翻转等操作,从而提高模型的泛化能力。
本研究中使用的模型结构如
高效通道注意力的核心思想是通过局部跨通道交互来计算通道权重,如
(1)
其中, 是通道数, 和 是超参数。随后,将通道权重与输入特征图相乘,得到加权后的特征图。
本文实验在Python 3.8、CUDA 12.0、Pytorch 2.2.0、Nvidia RTX 4090 显卡环境下运行。超参数设置如
优化器 |
初始学习率 |
Epochs |
Batch Size |
AdamW |
0.001 |
300 |
16 |
为了直观展示模型在胰腺病变图像分割任务中的性能表现,我们采用CeDice损失函数。CeDice损失函数是一种结合了Cross-Entropy (交叉熵)和Dice Loss (Dice损失)的混合损失函数,能够有效解决类别不平衡问题并提高模型的分割性能。
(2)
(3)
(4)
其中,N和C分别代表样本总数和类别总数, 和 分别代表真实标签和预测标签, 表示模型预测样本 属于类别 的概率, 和 表示损失函数的权重,默认值均为1。
极度不平衡的分割在医学图像分析中十分普遍,本文的胰腺病变分割任务便是其中之一
(5)
其中P表示预测的分割标签,G表示真实的标签。
HD是一种用于衡量两个点集之间最大距离的指标,常用于评估分割结果的边界精度。HD值越小,表示分割结果与真实标签的边界越接近。HD对分割结果中的异常值(如孤立的错误预测点)非常敏感,能够反映分割结果的边界精度,对分割结果的形状和位置变化敏感。其公式如下:
(6)
其中, 表示点 和点 之间的欧氏距离。HD值越小,表示预测边界和真实边界之间的吻合度越高。
为了验证本文所提模型的有效性,本研究与常用的U-Net
方法 |
DSC (%) |
HD95 (mm) |
Parameters |
U-Net |
78.3 |
12.5 |
31M |
V-Net |
79.8 |
11.8 |
76M |
Attention U-Net |
80.1 |
11.2 |
34M |
TransUnet |
82.5 |
10.5 |
105M |
Res U-Net |
81.2 |
10.9 |
35M |
Deeplabv3+ |
79.5 |
11.5 |
45M |
Ours |
82.7 |
10.2 |
53M |
为直观展现各模型在胰腺病变图像上的分割效果,我们选取pancreas_15的第33张切片进行可视化展示,如
为了进一步验证模型各模块的有效性,设计了三组消融实验,分别验证MedSAM编码器和高效通道注意力模块在模型中的贡献。实验结果如下
实验编号 |
MedSAM编码器 |
高效通道注意力 |
DSC (%) |
HD (mm) |
1 |
× |
√ |
82.1 |
11.8 |
2 |
√ |
× |
82.2 |
10.5 |
3 |
√ |
√ |
82.7 |
10.2 |
现有胰腺病变数据集在病变类型方面缺乏多样性且数据量较少,影响了模型的泛化能力;模型在胰腺病变分割数据集上训练和推理需要大量的计算资源,本文方法的参数量达到了53 M,导致了模型推理速度慢,难以满足实时性要求高的场景。未来将进一步研究如何优化模型结构,减少模型参数量,并采用数据增强技术扩充数据集,提高模型的泛化能力。
本文提出了一种融合MedSAM编码器和高效通道注意力的U型胰腺病变分割网络。使用MedSAM编码器,旨在有效捕捉医学图像中的复杂结构和细节,为后续分割提供高质量的特征表示。在采样过程中加入高效通道注意力模块,旨在增强通道间的依赖关系,使网络更关注重要特征,抑制不重要的信息。在MSD_Pancreas数据集上的实验结果表明,该模型在Dice相似系数(DSC)和95%豪斯多夫距离(HD95)上均优于基线U-Net和其他对比模型。通过消融实验,证明了融合MedSAM编码器和高效通道注意力模块的有效性。这一改进为胰腺病变分割以及医学图像分割提供了新的思路。未来工作将进一步优化模型,提升模型的泛化能力,并减少模型参数量。