眼底视网膜血管图像的复杂性较高，因此在提取图像中血管细节部分是分割的关键，获取图像全局上下文信息之间的依赖关系对分割血管区域和背景区域也十分重要，但是仅靠卷积神经网络很难提取远距离特征的联系关系 [10] 。常用于处理语言序列的Transformer结构打破了卷积神经网络在提取图像全局特征信息时的局限性。为了进一步利用卷积神经网络和Transformer结构的优势特点，本文以并行的方式将两者结合，提出了DouDil-UNet++双分支编码器网络结构。Dil-UNet++卷积神经网络提取图像的局部细节特征，提供丰富的位置信息和高级语义信息，提升网络对血管部分的检测和定位能力；Tr-Net为网络提供全局上下文信息，提升网络对血管结构识别的能力。Tr-Net辅分割网络主要由特征序列化模块和Transformer特征提取模块组成，首先使用特征序列化模块将输入的血管图像序列化，然后经过线性投影层将处理好的特征序列输入到Transformer特征提取模块。Tr-Net辅分割网络结构如 图2 所示。

Transformer的输入是一个特征序列，所以在图像输入Transformer模块前需要将图像特征序列化处理 [11] 。首先将大小为H*W*C的待分割图像输入到特征序列化模块，此模块由五层大小为3*3的卷积层组成，获得尺寸大小为H_F*W_F的特征图，并将特征图按照设定的大小P将特征图划分为N个2D的图像补丁，其中图像补丁的尺寸为P*P，总数为N = (H_FW_F)/P²，由此，输入图像被转变成了一个长度为N的扁平化2D序列。随后通过线性变换将补丁X^P映射到维度为D的空间上，同时对图像补丁进行位置编码，使其在训练过程中能够学习到特征信息的位置特性，如公式1所示。

$z_0=\left[x_p^{1}E;x_p^{2}E;\cdots ;x_p^{N}E\right]+E_{pos}$(1)

在式子中E ϵ R^(P2*C)*D表示图像补丁的嵌入投影；E ϵ R^N*D表示位置编码。经过以上步骤，特征序列化模块将输入的图像序列化处理并完成语义嵌入。特征序列化模块结构如 图3 所示。

在图像分割领域，由于医学图像本身结构复杂，数据标注存在困难，所以尽管基于卷积神经网络的模型在医学图像分割领域取得了很好的效果，但卷积操作提取全局信息不足的局限性阻碍了分割网络精度的进一步提升 [12] 。于是人们开始采用自然语言处理领域中广受欢迎的Transformer结构来克服卷积操作的不足。Transformer结构能够将图像每个像素点与周围的像素点建立联系，提取全局特征信息，还可以对不同尺度的特征进行融合，从而进一步提高分割精度与分割效果。与卷积神经网络结构类似，Transformer也由编码器和解码器构成，每个编码器包括位置编码(Positional Encoding)、多头注意力机制(Multi-Head Attention)、层正则化(Layer Normalization, LN)、前馈神经网络(Feed Forward Network, FFN)和跳跃连接(Skip-Connection)。解码器的结构和编码器大致相同，只在输入层增加了一个掩码多头注意力机制(Masked Multi Head Attention)。Transformer结构如 图4 所示。

自注意力机制是Transformer结构的核心，在捕捉长距离依赖方面发挥了重要作用 [13] 。自注意力机制的公式如式2所示。

$Attention\left(q,k,v\right)=Softmax\left(\frac{q{k}^T}{\sqrt{d_k}}\right)v$(2)

其中，q、k、v表示输入特征层通过线性映射得到的特征向量；d_k代表向量k的维度。

在多头注意力机制中，我们使用多组q、k、v向量分别组成矩阵Q、K，V，然后并行地对它们进行计算，最后将它们在通道维度进行拼接。通过多头注意力机制，不同的维度能够学习到来自不同子空间的不同特征表示。

为了使注意力机制在特征信息解码输入时更关注血管边缘细节信息，在进行线性操作前对矩阵Q、K、V分别经过大小为2*2的卷积操作和最大池化操作，提取深层的图像细节特征。边缘多头注意力机制的公式如3所示。

$\begin{array}{c}Q\text{'},K\text{'},V\text{'}=\max \left[Conv\left(Q,K,V\right)\right]\\ MultiHead\left(Q\text{'},K\text{'},V\text{'}\right)=Concat\left(Hea{d}_1,Hea{d}_2,\cdots ,Hea{d}_H\right)W^0\\ Hea{d}_l=Attention\left(Q{W}_l^{Q\text{'}},K{W}_l^{K\text{'}},V{W}_l^{V\text{'}}\right)\end{array}$(3)

其中， $i=1,2,\cdots ,H$，表示边缘多头注意力中头的个数；W_i^Q’和W_i^K’是形式为(d_model, d_k)的矩阵，W_i^V’是形式为(d_model, d_V)的矩阵。d_k= d_V= d_model/H，H代表边缘多头注意力中头的数量，三者都是用于映射输入的可以学习参数矩阵；而d_model则代表了整个序列的维度；Concat是矩阵拼接操作；Attention是边缘多头注意力机制。边缘多头注意力机制结构如 图5 所示。

前馈神经网络FFN由两个正则化层两个线性层一个ReLU激活函数组成 [14] ，公式如式4所示。

$FFN=\max \left(0,X{W}_1+b_1\right)W_2+b_2$(4)

其中，X是输入的图像矩阵：XW_i是和X大小尺寸相同的矩阵；b_i是长等于X通道数的一维向量。前馈神经网络结构如 图6 所示。

经典的U-Net分割网络通常将特征提取编码器与解码器进行同尺度特征融合，在网络对图像特征提取的阶段，随着网络层数的加深特征图像的分辨率会不断下降，因此其包含的语义信息会随着减少，从而导致图像的边缘细节信息丢失 [15] 。为了解决血管语义信息丢失的问题在Dil-UNet++主分割网络和Tr-Net辅分割网络各自的编码器特征提取操作后，将主分割网络提取的血管图像空间特征信息与辅分割网络提取的血管图像全局特征信息进行特征融合，来实现相互补充特征信息的作用。同时将辅分割网络特征序列化模块处理后的特征信息与主分割网络下采样后的特征信息也进行特征融合，实现特征信息的多尺度融合。

在辅分割网络特征序列化模块和Transformer模块的每一层输出后增加一个特征融合模块，每个特征融合模块由一个3 × 3的卷积层和一个Sigmoid激活函数组成，负责将各层输输出进行融合，得到最终的分割结果。改进的特征融合模块通过对空间特征信息和全局特征信息多个尺度特征的学习融合，实现了对各层级特征充分的利用，极大的避免了特性信息经过编码器处理后的丢失的情况，可以获得更好的分割结果，同时，改进的多尺度融合监督结构并没有引入过多的参数。

特征融合过程公式如式5所示。

$F\left(X_l\right)=F^l\left(X_l\right)\oplus F^H\left(X_{l+1}\right)$(5)

其中，F_L代表空间特征信息，F_H代表全局特征信息，l为特征图的层数，⊕为元素加法。

本文实验平台的操作系统基于64位Windows，python版本为3.8，编程软件为PyCharm，模型训练和测试基于深度学习框架PyTorch 1.13.0，在实验中，采用Adam优化器对网络参数进行优化 [16] ，其初始学习率被设定为0.005。为了更新学习率，采取了阶梯式衰减的策略，其中衰减因子设置为0.01，动量参数设定为0.9。此外，权重衰减系数为0.0005，以帮助防止模型过拟合 [17] 。实验的迭代次数总共设定为100次。损失函数使用了CrossEntropyLoss2d交叉熵损失函数 [18] ，用于计算模型预测值与实际标签值之间的差异，从而指导模型在训练过程中的参数调整。

本文采用DRIVE和STARE这两个眼底视网膜血管图像数据集来验证本文所提出模型的分割性能。具体来说，DRIVE数据集包含40张彩色眼底血管图像 [14] ，每张图像的分辨率为565 × 584像素。在这40张图像中，有7张图像显示出早期糖尿病视网膜病变的特征，而其他33张则没有这种病变。DRIVE数据集将前20张图像设定为训练集，而后20张图像则用作验证集。每张图像都配有相应的人工分割的血管真值图像和相应的掩膜。而STARE数据集则包含20张彩色眼底血管图像 [19] ，每张图像的分辨率为700 × 605像素。在这个数据集中，前15张图像被设定为训练集，剩余的5张用作验证集。与DRIVE数据集类似，STARE数据集中的每张图像也都有相应的人工分割的血管真值图像和相应的掩膜。数据集图像如 图7 、 图8 所示。

图8. STAREE数据集图像

在DRIVE和STARE数据集中，所包含的血管图像均为RGB模式。这些图像中常常含有如光斑和杂质等多种噪声，这些噪声因素可能会影响图像分割的精度。为了提高分割的准确性，本文在模型训练之前实施了一系列预处理步骤以突出图像中的血管部分。预处理的第一步是将彩色图像转换为灰度图像 [14] ，这一转换能够提高血管与背景之间的对比度，从而获得对比度较高的灰度图像。接下来，通过自适应直方图均衡化技术来调整图像的对比度 [20] ，这一步骤不仅能够凸显血管部分，还能有效抑制图像中的无关噪声。最后，采用自适应Gamma矫正技术调整图像的曝光度 [21] ，解决了图像中存在的光照不均匀问题，进一步增强了血管的视觉特征。这些预处理步骤的效果在文中的 图9 中有所展示，图中明显可见各阶段处理后图像质量的改善和血管特征的突出。

图9. 预处理各阶段图像

图10. 裁剪后视网膜血管图像

由于DRIVE和STARE眼底视网膜血管数据集中的图像数量相对较少，这一限制可能导致模型在训练过程中容易发生过拟合现象 [22] 。为了解决这一问题，本文采取了随机裁剪的方法来增加数据集的样本量。具体操作是从每张血管图像及其对应的标记图像中随机选取大小为48 × 48像素的2000个局部样本块，这些样本块被用于模型的训练过程中。这种方法不仅显著增加了训练数据的数量，而且也有助于增强模型对不同图像特征的泛化能力。通过这种方式，模型能够更好地学习和理解血管图像的多样性和复杂性。随机裁剪得到的血管图像样本块及其相应的标签图像样本块如 图10 所示，从中可以直观地看到各种不同的血管图像特征和对应的标签。

为了全面评估模型在视网膜眼底血管图像分割任务上的有效性，本文采用生成混淆矩阵的方法 [23] ，并计算了一系列评估指标。这些指标包括相似系数(Dice) [24] 、均并交比(MIOU) [25] 、准确率(Accuracy) [26] 、精确度(Precision) [27] 以及F1 score [28] 。这些指标的计算结果将直接反映模型在血管分割方面的性能。相似系数(Dice)主要用于衡量两个样本的相似度，特别是在医学图像分析中，用于评估分割的准确性。均并交比(MIOU)是一种常用的评估图像分割质量的指标，它计算的是预测分割和真实分割之间的交集与并集的比例。准确率(Accuracy)表示所有被正确分类的像素点占总像素点的比例，是最直观的性能评价指标。精确度(Precision)关注于被预测为正类的样本中实际为正类的比例，是评估模型预测准确性的重要指标。F1 score结合了精确度和召回率(recall)的调和平均，是衡量二分类模型精确度的重要指标，尤其在类别不平衡的情况下更为重要。

理论上，这五个评价指标的数值越高，表明血管分割的效果越好。特别是F1 score，它通常用来衡量二分类模型的精确度，F1 score的高值表明模型在分类任务中的表现更佳。这些评价指标的具体数学表达形式如式6所示，通过这些公式可以精确地计算出每个指标的数值，从而对模型的整体性能进行科学的评估。

$\begin{array}{c}\text{Dice}=\frac{2\text{TP}}{\text{FP}+2\text{TP}+\text{FN}}\\ \text{IOU}=\frac{\text{TP}}{\text{TP}+\text{FP}+\text{FN}}\\ \text{ACC}=\frac{\text{TP}+\text{TN}}{\text{TP}+\text{FP}+\text{TN}+\text{FN}}\\ \text{Pre}=\frac{\text{TP}}{\text{TP}+\text{FP}}\\ \text{Rec}=\frac{\text{TP}}{\text{TP}+\text{FN}}\\ \text{F}1=2\text{*}\frac{\text{Pre}+\text{Rec}}{\text{Pre*Rec}}\end{array}$(6)

其中，TP为正确分割的血管像素的数目，TN为被正确分割的背景像素的数目，FP为被错误分割为血管像素的背景像素，FN为被错误分割为背景像素的血管像素 [29] 。

此外，为了进一步深入评估模型的性能，本文还引入了PR (Precision-Recall)曲线和ROC (Receiver Operating Characteristic)曲线的曲线下面积作为评价指标。PR曲线是通过综合考虑召回率和精确度来评估模型的性能，特别适用于数据集中正负样本分布不均的情况。ROC曲线则通过综合考虑敏感度或真正率和特异性或假正率来评估模型的性能。

PR曲线的横轴是召回率，纵轴是精确度，曲线下的面积越大，说明模型在保持召回率的同时也能保持较高的精确度，表明模型的性能较好。同样，ROC曲线的横轴是假正率，纵轴是真正率，其曲线下的面积也是一个重要的性能指标。线下面积值越大，说明模型在区分正负样本的能力越强，性能越优秀。因此，PR和ROC曲线下的面积越大，不仅表明模型具有更好的分类精度，也表明其具有良好的鲁棒性。通过这两种曲线的综合评估，可以全面了解模型在视网膜眼底血管图像分割任务中的整体表现。

图11. DRIVE数据集分割结果示例(依次为原图、概率预测图、二值预测图和标签图)

图12. STARE数据集分割结果示例(依次为原图、概率预测图、二值预测图和标签图)

本文提出的DouDil-UNet++双分支编码器网络分别在DRIVE和STARE视网膜血管数据集上进行了实验，分割结果分别如 图11 、 图12 所示。其中，对比DRIVE数据集上的标签与分割结果，标签图像中的血管主干网络结构完整的保存下来，血管末端细节也很好的分割出来，受到噪声干扰较少。从STARE数据集的标签与分割结果图来看，血管的整体结构以及细节都很好的被分割提取处理，尤其是在视神经盘病变区域，网络模型能够排除干扰分清血管部分与背景部分。实验结果体现了本文提出网络模型的抗干扰能力和适应能力，能够有效的完成视网膜血管分割任务。

DRIVE和STARE数据集图像交叉处血管和亮斑处血管的局部放大图如 图13 所示。从图像结果中可以观察到，本研究所提出的模型在处理视网膜血管图像中的交叉点和亮斑区域时，能够实现非常精确的分割效果。此外，模型在保留细小血管的同时，也确保了血管的平滑度和连通性，这些都明显优于传统的手工分割方法所生成的标签图。

通过对比分析模型处理后的图像与原始手工标记的图像，可以明显看出本文模型在细节处理上的细致与准确。局部放大的视图进一步证明了Dil-UNet++模型在分割视网膜血管细节方面的优越性和稳定性。这种精确的分割有助于更好地识别和分析血管结构，体现了该模型在医学图像分割领域的应用潜力。

图13. STARE数据集局部分割结果放大图

图14. 验证过程准确度与F1值变化图

在DRIVE数据集上验证过程准确度与F1值变化如 图14 所示，由图可知，随着迭代次数的增加，准确度与F1值也随之增加，在迭代次数趋近于一百时，准确度与F1值变化趋于平稳并达到最高，分别为0.9639和0.8452。

精确度–召回率曲线与ROC曲线以及其各自的线下面积能够直观的体现网络分割的效果，在DRIVE数据集上分割结果的PR曲线和ROC曲线如 图15 所示。其中，PR曲线线下面积为0.9125，说明模型有较高的召回率和精确度，能够精确的分割出血管细节部分；ROC曲线线下面积为0.9793，说明模型能够清楚识别分清血管部分与背景部分。

图15. PR曲线和ROC曲线

在STARE数据集上进行实验验证，分割准确度与F1值随迭代次数变化如 图16 所示，在迭代次数达到一百次左右时，变化趋于平稳，准确度与F1值分别达到0.9779和0.8853。

图16. 验证过程准确度与F1值变化图

在STARE数据集上实验验证分割结果精确度–召回率曲线与ROC曲线如 图17 所示。PR曲线线下面积达到0.8679，说明网络在分割STARE视网膜血管数据集图像时能够高效的提取分割血管部分，受到噪声的干扰较小。ROC曲线线下面积达到0.9766，表明了网络能够将血管部分与背景部分精确区分，误分割的概率较小。

为了验证本章提出的模块在视网膜血管图像分割任务中的有效性，在DRIVE和STARE数据集上进行了消融实验，通过逐步增加模块并比较实验结果，评估每个模块对分割性能的贡献，进一步验证了模块的有效性，使用DICE系数、平均交并比MIoU、准确度Accuracy、F1值作为评价指标进行实验对比。Dil-UNet++作为基准网络；C-Dil-UNet++表示加入特征序列化模块的Dil-UNet++的网络；Tr-Dil-UNet++表示为加入由特征序列化模块和Transformer特征提取模块组成辅分割网络的Dil-UNet++的网络；DouDil-UNet++表示加入辅分割网络和特征融合模块的Dil-UNet++网络。消融实验结果如 表1 、 表2 所示。

图17. PR曲线和ROC曲线

由 表1 、 表2 可知，在DRIVE和STARE数据集中本章所提出的DouDil-UNet++网络模型相较于Dil-UNet++、C-Dil-UNet++和Tr-Dil-UNet++，在DICE、MIoU、Acc和F1评价指标上都有一定程度的提高。在DRIVE数据集中，本文提出的综合所有模块的DouDil-UNet++网络模型相对于Dil-UNet++、C-Dil-UNet++和Tr-Dil-UNet++，在DICE指标上分别提升了0.25%、0.74%、0.21%；在MIoU指标上分别提升了1.26%、1.41%、0.22%；在准确率方面分别提升了0.34%、0.47%、0.26%；在F1-Score上分别提升了2.5%、1.5%、0.14%。而在STARE数据集中，本文提出的DouDil-UNet++网络模型相对于Dil-UNet++、C-Dil-UNet++和Tr-Dil-UNet++，在DICE指标上分别提升了1.23%、0.62%、0.38%；在MIoU指标上分别提升了1.02%、0.63%、0.11%；在准确率方面分别提升了2.17%、1.24%、0.65%；在F1-Score指标上分别提升了1.99%、1.24%、0.94%。在两个数据集上的消融实验的结果显示，本章提出的几个模块在视网膜血管图像分割任务中均能够显著提高分割精度。

为了进一步突出本文提出网络在血管图像分割任务上的优越性，在相同条件环境下使用不同网络对DRIVE数据集与STARE数据集分割处理，与DouDil-UNet++网络在五个常用的分割评价指标上进行横向对比。如 表3 所示，在分割DRIVE数据集任务中，DouDil-UNet++网络模型的DICE系数、平均交并比MIoU、准确度、精确度、F1值分别达到87.93%、85.29%、96.39%、93.52%、84.57%，与次优网络Dil-UNet++相比，在DICE系数上提升了0.25%，在MIoU上提升了3.02%，在准确度上提升了5.83%，在精确度上提升了2.85%，在F1值上提升了0.8%。实验数据表明了DouDil-UNet++网络能够对背景以及血管区域的分割更加准确，可以保持优秀的精度和稳健性，具有出色的泛化能力。

在SRIVE数据集中有病变特征的血管图像占百分之五十，因此会对分割任务造成比较大的影响，但是本文提出的DouDil-UNet++网络能够在噪声的影响下高效完成分割任务。不同网络在STARE数据集上的分割结果如 表4 所示，DouDil-UNet++网络的DICE系数、平均交并比MIoU、准确度、精确度、F1值分别达到88.71%、83.27%、97.79%、87.08%、88.53%，与次优网络Dil-UNet++相比，在DICE系数上提升了1.23%，在MIoU上提升了1.02%，在准确度上提升了2.17%，在精确度上降低了0.2%，在F1值上提升了1.99%。实验数据表明DouDil-UNet++网络能够尽量避免血管图像中病变特征噪声的影响，具有良好的分割效果和稳定性。