母胎外周血细胞的检测和计数为医务人员的产前诊断提供了高效、可靠的技术支持。本文提出了一种改进YOLOv5s6的目标检测模型REPYOLO-TS2,用于母胎外周血细胞的检测。首先,我们通过对HSV颜色空间中的色调(H),饱和度(S),亮度(V)三个通道添加扰动来丰富数据集的环境背景,以实现图像增强并通过马赛克数据增强方法以提高模型的泛化能力。其次,我们在主干网的尾部用C3TR模块代替原模型的C3模块并将主干网的前两个C3模块替换成Repvggblock模块,然后在模型的颈部添加了一种高效的空间转移注意力机制(S2Attention)以提高模型对不同环境背景细胞的检测精度。最后,我们将α-CIoU替换原模型的坐标损失函数CIoU,使检测器能够更快地学习高IoU目标。经过参数调试和实验验证,我们最终确定α值为0.15。最终的实验数据显示,REPYOLO-TS2模型对母体和胎儿外周血细胞的mAP值@0.5为94.2%。 The detection and counting of maternal and fetal peripheral blood cells provide efficient and reliable technical support for prenatal diagnosis of medical personnel. In this paper, an improved YOLOv5s6 target detection model, REPYOLO-TS2, was proposed for the detection of maternal fetal peripheral blood cells. First, we added disturbance to hue (H), saturation (S) and brightness (V) in the HSV color space to enrich the environmental background of the dataset, so as to achieve image enhancement and improve the generalization ability of the model through Mosaic data enhancement method. Secondly, we replaced the C3 module of the original model with C3TR module at the tail of the backbone network and replaced the first two C3 modules of the backbone network with Repvggblock module. Then, an efficient S2Attention mechanism was added to the neck of the model to improve the detection accuracy of cells with different environmental backgrounds. Finally, we replace the coordinate loss function CIoU with alpha-CIoU, so that the detector can learn the high IoU target faster. After parameter debugging and experimental verification, the α value is finally determined to be 0.15. Final experimental data showed that the mAP@0.5 value of maternal and fetal peripheral blood cells induced by REPYOLO-TS2 model was 94.2%.
母胎外周血细胞的检测和计数为医务人员的产前诊断提供了高效、可靠的技术支持。本文提出了一种改进YOLOv5s6的目标检测模型REPYOLO-TS2,用于母胎外周血细胞的检测。首先,我们通过对HSV颜色空间中的色调(H),饱和度(S),亮度(V)三个通道添加扰动来丰富数据集的环境背景,以实现图像增强并通过马赛克数据增强方法以提高模型的泛化能力。其次,我们在主干网的尾部用C3TR模块代替原模型的C3模块并将主干网的前两个C3模块替换成Repvggblock模块,然后在模型的颈部添加了一种高效的空间转移注意力机制(S2Attention)以提高模型对不同环境背景细胞的检测精度。最后,我们将α-CIoU替换原模型的坐标损失函数CIoU,使检测器能够更快地学习高IoU目标。经过参数调试和实验验证,我们最终确定α值为0.15。最终的实验数据显示,REPYOLO-TS2模型对母体和胎儿外周血细胞的mAP值@0.5为94.2%。
母胎外周血细胞检测,空间转移注意力机制,α-IoU,自注意力机制,显微镜图像识别
Qianyang Zhao, Bo Yang, Runling Peng, Chengxiang Fan, Bowen Qian, Shishuang Chen
School of Opto-Electronic Information and Computer Engineering, University of Shanghai for Science and Technology, Shanghai
Received: Mar. 24th, 2023; accepted: Apr. 18th, 2023; published: Apr. 25th, 2023
The detection and counting of maternal and fetal peripheral blood cells provide efficient and reliable technical support for prenatal diagnosis of medical personnel. In this paper, an improved YOLOv5s6 target detection model, REPYOLO-TS2, was proposed for the detection of maternal fetal peripheral blood cells. First, we added disturbance to hue (H), saturation (S) and brightness (V) in the HSV color space to enrich the environmental background of the dataset, so as to achieve image enhancement and improve the generalization ability of the model through Mosaic data enhancement method. Secondly, we replaced the C3 module of the original model with C3TR module at the tail of the backbone network and replaced the first two C3 modules of the backbone network with Repvggblock module. Then, an efficient S2Attention mechanism was added to the neck of the model to improve the detection accuracy of cells with different environmental backgrounds. Finally, we replace the coordinate loss function CIoU with alpha-CIoU, so that the detector can learn the high IoU target faster. After parameter debugging and experimental verification, the α value is finally determined to be 0.15. Final experimental data showed that the mAP@0.5 value of maternal and fetal peripheral blood cells induced by REPYOLO-TS2 model was 94.2%.
Keywords:Maternal Fetal Peripheral Blood Cell Detection, Spatial Shifting Attention Mechanism, α-IoU, Self-Attention Mechanism, Microscope Image Recognition
Copyright © 2023 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
母胎外周血细胞(maternal peripheral blood cells, MPBC)是指孕妇外周血中存在的胎儿来源的细胞,包括滋养层细胞、白细胞、造血干细胞和有核红细胞。其中,有核红细胞是指含有核的红细胞,是一种成熟度较低的红细胞,在正常情况下,只存在于人类的早期发育阶段,在妊娠期间,有核红细胞可以从胎盘通过母体循环进入孕妇外周血中,分娩第5周开始可检出孕妇外周血中。母胎外周血中的胎儿有核红细胞(FNRBC)的平均含量是评估胎儿是否异常的有效手段。当胎儿正常,胎儿有核红细胞的平均数量在母胎外周血线性相关的妊娠周期,而当胎儿异常由于慢性胎儿组织缺氧,促红细胞生成素水平增加,刺激促红细胞生成,FNRBC的数量增加 [
图1. 母胎外周血中的三种细胞类型
目前,虽然传统的图像处理在细胞检测领域得到了广泛的应用 [
1) 利用HSV图像增强和moasic数据增强方法来丰富数据集的上下文,提高模型的泛化能力。
2) 我们提出了一种基于YOLOv5s6的高精度细胞检测模型,结合Repvggblock模块、Transformer模块和空间转移的注意力机制。
3) 我们将原始YOLOv5s6的坐标损失CIoU替换成α-CIoU。增加IoU相对损失的权重,使得模型更加关注高IoU的目标,最终提高了模型的精度。
图2. YOLO系列目标检测过程
图3. 原始YOLOv5s6网络结构示意图
YOLO系列算法作为一种经典的目标检测算法,受到大家的喜爱。最初的版本是由Redmon等人提出的 [
图4. 改进后的REPYOLO-TS2网络结构示意图
母胎外周血细胞的检测和计数对于新生儿缺陷的诊断具有重要意义,特别是在不同的检测环境下。其中,母胎外周血载玻片样品的制备过程会影响细胞的特性。在高分辨率显微镜下采集的母体外周血细胞样本数量较大,不同类别间的样本数量不平衡。强烈的结构相似性也很容易导致细胞的遗漏和重复检测。如图4所示,我们改进了YOLOv5s6模型,通过添加Repvggblock模块、C3TR模块和S2Attention通道注意力机制模块以提高母胎外周血细胞检测模型的检测精度。
由于胎儿有核红细胞在母胎外周血细胞中的比例非常小,我们制作的数据集数量有限。数据增强有助于我们有效地扩展了数据集的大小,并有效地提高了模型的泛化能力。由于相机内部的ISP模块不同,以及显微镜光源的亮度不同,不同类型的显微镜拍摄的图像会有很大的差异。如图5所示,我们调整了图像的HSV值,使模型对不同显微镜场景下拍摄的图像更具鲁棒性。此外,我们还使用马赛克数据增强技术缝合了4张细胞图像 [
图5. 数据增强方法。(a) (b) (c)马赛克,(d) (e) (f) HSV
随着计算机视觉的发展,Transformer逐渐应用到视觉领域 [
图6. C3TR网络结构内部示意图
Repvggblock是一种新型的卷积结构,它由三个分支构成:一个3 × 3卷积分支,一个1 × 1卷积分支和一个同等映射分支。这三个分支的输出经过逐元素相加后再通过ReLU激活函数。本文将YOLOv5s6主干网的前两个C3模块替换成Repvggblock模块,Repvggblock模块可以在训练时使用多个卷积分支来增强特征提取能力,在推理时将多个卷积分支融合成一个等效卷积核来降低计算量,而C3模块在训练和推理时都使用相同的复杂多分支结构,这使得Repvggblock模块在推理时具有更高的速度和更低的内存消耗。Repvggblock模块可以在普通卷积网络上达到与残差网络相当甚至更高的精度,而C3模块仍然依赖于残差连接来保证网络深度和性能。这说明Repvggblock模块具有更强大和稳定的特征提取能力。图7展示了Repvggblock模块在训练阶段和推理阶段的结构:
图7. Repvgg的训练和测试模块
为了在复杂的细胞背景下检测母胎外周血细胞,我们引入了一种有效的空间转移注意机制(S2Attention) [
图8. 空间平移注意机制模块示意图
损失函数是评价网络预测结果的常用指标。YOLO系列的损失函数包括坐标损失、目标置信度损失和分类损失。目标置信度损失和分类损失采用二进制交叉熵损失。坐标损失采用交并比(IoU)损失,用IoU判断bbox是正样本还是负样本,对bbox尺度不变,有助于训练更好的检测器。 然而,当预测的盒子与真实值不重叠时,IoU值为零,IoU损失会出现梯度消失的问题,导致模型收敛速度较慢。为了解决这个问题,研究人员提出了几种改进的基于IoU的损失设计,包括GIoU [
L CIoU = 1 − IoU + ρ 2 ( b , b g t ) c 2 + β v (1)
L α -CIoU = 1 − IoU α + ρ 2 α ( b , b g t ) c 2 α + ( β v ) α (2)
v = 4 π 2 ( arctan w g t h g t − arctan w h ) 2 (3)
β = v ( 1 − IoU ) + v (4)
本文将YOLOv5s6坐标损失CIoU替换为α-CIoU [
本文用于制作数据集的显微镜为NE950直立显微镜,母胎外周血载玻片样本由上海长宁妇幼保健医院提供。CMOS相机在显微镜上的最大分辨率为5472 × 3648像素。我们的数据集样本是通过将母胎外周血细胞载玻片置于20倍放大的显微镜下,聚焦物镜,平移到细胞稀疏分布的空间获得的。由于FNRNC样本极其罕见,我们经过了几个月的收集和筛选了,将收集到的5472 × 3648图像切割成多个512 × 512图像,最后从数万张图像中筛选出1100张细胞图。我们根据7:3的比例将数据集分为训练集和验证集,其中训练集包含21,628个红细胞、570个胎儿有核红细胞和332个其他类型的细胞。
在细胞检测过程中,背景环境可能被识别为细胞或遗漏,因此精度(P)和召回率(R)被用作细胞检测的常用指标。
P = T P T P + F P (5)
R = T P T P + F N (6)
其中,TP(True Positives)表示模型检测结果和标签都是细胞的情况,FP(False Positives)表示模型检测结果是细胞但标签是背景的情况,TN(True Negatives)表示模型检测结果为背景而标签为细胞的情况,FN(False Negatives)表示模型检测结果为细胞而标签为背景的情况。
为了更好的评估模型的效果,结合precision (P)和recall (R),用平均精度(mean average precision, mAP)评价模型的性能。mAP是所有细胞类型的平均精度(AP)的平均值。这里我们分三种类型的细胞,包括RBC、FNRNC和OTHERS (N = 3),mAP表示为:
map = ∑ k = 1 n ∫ 0 1 P m ( R m ) d R m n (7)
在本实验中,将原坐标损失CIoU替换为α-CIoU。我们取4个α值进行比较检验,4个α分别为(1.5、2、2.5、3),得到的模型YOLOv5s6-α-CIoU与原始的YOLOv5s6模型作对比。如表1所示,当α为1.5时,模型效果最好,mAP值比原始值高0.5%。
在本节中,基于我们自制的母胎外周血细胞数据集训练,我们通过逐步添加我们提出的模块来展示每个方法或模块对模型的影响,如表2所示,其中√表示使用了该方法或模块。图9为切割后的下母胎外周血细胞的检测结果。
网络 | 数据增强 | α-CIoU | map@0.5 |
---|---|---|---|
YOLOv5s6 | √ | × | 0.903 |
α-YOLOv5s6 | √ | α = 1.5 | 0.908 |
α-YOLOv5s6 | √ | α = 2 | 0.901 |
α-YOLOv5s6 | √ | α = 2.5 | 0.893 |
α-YOLOv5s6 | √ | α = 3 | 0.899 |
表1. α-YOLOv5s6的比较结果
数据增强 | α-CIoU (α = 1.5) | Transformer | S2Attention | Repvggblock | map@0.5 |
---|---|---|---|---|---|
√ | × | × | × | × | 0.903 |
√ | √ | × | × | × | 0.908 |
√ | √ | √ | × | × | 0.925 |
√ | √ | √ | √ | × | 0.935 |
√ | √ | √ | √ | √ | 0.942 |
表2. 消融实验结果
图9. 切割后的母胎外周血检测结果
本研究提出一种基于YOLOv5s6的改进方法REPYOLO-TS2来解决显微镜场景下母胎外周血的检测问题。REPYOLO-TS2模型对样本数不平衡、重叠面积大、高密度、结构相似、随周期变化的细胞获得了较高的检测结果。实验和比较结果表明,REPYOLO-TS2比原YOLOv5s6模型有了很大的改进,改进后的模型识别准确率达到94.2%。在不同的显微镜场景下,从母胎外周血样本中获得的细胞特征并不完全相同,显微镜的放大倍数也会影响细胞特性。我们希望在未来的研究中改进和开发一个具有较高鲁棒性的模型,从而使该模型在母胎外周血细胞的不同识别场景下具有较高的识别精度。
国家自然科学基金项目(No. 11874266和12174260)、上海市明日之星计划项目(No. 21QA1406400)和上海市科技发展基金项目(No. 21ZR1443500)资助。
赵倩阳,杨 波,彭润玲,樊程祥,钱博文,陈士双. 基于改进YOLOv5s6的母胎外周血细胞检测Maternal Fetal Peripheral Blood Cell Detection Based on Improved YOLOv5s6[J]. 运筹与模糊学, 2023, 13(02): 1129-1139. https://doi.org/10.12677/ORF.2023.132116
https://doi.org/10.3345/kjp.2011.54.2.69
https://doi.org/10.3788/YJYXS20193409.0871
https://doi.org/10.1109/ICMA54519.2022.9855984
https://doi.org/10.1109/ICMA54519.2022.9856250
https://doi.org/10.1186/s12880-022-00818-1
https://doi.org/10.1109/SIPROCESS.2019.8868603
https://doi.org/10.1016/j.bspc.2021.103416
https://doi.org/10.1109/CVPR.2016.91
https://doi.org/10.1109/TPAMI.2015.2389824
https://doi.org/10.1109/CVPR.2017.106
https://doi.org/10.1109/CVPR.2018.00913
https://doi.org/10.1109/CVPR.2019.00075
https://doi.org/10.1609/aaai.v34i07.6999