Detection of Navel Orange Based on the Improved YOLOv8s under Natural Environment
In recent years, deep learning-based object detection algorithms have developed rapidly. YOLOv8s can balance detection accuracy and speed, which is conducive to the implementation of intelligent navel orange picking. In this paper, we improve the detection performance from two aspects: dataset expansion and model improvement. In terms of dataset expansion, rain and fog are added into the navel orange images collected on sunny days to improve the detection ability of the model in complex environments. In terms of model improvement, the weighed concatenation operation is adopted in feature fusion to highlight the important features; the detection head at the shallow layer in the original model is transferred to a shallower layer to detect targets that appear small due to the severe occlusion; the second convolution operation in the backbone is replaced by a omni-dimensional convolution to focus on important features in four dimensions: spatial position, input channel, output channel and the entire convolution kernel. The experimental results show that when compared with the method using the original YOLOv8s without data augmentation, the precision, the recall and the mean average precision obtained by our method have been significantly improved.
YOLOv8s
脐橙不仅营养成分高,而且具有预防多种疾病的功效,其种植地已遍布全球,但脐橙的智能化采摘仍面临着各种难题。其中,脐橙的高精度实时检测问题亟待解决。近年来,基于深度学习的目标检测技术得到了深入发展,主要分为双阶段和单阶段两大类
上述复杂自然环境下基于YOLO系列的水果检测面临的共同问题有:1) 数据采集过程中存在各种光线不佳的问题;2) 图像中存在果实被树叶遮挡和果实之间相互遮挡问题;3) 采集的数据集有限问题。解决这些问题的主要方法是数据集的增强和扩充,以及YOLO模型的改进。这些问题和解决思路同样适用于脐橙目标。熊等人为了去除光照等噪声,采用导向滤波处理;为了提高脐橙检测精度,对YOLOv3中的尺度融合模块和损失函数分别改进
本文采用的脐橙数据集为天气晴朗时拍摄,图像采集过程中不可避免地存在侧光和逆光等情况。某些脐橙图像虽然为顺光拍摄,但一些被树叶遮挡的区域也表现为暗区域。为了提高各种光照下脐橙图像中所有区域内的脐橙检测性能,采用加雨和加雾对数据集进行扩充。
图像加雨的过程其实是加噪,不同密度的随机噪声对应于不同的雨量。对脐橙图像加噪后,一定程度上增加了脐橙目标检测的难度,因此,加雨扩充有助于提高模型的检测能力。
将雨的生成当成随机噪声的生成,则脐橙图像加雨扩充的主要步骤如下:
1) 对待加雨脐橙图像I0,获取其分辨率,并生成该分辨率下的二维随机噪声图像N0;
2) 对N0中的随机噪声拉长、旋转,以获取不同大小和方向的雨滴噪声,并形成二维噪声图像N1;
3) 将生成的雨滴噪声图像N1和原始脐橙图像I0进行叠加,得到包含雨滴的脐橙图像I1。
给定任意一幅脐橙图像,如
采用标准的光学模型
(1)
其中, 为图像中各像素的空间坐标位置,t表示图像中各像素对应的光透射率,I0表示无雾图像,I2表示有雾图像,A为大气光。
采用中心点合成雾的思想对图像加雾。假设α表示散射系数,D表示图像中心像素到其他像素的距离,则光透射率t的计算表达式为:
(2)
显然,离雾中心距离越远的像素,雾合成效果越弱。图像加雾的主要步骤如下:
1) 将图像的中心像素作为雾化中心,计算图像中心到其他像素之间的距离D;
2) 根据公式(2)计算有雾情况下的光透射率;
3) 选取合理的A,根据公式(1)生成加雾图像。
YOLOv8按照模型的深度和宽度又可分为n/s/m/l/x五种。本文综合考虑脐橙检测精度和速度,选用其中的YOLOv8s并对其改进,即在原始的YOLOv8s基础上,进行三个方面的改进。首先,对颈网络(Neck)改进,将其路径聚合网络(Path Aggregation Network, PAN)和特征金字塔网络(Feature Pyramid Network, FPN)中采用的拼接(Concat)方式改为加权的拼接(Weighted Concat, WConcat)。然后,将浅层检测头(Detect)更换至更浅层;最后,将主干网络(Backbone)中的第二个卷积(Conv)改为全维度动态卷积(Omni-Dimensional Dynamic Convolution, ODConv)。改进后的YOLOv8s主体结构和各模块如
受文献
若特征融合前,来自两条不同分支的特征分别记为F1和F2,则融合后的特征O表示为:
(3)
其中, (I = 1, 2)且 为任意小的常数。
将原浅层Detect更换至更浅层,如
将Backbone中的第二个Conv改为ODConv,如
(4)
其中, 表示输入特征, 表示输出特征,输入和输出特征图的高和宽分别为h和w,输入特征通道数为cin,输出特征通道数为cout;Wi表示第i个卷积核; 是用于加权Wi的注意力标量;*代表卷积运算。
进一步地,ODConv
(5)
其中, 、 、 和 分别表示沿着卷积核的空间位置、输入通道、输出通道和整个卷积核四个维度的注意力权重。 代表相乘运算。
在动态卷积中,注意力标量
是在输入特征上计算注意力函数得到,如
在
四种注意力系数
、
、
和
乘以卷积核的过程分别如
实验共采集了1881幅脐橙图像,按照4:1随机分成训练集和验证集。根据加雨和加雾步骤对训练样本扩充,得到的总训练样本数为2631。采用精确率(Precision, P)、召回率(Recall, R)和所有类别平均精确率的均值(Mean Average Precision, mAP)作为性能评价指标。mAP50是指预测框和真实框的交并比(Intersection over Union, IoU)为50%时对应的mAP值;mAP50-95是指在mAP50和mAP95之间以一定间隔取值后计算所有值的平均。
消融实验时,基准方法是指采用原始的YOLOv8s对原脐橙数据检测。在此基础上,先进行加雨和加雾扩充训练样本数,后将PAN-FPN特征融合中的Concat换成WConcat,再更换浅层Detect位置,最后将主干网络中的第二个Conv换成ODConv,各阶段实验结果如
YOLOv8s |
扩充数据 |
WConcat |
Detect |
ODConv |
P |
R |
mAP50 |
mAP50-95 |
√ |
0.918 |
0.896 |
0.944 |
0.724 |
||||
√ |
√ |
0.925 |
0.906 |
0.951 |
0.731 |
|||
√ |
√ |
√ |
0.932 |
0.908 |
0.952 |
0.734 |
||
√ |
√ |
√ |
√ |
0.934 |
0.913 |
0.954 |
0.738 |
|
√ |
√ |
√ |
√ |
√ |
0.94 |
0.914 |
0.956 |
0.747 |
挑选自然环境下三个复杂场景,将本文方法和基准方法的检测结果进行可视化对比。基准方法的结果分别如
将基准方法和本文方法在模型训练过程中的四项指标变化情况进行对比,分别如
本文选用YOLOv8s作为脐橙检测的基本模型,并针对自然环境下脐橙检测面临的问题,分别从数据集扩充和基本模型改进两方面提高脐橙检测精度。首先,介绍了对晴天采集的脐橙训练样本进行加雨和加雾扩充的原理。然后,详细介绍了YOLOv8s的改进方法,将Neck的特征融合Concat改进为WConcat;将原浅层处的Detect更换至更浅层;将Backbone的第二个Conv改进为ODConv。最后,开展了脐橙检测实验,并对实验结果进行了分析。实验结果表明,加雨和加雾扩充能够提高模型的检测能力,且模型的三个改进之处均有助于提升检测性能。与数据集不扩充且采用原始的YOLOv8s基准方法相比,本文方法获得的四项性能指标均得到大幅度提升。
大学生创新创业训练计划项目:202110407029,以及江西省自然科学基金:20224BAB202002。