传统的接地设备安装质量检测方法主要由工作人员采用手工测量和经验判断的方式来检查,工作量大,检测效率低且存在经验误差,无法准确地测量出安装螺栓的参数信息。针对这一问题,本文提出了一种基于RGB-D边缘信息融合的接地设备图像语义分割方法。首先将获取到的接地设备相连螺栓的可见光和深度图像进行预处理;然后引入注意力辅助模块帮助提取可见光图像特征和深度图像特征,并进行特征融合;通过金字塔池化模块防止过拟合,最后利用边缘信息辅助监督,输出最优的预测图像语义分割结果。实验结果表明,本文方法能够实现对接地设备相连螺栓图像的精确分割,并将其应用于接地设备的安装质量检测之中。 The traditional method of inspecting the installation quality of grounding equipment is mainly performed by manual measurement and empirical judgment. The workload is large, the inspec-tion efficiency is low and there are empirical errors. It is difficult to get accurate parameters of the installation bolts. To address this problem, this paper proposes a semantic segmentation method for grounding equipment images based on RGB-D edge information fusion. Firstly, the visible and depth images of the connected bolts of the grounding equipment are preprocessed. Then, an attention assistance module is introduced to help extract visible image features and depth image features, and perform feature fusion. The pyramid pooling module is used to pre-vent overfitting, and the edge information is used to assist supervision, and the optimal predic-tive image semantic segmentation results are output. Experimental results show that this me-thod can achieve accurate segmentation of grounding equipment and apply it to the inspection of the quality of the grounding equipment installation.
传统的接地设备安装质量检测方法主要由工作人员采用手工测量和经验判断的方式来检查,工作量大,检测效率低且存在经验误差,无法准确地测量出安装螺栓的参数信息。针对这一问题,本文提出了一种基于RGB-D边缘信息融合的接地设备图像语义分割方法。首先将获取到的接地设备相连螺栓的可见光和深度图像进行预处理;然后引入注意力辅助模块帮助提取可见光图像特征和深度图像特征,并进行特征融合;通过金字塔池化模块防止过拟合,最后利用边缘信息辅助监督,输出最优的预测图像语义分割结果。实验结果表明,本文方法能够实现对接地设备相连螺栓图像的精确分割,并将其应用于接地设备的安装质量检测之中。
语义分割,可见光与深度图像,接地设备,边缘信息,金字塔池化模块
Jing Dong, Li Xue, Bin Xu, Zhiqiang Sun, Lin Wang
Changzhou Changgong Electric Designing Institute Co., Ltd., Jiangsu Changzhou
Received: Nov. 23rd, 2023; accepted: Dec. 20th, 2023; published: Dec. 29th, 2023
The traditional method of inspecting the installation quality of grounding equipment is mainly performed by manual measurement and empirical judgment. The workload is large, the inspection efficiency is low and there are empirical errors. It is difficult to get accurate parameters of the installation bolts. To address this problem, this paper proposes a semantic segmentation method for grounding equipment images based on RGB-D edge information fusion. Firstly, the visible and depth images of the connected bolts of the grounding equipment are preprocessed. Then, an attention assistance module is introduced to help extract visible image features and depth image features, and perform feature fusion. The pyramid pooling module is used to prevent overfitting, and the edge information is used to assist supervision, and the optimal predictive image semantic segmentation results are output. Experimental results show that this method can achieve accurate segmentation of grounding equipment and apply it to the inspection of the quality of the grounding equipment installation.
Keywords:Semantic Segmentation, Visible and Depth Images, Grounding Equipment, Edge Information, Pyramid Pooling Module
Copyright © 2023 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
传统的螺栓安装质量检测方法通常使用经验观察和尺子测量等方式。这些检测方法的效率低下,且易使工人产生视觉疲备,进而导致误检、漏检,存在安全隐患 [
传统的图像语义分割方法使用包括基于阈值、候选区域、聚类等机器学习的方法来构建像素分类器 [
随着深度学习技术的兴起,越来越多的学者选择利用深度信息去辅助可见光图像进行图像分割,结合基于深度学习的端到端深度卷积神经网络(Deep Convolutional Neural Networks, DCNN) [
对此,本文提出了一种基于RGB-D边缘信息融合的接地设备图像语义分割方法,充分地融合可见光图像特征以及深度图像信息,并利用边缘信息,大幅提高了螺栓图像分割的准确性。首先对所获取的接地设备相连螺栓的可见光图像和深度图像进行预处理;然后通过编码模块提取深度图像特征和可见光图像特征,并进行多特征融合;最后利用边缘信息辅助监督,输出最优的预测图像语义分割结果。实验结果证明,本文提出的算法在对颜色纹理相近且边缘轮廓模糊的复杂图像情况下分割准确度较高。对精确分割螺栓图像,保障接地设备的安装质量检测方面有着极大的应用价值。
本文提出的基于RGB-D边缘信息融合的接地设备图像语义分割网络架构如图1所示。首先获取包含接地设备相连螺栓的可见光图像和深度图像,对进行预处理,其次将经过预处理的可见光图像和深度图像输入进双路编码–解码模块 [
图1. 基于RGB-D边缘信息融合的接地设备图像语义分割网络架构
传统的语义分割算法在图像处理部分较为粗糙,然而螺栓图像存在对比度低、颜色衰退以及细节模糊等现象,因此需要对螺栓图像进行预处理。图像预处理可以消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而改进图像分割的可靠性。首先对所获得的可见光图像和深度图像,使用高斯滤波器进行去噪处理;其次利用校正网络(RSN)对去噪之后的图像进行畸变校正,校正网络通过学习训练数据中的畸变模式,预测输入图像的几何畸变,并生成校正后的图像;最后将矫正后的图像进行归一化操作,即将图像的像素值缩放到[0, 1]之间。
目前大多数的编码–解码模块大都只是简单的从输入图像中提取特征。如文献 [
从编码模块得到的某一特征图 A ∈ R C × H × W ,首先对特征图A进行全局平均池化,得到一个大小为 C × 1 × 1 的特征图B,第m个通道特征图表示如公式(1)所示:
B m = 1 H × W ∑ i = 1 H ∑ j = 1 W A m ( i , j ) (1)
其中 i ∈ { 1 , 2 , 3 , H } , j ∈ { 1 , 2 , 3 , W } ,H,W依次代表特征图A的高度和宽度。对于特征图A,R表示特征图维度,C为通道数。
保持特征图B的通道数C不变,加入一元卷积层用来确定通道间的权重分布。然后,在卷积结果上使用sigmoid激活函数得到约束权重向量的值,并使其保持在[0, 1]之间。 σ 是sigmoid激活函数,此过程如下所示:
S = σ ( F ( B ) ) (2)
最后,将约束值与输入特征图A进行叉乘,得到一个包含更多有用信息的特征图 A * ,其表达式为:
A * = A × σ ( F ( B ) ) (3)
将可见光特征图像和深度特征图像输出映射按照一定比率输入注意力辅助机制融合语义特征,得到全局特征图。
现有的深度卷积神经网络要求尺寸固定的输入图像,这限制了输入图像的纵横比和尺度。当输入图像的尺寸不一致时,大多是通过裁剪或通过扭曲 [
该空间金字塔池化层由3个最大池化层组成 [
在螺栓图像语义分割中,选择一个合理的损失函数去提高准确度尤为关键,同时也可以减少网络的训练时间,帮助网络更好地训练。本文利用Dice系数损失函数 [
X 1 = 1 − 2 × Y 1 ∩ Y 2 Y 1 ∪ Y 2 (4)
利用Boundary LOSS [
X 2 = max { 0 , 1 − Y 3 Y 4 } (5)
将由两种不同的损失函数所得到的误差相加得到所需图像语义分割网络的总误差,具体公式如下:
L = A 1 X 1 + A 2 X 2 (6)
在公式(6)中L表示整个语义分割网络的总误差;X1,X2分别表示所述预测语义结果与所述先验的语义信息之间的误差以及边缘预测结果与边缘信息之间的误差;A1,A2为误差X1,X2在总误差中所占的比例系数,两者的大小因语义信息和边缘信息对语义分割网络的重要性而定。利用所得到的误差,使用随机梯度下降算法去不断的调整参数,使得预测信息和实际数据的误差最小,得到一个准确率高的预测结果。
针对实际场景下接地设备相连螺栓图像具有不同的类型情况,本文使用ZED2双目相机拍摄了多种场景下的接地设备相连螺栓图像,并制作数据集。其中,数据集共包含接地设备相连螺栓RGB-D图像1300组。部分RGB-D图像以及人工标注的真值图像如图2所示。训练集与测试集按7:3的比例进行划分。其中训练集包含910组接地设备相连螺栓的RGB-D图像以及真值图像;测试集包含390组接地设备相连螺栓的RGB-D图像以及真值图像。
图2. 部分RGB-D图像以及人工标注的真值图像
本文算法针对不同类型的接地设备相连螺栓图像进行语义分割实验对比,并与深度学习算法SGNet [
图3(c)~(g)分别为SGNet、ACNet、FRNet、ESANet和本文算法对接地设备图像的语义分割结果。SGNet算法使用的空间信息引导在处理具有复杂背景或者细微边缘的图像时,会出现分割不准确的现象,如在处理B组图像,SGNet算法在螺栓边缘分割效果存在“一刀切”的现象,对螺栓细节分割鲁棒性和表征能力较差;对于C组和D组图像,SGNet算法分割结果边缘线条与轮廓模糊,算法精度低。ACNet算法更加注重全局特征而非细节特征,导致在处理颜色相近或边缘模糊的区域时会出现错误分类,如A组和B组图像,ACNet算法在接地扁铁边缘误识别像素点较多,在颜色较为相近之处出现错误分割的问题;对于C组和D组图像,ACNet算法在螺栓与螺栓杆身两区域像素相近时存在部分像素分类的错误,没有精确的分割出螺栓与螺栓杆身,出现了错误的分割。FRNet和ESANet在面对相似纹理和复杂场景下,分割效果较差,存在分割边缘不整齐甚至分割错误的情况,如B组和D组图像。相比之下,本文算法的预测图像最接近真值图像,对复杂背景中的接地设备相连螺栓的识别精度更高。尤其是在螺栓边缘部分,通过最后边缘分支的监督,使得本文算法在接地设备边缘的分割效果要优于其它算法,从而证明了本文算法具有较高的分割性能。此外本文算法从具有较高的鲁棒性,受背景环境之中的噪声,光照变化影响较小,算法稳定性较高。
图3. 不同算法的接地设备图像语义分割结果
本文选取Acc [
1) Acc (Accuracy):Acc (准确率)的计算方式如式(7)所示。准确率表示预测正确的样本占所有样本的比例,其中预测正确的可能有正样本也可能有负样本:
Accuracy = T P + T N T P + T N + F P + F N (7)
式中TP (True Positive)表示本身是正样本,预测也是正样本;预测正确TN (True Negative)表示本身是负样本,预测也是负样本;预测正确FP (False Positive)表示本身负样本,但是预测为正样本;预测错误FN (False Negative)表示本身是正样本,但是预测为负样本,预测错误。
2) IoU (Intersection Over Union):IoU (交占比)用来表示预测框和真实框之间的重叠率,衡量的是预测框与实际框之间的相近程度。记标记框为A,检测框为B,IOU的计算公式如下:
IoU = A ∩ B A ∪ B (8)
式中分子部分表示A框与B框的重叠部分的面积,分母部分表示A框与B框的面积总和。由式可得,IoU的值在[0, 1]之间。因此当IoU越接近1时就说明A框与B框的重合程度越高,模型精确度越高,预测越准确,反之则越差。
本文算法与SGNet、ACNet、FRNet、ESANet进行了比实验,评价指标如表1所示。相较于其他算法,本文算法在各项评价指标中都表现最优。根据实验结果可知:本文算法的准确度更高,对于接地设备相连螺栓图像的分割效果更加优秀。
Methods | 螺栓头部 | 螺栓杆身 | 螺母 | 接地扁铁 | mAcc | mIoU | ||||
---|---|---|---|---|---|---|---|---|---|---|
Acc | IoU | Acc | IoU | Acc | IoU | Acc | IoU | |||
SGNet | 0.9185 | 0.8544 | 0.7978 | 0.5648 | 0.9301 | 0.7727 | 0.9923 | 0.9016 | 0.9097 | 0.7734 |
ACNet | 0.9243 | 0.8307 | 0.7768 | 0.3915 | 0.9412 | 0.5867 | 0.9827 | 0.8704 | 0.9063 | 0.6698 |
FRNet | 0.9123 | 0.8490 | 0.7923 | 0.4228 | 0.9338 | 0.6861 | 0.9852 | 0.8919 | 0.9059 | 0.7125 |
ESANet | 0.9155 | 0.8462 | 0.8316 | 0.4157 | 0.9272 | 0.6533 | 0.9767 | 0.8852 | 0.9128 | 0.7001 |
本文算法 | 0.9333 | 0.8505 | 0.8345 | 0.5861 | 0.9506 | 0.8552 | 0.9955 | 0.8979 | 0.9285 | 0.7974 |
表1. 螺栓图像分割结果定量分析
针对传统的接地设备验收方式效率低下,且接地设备之间粘连以及颜色纹理相近等问题,提出了一种基于RGB-D边缘信息融合的接地设备图像语义分割方法,模型输入为可见光图像和深度图像,通过图像预处理增强有用信息,通过双路残差网络提取图像特征,引入注意力辅助模块增强二者的特征融合,采用空间金字塔模块对特征图进行多尺度处理,最后对输出的特征图进行双分支解码,得到语义预测结果和边缘预测结果,并使用边缘预测结果来监督优化语义信息,输出最优的语义分割结果。实验结果表明,本文所提出的方法在变电站接地设备场景语义分割任务中具有较好的表现,能够较好地分割不通的接地设备,对于接地设备的边缘有着较好的分割结果,可以应用于接地设备的安装验收任务中。
论文作者感谢国网江苏省电力有限公司常州供电分公司对本课题的资助。
国网江苏省电力有限公司常州供电分公司科技项目资助。
董 景,薛 黎,许 斌,孙志强,王 琳. 基于RGB-D边缘信息融合的接地设备图像语义分割Semantic Segmentation of Grounding Equipment Image Based on RGB-D Edge Information Fusion[J]. 电气工程, 2023, 11(04): 189-196. https://doi.org/10.12677/JEE.2023.114021
https://doi.org/10.1177/1475921719837509
https://doi.org/10.1109/TNNLS.2017.2787781
https://doi.org/10.1109/ICCV.2015.178
https://doi.org/10.1109/CVPR.2016.90
https://doi.org/10.1109/CVPR.2017.161
https://doi.org/10.48550/arXiv.1806.01054
https://doi.org/10.1109/ICIP.2019.8803025
https://doi.org/10.1145/3065386
https://doi.org/10.1109/TPAMI.2015.2389824
https://doi.org/10.1109/TITS.2023.3276328
https://doi.org/10.1109/TPAMI.2017.2699184
https://doi.org/10.1109/TIP.2023.3290519
https://doi.org/10.1109/TIP.2021.3049332
https://doi.org/10.1109/JSTSP.2022.3174338
https://doi.org/10.1109/ICRA48506.2021.9561675
https://doi.org/10.1371/journal.pone.0084217
https://doi.org/10.1109/CVPR.2019.00075