针对新能源电池组外壳焊缝缺陷检测时存在的缺陷样本少、缺陷目标尺度不一致而导致检测准确率较低问题,提出了一种改进Attention-RPN的小样本焊缝缺陷检测模型。该模型引入了FPN多尺度检测网络和深度布朗距离协方差模块来改善类间相似度的划分,以提高检测精度。结果表明,该模型具有良好的鲁棒性,能够提高检测速度,检测精度可以达到94%。基于真实样本测试表明,本模型可用于新能源锂电池焊缝缺陷检测中。 Aiming at the problems of low detection accuracy caused by few defect samples and inconsistent defect target scale, an improved Attention-RPN small sample weld defect detection model was pro-posed for the new energy battery pack shell. In this model, FPN multi-scale detection network and deep Brownian distance covariance module are introduced to improve the classification of in-ter-class similarity and improve the detection accuracy. The results show that the model has good robustness and can improve the detection speed, and the detection accuracy can reach 94%. Based on the real sample test, the model can be used in the detection of weld defects of new energy lithi-um batteries.
针对新能源电池组外壳焊缝缺陷检测时存在的缺陷样本少、缺陷目标尺度不一致而导致检测准确率较低问题,提出了一种改进Attention-RPN的小样本焊缝缺陷检测模型。该模型引入了FPN多尺度检测网络和深度布朗距离协方差模块来改善类间相似度的划分,以提高检测精度。结果表明,该模型具有良好的鲁棒性,能够提高检测速度,检测精度可以达到94%。基于真实样本测试表明,本模型可用于新能源锂电池焊缝缺陷检测中。
焊缝缺陷检测,小样本检测,Attention-RPN,FPN
Fucheng Zhang, Han Yang, Zongwang Han
University of Shanghai for Science and Technology, Shanghai
Received: Dec. 28th, 2022; accepted: Jan. 24th, 2023; published: Jan. 31st, 2023
Aiming at the problems of low detection accuracy caused by few defect samples and inconsistent defect target scale, an improved Attention-RPN small sample weld defect detection model was proposed for the new energy battery pack shell. In this model, FPN multi-scale detection network and deep Brownian distance covariance module are introduced to improve the classification of inter-class similarity and improve the detection accuracy. The results show that the model has good robustness and can improve the detection speed, and the detection accuracy can reach 94%. Based on the real sample test, the model can be used in the detection of weld defects of new energy lithium batteries.
Keywords:Weld Defect Detection, Few Shot Object Detection, Attention-RPN, FPN
Copyright © 2023 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
动力电池系统是为新能源汽车提供驱动电能的核心能量源,是新能源汽车最关键的零部件之一,目前新能源汽车的动力电池大多为锂电池组,通过若干个锂电池块连接到一起,在连接过程中,有多个工序采用激光焊接工艺,包括极柱焊接、侧板焊接、汇流拍焊接。激光焊接的好坏直接关系到电池的质量和使用寿命,因此每批次电池组出厂前都需要对电池组上的焊缝进行质量检测工序。
焊缝缺陷检测主要有目视检测、超声波检测、图像检测三种。激光焊接的焊缝宽度在mm量级,目视检测效率低下且易遗漏。超声波检测速度较慢,且其探头需要定期检测并根据情况选择不同的尺寸,提高了检测成本并延长了检测时间,图像检测在效率、成本等方面具有显著的优势。而使用传统二维机器视觉方法检测焊缝质量 [
本文针对上述问题提出改进Attention-RPN小样本检测模型,引入FPN多尺度检测增强空间信息与强语义信息,引入深度布朗距离协方差模块替代原有池化层进行分类细化,提升了模型检测精度。实验对比验证了模型的有效性。
Attention-RPN [
Attention-RPN是一种注意力网络,可以用于检测新的目标,无需重新训练和微调,但是由于一些焊缝缺陷过小或尺度变化大导致其对于目标缺陷的特征表达能力仍存在不足,因此本文提出一种基于多尺度特征融合的焊缝缺陷检测算法,同时在检测器部分利用深度布朗距离协方差模块来代替池化层和全连接层,实现对查询集和支持集之间更加精确的相似性度量。
图1. 网络结构图
由于焊缝图像上焊缝缺陷与焊缝焊道之间不易区分,且划分缺陷大小尺度多变,原有的网络对一些尺度特别小的缺陷经常会误检,在权值共享网络中生成的三个阶段特征图,位于浅层的特征图包含更多图像特征,而深层网络包含更多语义特征,而多尺度特征金字塔网络(FPN) [
图2所示为特征金字塔网络结构图,特征金字塔网络主要包含两个部分,第一个部分是图像经过多个卷积层输出不同尺度的特征图,特征图的尺度会不断变大。第二个部分是从大尺度特征图反向卷积过程,通过由顶层到底层的反向卷积传播可以把更抽象、语义更强的高层特征图进行上采样,然后将该特征横向连接至前一层特征。因此,高层特征得到了增强,每一层预测所用的特征图都融合了不同分辨率、不同语义强度的特征,可以完成对应分辨率大小的物体进行检测,保证每一层都有合适的分辨率以及强语义特征。
图2. 多尺度特征金字塔网络图
驱动点机械阻抗与驱动点有关,描述手臂振动整体情况,其表达式如下:
布朗距离协方差理论 [
设 X ∈ R p 、 y ∈ r q 分别为p维、q维的随机向量,设 f x y ( x , y ) 为它们的联合概率密度函数。X、Y的联合特征函数定义如公式(1)所示 [
ϕ X Y ( t , s ) = ∫ R p ∫ R q exp ( i ( t T x + s T y ) ) f X Y ( x , y ) d x d y (1)
其中I为虚单位。显然X和Y的边际分布分别是 ϕ X ( t ) = ϕ X Y ( t , 0 ) 和 ϕ Y ( s ) = ϕ X Y ( 0 , s ) 其中0是一个向量,其元素为所有的零。根据概率论知识,X和Y是独立的当且仅当 ϕ X Y ( t , s ) = ϕ X ( t ) ϕ Y ( s ) 。假设X和Y有有限的一阶矩,则BDC度量定义为公式(2)所示 [
ρ ( X , Y ) = ∫ R p ∫ R q | ϕ X Y ( t , s ) − ϕ X ( t ) ϕ Y ( s ) | 2 c p c q ‖ t ‖ 1 + p ‖ s ‖ 1 + q d t d s (2)
其中 ‖ • ‖ 表示欧几里得范数, c p = π ( 1 + p ) / 2 / Γ ( ( 1 + p ) / 2 ) , Γ 为完备伽马函数。
对于m个观测值的集合 { ( x 1 y 1 ) , ⋯ , ( x m y m ) } ,它们是独立同分布的(i.i.d.),一个自然的方法是根据经验特征函数定义BDC度量 [
ϕ X Y ( t , s ) = 1 m ∑ k = 1 m exp ( i ( t T x k + s T y k ) ) (3)
虽然公式(2)看起来很复杂,但是BDC指标对于离散观测有一个闭合形式的表达式。让 A ^ = ( a ^ k l ) ∈ R m × m ,其中 a ^ k l = ‖ x k − x l ‖ 是在x的成对观测值之间计算的欧式距离矩阵。类似的,计算欧式距离矩阵 B ^ = ( b ^ k l ) ∈ R m × m ,其中 b ^ k l = ‖ y k − y l ‖ 。
则BDC指标的形式为 [
ρ ( X , Y ) = tr ( A T B ) (4)
其中 tr ( ⋅ ) 表示矩阵迹,T表示矩阵转置, A = ( a k l ) 称为BDC矩阵。此处
a k l = a ^ k l − 1 m ∑ k = 1 m a ^ k l − 1 m ∑ l = 1 m a ^ k l − 1 m 2 ∑ k = 1 m ∑ l = 1 m a ^ k l 其中最后三个术语分别表示第l列、第k行和所有元素
的平均值。矩阵B可以从 B ^ 以类似的方式计算。由于BDC矩阵是对称的, ρ ( X , Y ) 也可以写成两个BDC向量a和b的内积,如公式(5)所示 [
ρ ( X , Y ) = 〈 a , b 〉 = a T b (5)
其中,a(resp., b)是通过提取A(resp., B)的上三角部分,然后执行矢量化来获得的。
度量 ρ ( X , Y ) 具有一些理想的性质:
它是非负的,当且仅当X和Y独立时,它才等于0;
它可以刻画X和Y之间的线性和非线性依赖关系;
它对X和Y的单个平移和正交变换是不变的,对它们各自的比例因子是等变的。也就是说,对于任何向量 c 1 ∈ R p , c 2 ∈ R q 、标量 s 1 、 s 2 和正交矩阵 R 1 ∈ R p × p , R 2 ∈ R q × q , ρ ( c 1 + s 1 R 1 X , c 2 + s 2 R 2 Y ) = | s 1 s 2 | ρ ( X , Y ) 。
根据公式(4)和公式(5)可知BDC度量在某种意义上是解耦的,也就是说可以独立计算每个输入图像的BDC矩阵。具体而言,就是适用于卷积网络的两层模块,分别执行降维和BDC矩阵计算。由于BDC矩阵的大小与网络中的通道数(特征映射)成二次方增长,在网络主干的最后一个卷积层之后插入一个1 × 1卷积层进行降维。
在公式(6)中 [
A ˜ = 2 ( 1 ( X T X ∘ I ) ) s y m − 2 X T X A ^ = ( a ˜ k l ) A = A ^ − 2 d ( 1 A ^ ) s y m + 1 d 2 1 A ^ 1 (6)
此处 1 ∈ R d × d 是一个矩阵,其中每个元素为1,I是单位矩阵,并且 ∘ 表示Hadamard product。我们表
示 ( U ) s y m = 1 2 ( U + U T ) 。此后,使用 A θ ( z ) 表示BDC矩阵是根据θ参数化的网络和输入图像z计算的。
BDC矩阵通过欧式距离对通道之间的非线性关系进行建模,在文献 [
本文实验运行环境如下GPU:GeForce RTX 2080Ti,16G内存;采用了Linux操作系统,搭建了Pytorch深度学习框架,采用Python作为编程语言。
本文研究的焊缝数据均采集自国内某新能源汽车电池。由于工业制造技术成熟,激光焊由机器取代了人工,焊接的工艺更加精湛,所采集的样本数据量较少。如图3为锂电池组外壳焊接处的焊缝图片:
图3. 侧板焊缝图
焊缝数据由KEYENCE线扫相机采集得到,线扫相机采集的数据分为RGB图片和深度图,而焊缝点云数据可由RGB图和深度图转换得到,本文的焊缝数据集图片由点云数据在深度方向的投影得到,这样获得的数据不仅避免了传统相机采集数据时表面反光对成像的影响,而且能够更加清晰的反映焊缝的纹理特征。对焊缝缺陷数据进行分析研究,焊缝缺陷主要发生在三个部分(如图4),分别是焊缝起头不良、焊缝收尾不良和发生在焊缝中间的轨迹偏离以及焊缝凹坑。针对焊缝表面缺陷问题可通过建立卷积神经网络模型解决此类问题,为了验证本文提出基于改进的AttentionRPN网络的检测性能,将焊缝缺陷数据划分为4类,每一类别的缺陷图像数据为10张,图像大小为5400 × 3600。
图4. 焊缝表面缺陷类型(从左到右,缺陷类型依次为焊缝收尾不良、焊缝起头不良、焊缝轨迹偏离和焊缝凹坑)
训练优化策略采用随机梯度下降(SGD)进行,采用ResNet50作为主干网络,通过注意力网络优化查询集特征图的相关性,实验各参数设置如表1所示。
实验参数名称 | 模型参数 |
---|---|
学习率 | 0.004 |
迭代次数 | 10000 |
IOU阈值 | 0.7 |
表1. 模型参数设置
为了验证模型检测的准确性,将焊缝中的四种缺陷样本作为输入,利用训练后得到的模型文件进行测试。检测结果如图5和表2所示,从检测结果可知,加入特征金字塔网络和DeepBDC模块后,模型的正检率平均可以达到95.5%,对于焊偏、凹坑的缺陷可以准确检测出,对于起头不良和收尾不良识别率也很准确。
缺陷类型 | 样本数 | 正检率/% |
---|---|---|
凹坑 | 50 | 96 |
焊偏 | 50 | 100 |
起头不良 | 50 | 94 |
收尾不良 | 50 | 92 |
总计 | 200 | 95.5 |
表2. 模型参数设置
图5. 检测结果图
为了验证改进后的小样本目标检测模型的检测能力,将引入FPN多尺度检测网络和DeepBDC分类模块与原网络作对比,实验数据集采用miniImageNet,评价指标包括精确度、mAP值以及每张图片的检测时间。其中精确度是指在全部预测某种缺陷的结果中预测正确结果所占的比例,mAP值是指检测算法对多个类别检测平均精度的均值。对比结果如表3所示。
算法 | 精确度 | mAP值 | 检测时间/s |
---|---|---|---|
Attention-RPN | 78.3 | 0.402 | 0.358 |
Attention-RPN + FPN | 85.8 | 0.687 | 0.486 |
Attention-RPN + DeepBDC | 87.3 | 0.729 | 0.450 |
Attention-RPN + FPN + DeepBDC | 94.1 | 0.875 | 0.612 |
表3. 不同算法对比结果
本文分析了基于Attention-RPN小样本目标检测网络的检测方法,在权值共享网络ResNet50结构的基础上,添加了多尺度特征网络,对生成的特征图进行底层信息与顶层信息融合,融合后的特征图相比于之前包含更加丰富的语义信息,引入DeepBDC模块。通过实验可以看出,改进后的小样本目标检测网络对分类进行了细化,对于多尺度缺陷识别能力得到了增强,提升了检测精度与速度。
章福成,杨 涵,韩宗旺. 基于改进Attention-RPN的焊缝缺陷检测Improvement of Attention-RPN for Weld De-fect Detection[J]. 建模与仿真, 2023, 12(01): 582-589. https://doi.org/10.12677/MOS.2023.121054
https://doi.org/10.1007/978-981-10-8108-8_20
https://doi.org/10.48550/arXiv.1908.01998
https://doi.org/10.48550/arXiv.1612.03144
https://doi.org/10.1214/09-AOAS312REJ
https://doi.org/10.1214/009053607000000505
https://doi.org/10.1109/CVPR52688.2022.00781