airr Artificial Intelligence and Robotics Research 2326-3415 2326-3423 beplay体育官网网页版等您来挑战! 10.12677/airr.2024.133069 airr-95549 Articles 信息通讯, 工程技术 智能铁屑清理移动机器人单目视觉寻迹方法研究
Research on Tracking Method of Intelligent Iron Removal Mobile Robot Based on Monocular Vision
周吉林 1 2 王宝磊 3 4 5 宁波奋钧磁业有限公司设计部,浙江 宁波 浙江理工大学电气工程学院,浙江 绍兴 广西城市职业技术大学智能工程学院,广西 崇左 宁波韦尔德斯凯勒智能科技有限公司,工程中心,浙江 宁波 山东科技职业学院电气工程学院,山东 潍坊 30 06 2024 13 03 684 691 6 6 :2024 22 6 :2024 22 8 :2024 Copyright © 2024 beplay安卓登录 All rights reserved. 2024 This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/ 本研究致力于开发一种智能铁屑清理移动机器人的视觉寻迹方法,旨在提高机器人在复杂工业环境中对铁屑的自动清理效率。研究重点在于图像处理和分析,特别是图像阈值的自动选择,这是实现精确图像分割的关键。本文综合分析了直方图波谷法、Otsu法、最大熵方法等现有技术,并针对单摄像头视觉伺服系统的挑战,提出了一种改进的图像分割算法。针对现有技术的局限性,如光照变化敏感性和对静态图像的依赖,本文设计了一种基于单目视觉的稳定可靠的智能铁屑清理机器人寻迹方法。该方法通过RGB色彩空间处理,利用动态阈值提取技术,有效解决了光照变化和栅格遮挡下的实时彩色图像分割问题。实验部分验证了所提方法的有效性。通过对智能铁屑清理移动机器人在实际行进过程中的寻迹图像进行分割,结果表明该方法能够适应不同光照条件,且分割速度快,满足了实时性要求。
This study is dedicated to the development of a visual tracking method for intelligent iron shaving cleaning mobile robots, aiming to enhance the efficiency of robots in automatically cleaning iron shavings in complex industrial environments. The research focuses on image processing and analysis, particularly the automatic selection of image thresholds, which is key to achieving accurate image segmentation. This paper comprehensively analyzes existing technologies such as histogram valley method, Otsu’s method, and maximum entropy method, and proposes an improved image segmentation algorithm in response to the challenges of single-camera visual servo systems. Addressing the limitations of existing technologies, such as sensitivity to lighting changes and reliance on static images, this paper designs a stable and reliable tracking method for iron removal robot based on monocular vision. The method processes images in the RGB color space, using dynamic threshold extraction technology to effectively solve the real-time color image segmentation problem under varying lighting conditions and grid obstructions. The experimental part verifies the effectiveness of the proposed method. By segmenting the tracking images of the intelligent iron shaving cleaning mobile robot during actual travel, the results show that the method can adapt to different lighting conditions and has a fast segmentation speed, meeting the real-time requirements.
除铁,机器人,单目视觉,寻迹
Iron Removal
Robot Monocular Vision Tracking
1. 引言

智能铁屑清理移动机器人单目视觉寻迹研究的一个热点是视觉图像的处理分析。图像处理中,图像分割的基础是阈值的选择,因此阈值的自动选取一直是图像研究的重点和热点。已经提出的图像阈值自动选取方法多达数十种,但在实际使用中常用的方法只有直方图波谷法、Otsu法、最大熵方法、矩量保持法、梯度统计法等几种 [1] - [10] 。在基于单摄像头的视觉伺服移动机器人前进领域,由于系统较复杂,对于目标区域的提取主要研究集中于基于样本直方图统计变量获取阈值的方法 [11] [12] 、基于YUV色彩空间的固定阈值分割方法 [13] - [17] 、基于HSI色彩空间的自适应阈值分割方法 [18] - [24] 等。

基于样本直方图统计变量获取阈值的方法,重点是利用直方图波峰和波谷的特点来确定阈值,利用类间最大方差得到分割阈值,该方法可以自动得到统计意义上的最佳分割阈值。其关键技术在于把直方图划分成n个局部区域的准确性以及如何辨别波峰以及伪波峰,利用直方图获取阈值的方案在国防科技大学王祥科的论文《Otsu多阈值快速分割算法及其在彩色图像中的应用》 [1] 中描述较为详细。该方法的缺点在于其对彩色图像分割的效果比较差,分割之后原图像彩色信息会丢失,原因为基于直方图的阈值分割是基于简单的二值图像,获得其像素分布直方图。但是彩色图像每一个像素值由三个值耦合而成,包含信息多,无法简单的直接对彩色图像进行处理。

基于YUV色彩空间的固定阈值分割方法是利用YUV色彩空间的特性,Y表示明亮度,U和V描述图像的色度,和指定像素的颜色。该方法手动给定Ymin,Ymax,Umin,Umax,Vmin,Vmax作为固定阈值分割图像。该方案在刘斌的《基于颜色的目标跟踪系统在机器人中的应用》 [11] 中描述的较为详细。该方法缺点在于受到光照波动的影响较大,目标区域无法实时更新,造成区域分割不准确,同时影响轨迹的辨析,原因为在于光照的不确定性,随着光线的变化,其Y值也会产生变化,随机颜色信息也会出现波动,不容易设定一个合理的初始阈值。

基于HSI色彩空间的自适应阈值分割方法关键在于感兴趣区域ROI的获取以及阈值动态更新的方法,利用HS的联合直方图统计方法。该方案在南京航空航天大学杨星的研究生学位论文《机器人彩色目标识别与跟踪系统的研究与实现》 [18] 中描述的较为详细。该方法缺点在于该方法主要适用于静止不动的图像分割,有一定的局限性,原因为需要假设机器人处于静止状态,对图像进行实时分割才能取得比较好的效果,在实际应用中,机器人大多处于运动状态。

本文综合改进了上述方法,通过解决光照变化和有栅格遮拦的情况下彩色图像的实时分割以及轨迹的快速提取问题,设计了一种稳定可靠的基于单目视觉的智能铁屑清理机器人寻迹方法。

2. 方案描述 2.1. 智能铁屑清理移动机器人设计

智能铁屑清理移动机器人广泛应用于工业生产领域,特别是在机械加工、汽车制造、航空航天等行业中,产品对环境中铁屑清洁程度要求非常高,但是这类生产环境中铁屑的产生又是不可避免的,因此需要及时频繁的进行铁屑清理。传统清理方式主要通过的人工操作专用工具进行清理,不仅效率低下,还存在一定的安全隐患。针对上述问题,本文设计了一种智能铁屑清理机器人,具备通过将磁吸模组安装在智能机器人上实现对地面上的铁屑铁钉进行自动清理以及对铁屑进行自动分类收集的功能。

Figure 1. Diagram of intelligent iron removal mobile robot--图1. 智能铁屑清理移动机器人示意图--

本文设计的智能铁屑清理移动机器人如 图1 所示,主要包括1. 移动机器人车体;2. 导航激光雷达;3. 可升降磁铁;4. 寻迹/避障视觉相机;5. 从动轮;6. 主动轮;7. 充电桩以及车体内部电控制系统和远端调度系统。其中,1. 移动机器人车体主要由型材焊接和钣金装配而成;2. 导航激光雷达主要用于在引导轨迹损坏时进行短时低速导航;3. 可升降磁铁主要用于实现对不同重量铁屑的吸取和清理;4. 寻迹/避障视觉相机主要用于实现对引导轨迹的跟踪和障碍物的检测;5. 从动轮和6. 主动轮主要用于驱动车体实现车体的运动功能;7. 充电桩用于对机器人进行充电,整套系统在车体内部电控系统和远端调度系统管理控制下工作。

2.2. 机器人视觉寻迹方法研究

本文主要研究一种基于摄像头的智能铁屑清理移动机器人图像快速分割以及前进寻迹的方法。对于光照实时变化或其他有阴影的场合来说,图像可以分为3个区域,强光照区域,正常光照区域以及弱光照区域,以 图2 (图像像素为640*480)为例:

Figure 2. Source image--图2. 原始图像--

彩色图像动态分割算法的思路:在RGB色彩空间上对该图像进行处理,第一步:将其分离成3个单通道的图像:R通道,G通道以及B通道,本文以红色为目标颜色,R通道的信号强弱如 图3 所示。

Figure 3. Channel R image--图3. R通道图片--

从图中可以看出分为3中颜色,其中白色代表原图中红色较浓,黑色部分表示原图几乎没有红色,灰色部分表示原图中参杂红色。

为增加目标区域提取时对背景色的抗干扰能力,采用平均相邻行像素值,并将新的像素值赋给当前行,以5行为例即:

Pixel = Pixel 1 + Pixel 2 + Pixel 3 + Pixel 4 + Pixel 5 5 (1)

其中 Pixel 1 , Pixel 2 , Pixel 3 , Pixel 4 , Pixel 5 指的是从第一行到第五行对应的像素值。这样取平均的方法可以很好的减小外部因素以及背景色的干扰。

第二步:将R通道图片的第一行投射到一个横坐标为0到640,纵坐标为0到1 (0到255归一化之后的结果)的坐标系中,最近行对应如 图4 所示。

Figure 4. Channel R projection image--图4. R通道投射图--

图3 中可以看出在坐标320附近有一个突变,坐标400附近有另外一个突变,其左右两边分别为过暗区域和过亮区域。对比原图,可以发现该突变区域对应的就是红色区域,由于RGB色彩通道是互相耦合的,因此需要同时考虑到G通道以及B通道的像素曲线,将它们依次投射到同样的坐标系中,结果如 图5 所示。

第三步:分析 图5 ,将问题简化为如何提取突变区域,一种可以提取突变区域的算法如下:

Threshold = a R + b G + c B 1 3 + α (2)

其中R,G,B分别代表原图中该点在三个通道中的像素值,α是一个估算值,在实验中获取一个合适值。a,b,c代表一个权重系数,即代表R,G,B三通道的像素值对于阈值选取的影响,RGB色彩模式是通过对R,G,B三个颜色通道的变化以及它们相互之间的叠加来得到,因此这三个值的选定将直接影响图像分割的效果。

本文设定场景将红色为目标颜色,则可以取a = b = c = 1,其结果如 图6 所示,黄色曲线为算法所得,可以发现,除了在突变两侧,其他像素坐标所对应的像素值都小于黄色曲线在该点的像素值,因此可以认为这条黄色曲线为动态阈值曲线,用来提取目标区域。

Figure 5. Three channels projection image--图5. 三通道投射图-- Figure 6. Dynamic threshold image--图6. 动态阈值图--

当实际生产场景与本文设定场景不一致时,比如设定绿色为寻迹跟踪目标颜色,则可以适当的调整b的值,因为该值代表的是绿色像素的权重,因此可以取b = 1.2,即可达到彩色图像分割的效果。

3. 实验分析

随机选取智能铁屑清理移动机器人行进过程中的寻迹图像,按照1中所述方法进行图像分割,将图像分为两类,其中一类为要提取的目标颜色,其像素点的值仍为原值;另外一类为背景,其像素值设为0,图像分割效果如 图7 所示。

Figure 7. Tracking target segmentation effect image--图7. 寻迹跟踪目标分割效果图--

图7 可以看出,采用本文提出的方法能很好的适应光照变化,彩色图像动态分割效果好,算法所用时间在7 ms,能满足移动机器人对于实时性的要求。

4. 结论

本文研究了工业智能铁屑清理移动机器人单目视觉寻迹过程中寻迹图像的快速分割以及机器人前进寻迹的方法,设计了具体的实现方案,并随机抽取机器人寻迹过程中的寻迹图像进行试验验证,试验结果显示该方法是有效的。

基金项目

研究得到宁波市“科技创新2025”重大专项基金支持(项目号:2022Z072,2023Z042)。

NOTES

*通讯作者。

References 王祥科, 郑志强. Otsu多阈值快速分割算法及其在彩色图像中的应用[J]. 计算机应用, 2006, 26(B06): 2. 刘斌, 赵书尚, 等. 基于颜色的目标跟踪系统在机器人中的应用[J]. 河南科技大学学报(自然科学版), 2010, 31(2): 20-23. 杨星. 机器人彩色目标识别与跟踪的研究与实现[D]: [硕士学位论文]. 南京: 南京航空航天大学, 2011. 王军, 肖晶晶, 胡刚雨. 基于改进的2D-OTSU磁柱表面缺陷检测方法[J]. 制造业自动化, 2022(8): 44. 陈昭炯, 叶东毅, 林德威. 基于背景抑制颜色分布新模型的合成式目标跟踪算法[J]. 自动化学报, 2021, 47(3): 630-640. 曾艳阳, 谢高森, 张建春. 基于截距直方图和Otsu融合的弱光图像分割[J]. 激光与光电子学进展, 2021, 58(20): 211-219. 吴京城, 洪欢欢, 施露露, 等. 反背景差分结合Otsu的细胞图像分割方法[J]. 电子测量与仪器学报, 2021, 35(4): 82-89. 邵党国, 朱小方. 一种基于差分搜索算法的多阈值超声图像分割方法[P]. 中国专利, CN201911237923.8. 2020-04-24. 陈汝杰, 唐文艳, 吕文阁, 等. 基于IMFO-Otsu的果实深度图像多阈值分割[J]. 现代农业装备, 2023, 44(4): 30-35. 马卫, 朱娴, 李微微. 基于莱维飞行麻雀搜索优化的Otsu多阈值图像分割[J]. 计算机时代, 2023(4): 77-85. 陈亮, 丁国辉, 郭雷. 基于直方图互确认的图像阈值化分割[J]. 红外与毫米波学报, 2011, 30(1): 80-84. 陈梦涛, 余粟. 基于Lab颜色空间的自适应K均值彩色图像分割方法[J]. 软件导刊, 2021, 20(6): 230-234. 张婵. 基于自适应双阈值的智能双目视觉系统设计[J]. 网络安全技术与应用, 2023(11): 57-59. 董娜, 翟梦蝶, 常建芳, 等. 基于颜色空间自适应阈值分割的白细胞自动分类方法[P]. 中国专利, CN202010946847.4. 2021-01-05. 欧阳楠, 曹益平. 基于颜色校准和HSI颜色空间的白细胞图像分割方法[J]. 光学与光电技术, 2022, 20(3): 62-69. 谭建豪, 张思远. 基于自适应空间正则化的视觉目标跟踪算法[J]. 计算机研究与发展, 2021, 58(2): 427-435. 林彬, 王华通, 封全喜. 基于双模型竞争机制的目标跟踪算法[J]. 电子学报, 2023, 51(5): 1381-1387. 宋瑞霞, 李达, 王小春. 基于HSI色彩空间的低照度图像增强算法[J]. 图学学报, 2017, 38(2): 217-223. 李茂民, 邹臣嵩. 基于改进遗传算法的阈值图像分割方法[J]. 软件工程, 2022, 25(1): 37-40. 饶云波, 吕青松. 基于自适应阈值分割的COVID-19CT图像的分割方法及装置[P]. 中国专利, CN202110788232.8. 2023-01-17. 王哲英, 马明旭, 冯静, 等. 基于色彩空间的六堡茶老嫩叶筛分采摘的辨识[J]. 现代制造技术与装备, 2023, 59(5): 184-186. 李欣, 王玉德. 基于颜色模型和阈值分割的有遮挡的柑橘果实识别算法[J]. 计算技术与自动化, 2022, 41(2): 136-140. 刘瑜, 肖汉林, 叶瑞帆, 等. 基于自适应阈值分割算法的人脸图像质量评估方法[P]. 中国专利, CN202111635691.9. 2022-11-04. 周钰聪, 叶超, 林子涵, 等. 复杂场景下偏振导航自适应图像分割算法研究[J/OL]. 光学学报, 1-19. >http://kns.cnki.net/kcms/detail/31.1252.O4.20240529.0843.044.htm, 2024-06-28.
Baidu
map