本文针对移动机器人在复杂环境中的定位精度低和环境感知性能差的问题,基于IMU、GPS检测机器人自身位姿信息,基于激光雷达和RGB相机感知环境信息,开展机器人位姿信息与环境感知信息分层级融合的关键技术研究。在位姿信息融合层,通过粒子群优化算法优化BP神经网络,在基于优化后的BP神经网络改进无迹卡尔曼滤波实现INS与GPS松耦合的组合导航,减小INS元件IMU的偏置和噪声,且利用训练好的神经网络在GPS信号失锁的情况下输出预测信息对惯导系统进行误差校正,输出更精准的速度信息与坐标信息作为绝对位置约束;在环境感知融合层,将补偿后的IMU预积分测量值、加速度和角速度分别与视觉里程计和激光里程计进行二级融合,实现了机器人实时精准定位和更精细的环境地图构建。最后使用真实采集的轨迹对多传感信息两级融合的算法进行验证,实验结果表明该算法提升了机器人定位的准确性与环境感知性能,机器人运动轨迹与原真实轨迹的最大误差为1.46 m、最小误差为0.04 m,平均误差为0.60 m。 This article focuses on the problem of low positioning accuracy and poor environmental perception performance of mobile robots in complex environments. It conducts key technical research on hierarchical fusion of robot pose information and environment perception information based on IMU and GPS for detecting the robot’s own pose information, as well as laser radar and 3D camera for sensing environmental information. In the pose information fusion layer, particle swarm optimization algorithm is used to optimize BP neural network. Unbiased Kalman filtering with improved unscented Kalman filter is implemented to achieve INS-GPS loosely coupled navigation, reducing biases and noise from INS component IMU. Additionally, a trained neural network is utilized to output prediction information for error correction of inertial navigation system when GPS signal loss occurs, providing more accurate velocity and coordinate information as absolute position constraints. In the environment perception fusion layer, compensated IMU pre-integration measurements are fused with visual odometry and lidar odometry separately at a secondary level. This enables real-time precise localization of the robot and finer construction of environmental maps. Finally, real collected trajectories are used to validate the algorithm for two-level fusion of multi-sensor information. Experimental results show that this algorithm improves both positioning accuracy and environmental perception performance of the robot. The maximum error between robot motion trajectory and original true trajectory is 1.46 m units, while the minimum error is 0.04 m units with an average error of 0.60 m units.
本文针对移动机器人在复杂环境中的定位精度低和环境感知性能差的问题,基于IMU、GPS检测机器人自身位姿信息,基于激光雷达和RGB相机感知环境信息,开展机器人位姿信息与环境感知信息分层级融合的关键技术研究。在位姿信息融合层,通过粒子群优化算法优化BP神经网络,在基于优化后的BP神经网络改进无迹卡尔曼滤波实现INS与GPS松耦合的组合导航,减小INS元件IMU的偏置和噪声,且利用训练好的神经网络在GPS信号失锁的情况下输出预测信息对惯导系统进行误差校正,输出更精准的速度信息与坐标信息作为绝对位置约束;在环境感知融合层,将补偿后的IMU预积分测量值、加速度和角速度分别与视觉里程计和激光里程计进行二级融合,实现了机器人实时精准定位和更精细的环境地图构建。最后使用真实采集的轨迹对多传感信息两级融合的算法进行验证,实验结果表明该算法提升了机器人定位的准确性与环境感知性能,机器人运动轨迹与原真实轨迹的最大误差为1.46 m、最小误差为0.04 m,平均误差为0.60 m。
环境感知,移动机器人,多传感器融合,激光里程计,视觉里程计
Li Li1, Minghao Gao1, Chunxi Feng1, Fei Li2, Chao Huang3, Tingting He4, Junjie Bai1*
1School of Electrical Engineering, Chongqing University of Science and Technology, Chongqing
2Shanghai ECAR Technology Co., Ltd., Chongqing
3Chongqing AW Cloud Technology Co., Ltd., Chongqing
4Chongqing College of Science and Creation, Chongqing
Received: Apr. 8th, 2024; accepted: May 24th, 2024; published: May 31st, 2024
This article focuses on the problem of low positioning accuracy and poor environmental perception performance of mobile robots in complex environments. It conducts key technical research on hierarchical fusion of robot pose information and environment perception information based on IMU and GPS for detecting the robot’s own pose information, as well as laser radar and 3D camera for sensing environmental information. In the pose information fusion layer, particle swarm optimization algorithm is used to optimize BP neural network. Unbiased Kalman filtering with improved unscented Kalman filter is implemented to achieve INS-GPS loosely coupled navigation, reducing biases and noise from INS component IMU. Additionally, a trained neural network is utilized to output prediction information for error correction of inertial navigation system when GPS signal loss occurs, providing more accurate velocity and coordinate information as absolute position constraints. In the environment perception fusion layer, compensated IMU pre-integration measurements are fused with visual odometry and lidar odometry separately at a secondary level. This enables real-time precise localization of the robot and finer construction of environmental maps. Finally, real collected trajectories are used to validate the algorithm for two-level fusion of multi-sensor information. Experimental results show that this algorithm improves both positioning accuracy and environmental perception performance of the robot. The maximum error between robot motion trajectory and original true trajectory is 1.46 m units, while the minimum error is 0.04 m units with an average error of 0.60 m units.
Keywords:Environment Sensing, Mobile Robotics, Multi-Sensor Fusion, Laser Odometer, Visual Odometer
Copyright © 2024 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
随着智能机器人技术的不断发展,移动机器人在各个领域中的应用越来越广泛,如无人驾驶、智能交通、服务机器人等。在这些应用中,导航定位是移动机器人的一项关键技术,它直接影响着机器人的运动控制和任务执行的精度和效率 [
移动机器人能够自主运动主要在于对外部环境的感知和对自身姿态的感知,在目前的研究中,对于外部感知通常使用激光雷达(LIDAR)、视觉传感器、GPS (Global Position System)进行定位与环境感知,对于自身姿态感知基本是使用IMU (Inertial Measurement Unit) [
2017年,Raul Mur-Arta等人 [
2017年,秦通等 [
2018年,贺一家等 [
2018年,Sofia Yousuf等人 [
2020年,Andrii V. Rudyk等人 [
2020年,程和等人 [
2021年,张逵等人 [
2021年,Wisth D, Camurri M, Das S等 [
2022年,Muhammad Husnain Haider等人 [
2023年,邵明志等人 [
综上所述,多传感器融合技术是当前机器人在复杂环境下定位与感知领域的研究热点,国内外研究人员还在不断探索新的算法提升移动机器人定位的精准性和鲁棒性,因此本文融合IMU、GPS、激光雷达、3D相机的感知信息,开展机器人位姿信息与环境感知信息分层级融合的关键技术研究,实现机器人实时精准定位和更精细的环境地图构建。
为了解决移动机器人在复杂环境中定位不准确和环境感知能力较弱的问题,本文设计了一种基于IMU、GPS、激光雷达和相机的多层融合定位和环境感知系统,系统结构图如图1所示。
图1. 系统结构图
在第一层融合中,采用了基于PSO算法优化的BP神经网络来改进无迹卡尔曼滤波,实现了INS与GPS的松耦合组合导航系统,利用训练好的神经网络在GPS信号丢失的情况下输出预测信息,对惯导系统进行误差校正,得到更精确的速度和坐标信息作为全局的绝对位置约束;有效地减小了INS元件IMU的偏置和噪声,补偿了IMU预积分测量值辅助视觉里程计获得更准确的位姿信息。然后,将补偿后的IMU预积分测量值、加速度和角速度与激光里程计和视觉里程计进行二级融合,在第二级融合中采用子图匹配技术实现闭环探测,这种方法把多帧雷达点云数据与相机数据拼接成子图进行闭环检测,弥补了单一激光雷达在低频环境下闭环探测的不足,增强移动机器人的位置和环境感知能力,使其具有更高的适应性能力。
本文的一级融合主要是针对INS与GPS构建了一个松耦合组合导航系统,其结构图如图2所示,通过采用PSO算法优化的BP神经网络对无迹卡尔曼滤波进行改进,改进后主要优势在于,当GPS信号丢失时,可以利用已经训练好的神经网络输出预测信息,对惯导系统进行误差校正,从而得到更为精确的速度和坐标信息,将其作为全局的绝对位置约束,此外改进后的算法还能有效减少INS元件IMU的偏置和噪声,通过补偿IMU预积分测量值,辅助视觉里程计获得更准确的位姿信息。
图2. 组合定位导航结构图
组合导航系统模型为: X K = φ X K − 1 + W k , Z K = H X k − 1 + V k 。其中,状态向量 X = [ ϕ , Δ v , Δ p , ε , σ ] T 包含三个失准角、x、y、z这3向速度差、经纬度位置座标的差值、陀螺随机行走和加速计的随机行走。
测量的是GPS和IMU的输出速度和位置的误差。该测量输入为: Z k = [ Δ v x , Δ v y , Δ v z , Δ p x , Δ p y , Δ p z ] 。
粒子群优化算法(PSO)是一种基于群体信息分享和历史定位的方法,它具有参数简单、易于实现的特点。该方法采用微粒群算法对BP网络进行权重和阈值的优化,并将其引入变异算子,并对其进行动态调节,从而改善了标准微粒群的缺陷,如图3所示。
图3. 改进粒子群优化的神经网络算法流程图
PSO算法在搜索最优权重、最大阈值时,其搜索的范围和深度都较宽,可以有效地避免BP神经网络中的错误逆向传播,从而容易陷入局部最优。PSO算法是实数编码,其运算速度比传统的二进制编码快得多。BP神经网络在后期的迭代率很低,可以对学习因素进行动态调整,增加变异算子,以避免局部最优,确保群体的多样性。改进粒子群优化算法实施步骤,设定大小并位置和速度进行初始化。评估各颗粒的适合性,对它们所经过的最佳位置进行比较,如果是最佳的,就把它当作目前最佳的位置;并将其与最佳群进行对比,如果是最优的,则以其为最优,反之不变。调整颗粒的速度和位置,按照公式(1)
{ V i ( k + 1 ) = ω V i k + c 1 ( j ) ⋅ r 1 ⋅ ( P b e s t − X i k ) + c 2 ( j ) ⋅ r 2 ⋅ ( g b e s t − X i k ) X i ( k + 1 ) = X i k + V i ( k + 1 ) C 2 ( j ) = C max − ( C max − C min ) ⋅ i t max − j i t max C 1 ( j ) = 4 − C 2 ( j ) (1)
式中 C 1 ( j ) 、 C 2 ( j ) 是j次迭代时的学习因子;i是迭代次数; ω 是权值系数;r1、r2是随机函数。生成(0, 1)区间随机数,若比变化系数小,则对群体进行随机初始化,反之则进行下一步骤。判断是否满足终止条件。
基于PSO的BP神经网络其主要是分别利用3轴加速度和3轴角速度作为训练输入值,其为 [ a E , a N , a U , Δ σ , Δ γ , Δ φ ] 将东向、北向、天向速度、方位等作为训练对象,设定4s一周期为训练窗口。图4展示了神经网络的学习与预测流程。
图4. 神经网络的学习与预测流程
针对系统噪声统计特性不明确时,常规UKF算法存在着滤波精度降低,甚至滤波发散的问题,本文提出了一种利用协方差估计法估算出系统测量噪声和系统噪声的协方差矩阵法,从而改善UKF算法对系统噪声的适应性,其估算公式如(2)和(3)。
R ^ k = 1 N ∑ i = 0 N − 1 ε k − i ε k − i T − ∑ i = 0 2 n ω i [ Z i , k / ( k − 1 ) − Z ^ k / ( k − 1 ) ] · [ Z i , k / ( k − 1 ) − Z ^ k / ( k − 1 ) ] T (2)
Q ^ k = 1 N [ ∑ j = 0 N − 1 ε k − j ε k − j T + ∑ j = 0 N − 1 η k − j η k − j T ] − ∑ i = 0 2 n ω i [ ξ i , k / ( k − 1 ) − X ^ k / ( k − 1 ) ] ⋅ [ ξ i , k / ( k − 1 ) − X ^ k / ( k − 1 ) ] T (3)
在这里,N是估计窗宽, ε k 是残差, η k 是新息。使用这一方法,可以通过调节窗口宽度,从而使新息方差阵和残差方差阵的取样特性不同,在噪声较少的情况下,可以通过调节窗宽来降低测量结果和噪声,从而提高估计的响应速度;在噪声对信号造成很大影响的情况下,通过增加噪声的更新频率,可以提高估计精度。用(4)公式得出N。
N i + 1 = [ N i − ( ∑ j = 1 L η k ( j ) − η ^ k − 1 ( j ) η ^ k − 1 ( j ) ) / L ] (4)
在这里, [ · ] 是一个整数, η ^ k − 1 ( j ) 是最近k − 1个新的新息的平均值, η k 是第k个新的利息,L是一个度量的维数,它是一个新的利率,它是一个新的利率和一个k − 1的新的利率的差,并且用这个比率的平均值作为一个调整的参数。将(4)式中的N值带入到式(2)、(3)中去,由此能够自适应地调整UKF系统的噪音和量测噪声,由此减小由于不准确的噪声统计特性所导致的误差发散。
在第二级融合中,主要设计了由视觉惯性里程计(Visual Inertial Odometry, VIO)、雷达惯性里程计(Lidar Inertial Odometry, LIO)和闭环优化三大模块组成的“视觉 + 激光”融合定位与环境感知系统,如图5所示。
图5. “视觉 + 激光”融合定位与环境感知系统框图
采用多线激光雷达、视觉相机的原始数据和第一级融合中出输出补偿后的IMU预积分测量值、加速度和角速度作为“视觉 + 激光”算法的输入,其中VIO利用激光雷达测量数据为视觉特征提供深度信息以提高VIO精度,而LIO采用VIO提供的位姿预测信息快速完成点云配准,从而实现高精度和高鲁棒性的实时定位;当VIO和LIO两个子系统检测到故障时或者当检测到足够的特性时,可以独立工作,也可以相互耦合,避免了单一子系统故障导致系统不能使用的情况,提高了整个系统的鲁棒性;在闭环优化模块中,本文采用子图匹配技术实现闭环探测,这种方法把多帧雷达点云数据与相机数据拼接成子图进行闭环检测,弥补了单一激光雷达在低频环境下闭环探测的不足。
闭环检测与优化算法通过闭环探测,可以确定机器人有没有返回到之前的位置,所以在进行图的优化时,可以根据机器人的精确位置信息,将激光雷达闭环探测信息结合起来,大大提高了机器人的定位精度为环境感知以及地图构建的精准度打下基础。传统的ICP算法在利用短程激光雷达来构造低特征的环境下,会出现一些问题。针对此问题,提出了利用局部子图构造方法来克服传统ICP方法在闭环探测时所存在的缺陷。在机器人运动距离低于一定阈值的情况下,利用激光点云数据构造子地图,进行闭环探测。利用多帧激光点云进行子图匹配,可以极大地克服单帧激光匹配的缺陷,并在完成了前端图的绘制后,对其进行了后端的优化,并将其输出到最优位置。通过对激光雷达的分析,得到了最优路径,得到了更高精度的目标。图6显示了多级融合的流程图。
图6. 多级融合的流程图
从图7中可以直观的看出,通过使用视觉 + 激光构建地图与相使用单一的激光雷达构建地图的区别,融入了视觉后的能够更精确的识别出道路旁的房屋建筑,激光 + 视觉的地图元素更加丰富,细节更加精细,感知的周伟物体更具有辨识度。
图7. 地图构建对比
基于kitti数据集中的07对本文的slam算法与单一激光雷达slam算法分别使用evo进行评估,从图8可以看出,图中07是kitti数据集中的07的原轨迹,07_old是单一激光雷达slam算法得到的轨迹,07_change是使用本文slam算法得到的轨迹。使用本文的方法优化后的轨迹明显比原算法更加贴合原轨迹,且误差控制到较小范围内。
图8. 轨迹对比图
根据表1数据可以看到改进前后绝对姿态误差数据的对比,表格中列出了误差的最大值(max)、平均值(mean)等统计指标。改进后的最大误差从10.360967 m降低到1.455266 m,平均误差从1.968058 m降低到0.600112 m,中位数误差从1.565123 m降低到0.483278 m,最小误差从0.370440 m降低到0.040534 m,均方误差从2.801205 m降低到0.689174 m,误差平方和从2879.756613 m降低到261.703415 m,标准差从1.993363 m降低到0.338860 m。这些数据的减少说明了系统在处理姿态误差方面的改进效果,反映了算法优化或系统调整的有效性。
Max (单位:m) | Mean (单位:m) | Median (单位:m) | Min (单位:m) | Rmse (单位:m) | Sse (单位:m) | Std (单位:m) | |
---|---|---|---|---|---|---|---|
改进前 | 1.525584 | 0.705407 | 0.495123 | 0.080440 | 0.774490 | 287.756613 | 0.473363 |
改进后 | 1.455266 | 0.600112 | 0.483278 | 0.040534 | 0.689174 | 261.703415 | 0.338860 |
表1. 改进前后的绝对姿态误差数据对比
本文针对移动机器人在复杂环境中定位精度低和环境感知性能差的问题,提出了一种基于IMU、GPS、激光雷达、相机的分层级融合定位和环境感知技术。在一级融合中采用了基于粒子群优化算法优化的BP神经网络来改进无迹卡尔曼滤波,实现了INS与GPS的松耦合组合导航系统。这种方法有效地减小了INS元件IMU的偏置和噪声,并利用训练好的神经网络在GPS信号失锁的情况下输出预测信息,对惯导系统进行误差校正,输出更精准的速度信息和坐标信息作为绝对位置约束。然后,将补偿后的IMU预积分测量值、加速度和角速度分别与激光里程计和视觉里程计进行二级融合。
通过使用真实采集的轨迹对改进后的算法进行验证,实验结果表明该算法提升了机器人定位的准确性与环境感知性能,机器人运动轨迹与原真实轨迹的最大误差为1.46、最小误差为0.04,平均误差为0.60。
总的来说,本文的研究成果为移动机器人在复杂环境中的定位和环境感知提供了一种有效的解决方案,不仅提高了移动机器人的定位精度,也增强了其环境感知能力,为未来移动机器人的研究和应用提供了技术支持。
重庆科技大学硕士研究生创新计划项目,项目号“YKJCX2220406”。
重庆市雏鹰计划项目“可燃性气体泄露源追踪定位技术的研究”,项目编号“CY221001”。
李 力,高明浩,封淳曦,李 飞,黄 超,何婷婷,柏俊杰. 基于多传感信息融合的移动机器人定位与环境感知技术Mobile Robot Localization and Environment Perception Technology Based on Multi-Sensor Information Fusion[J]. 人工智能与机器人研究, 2024, 13(02): 408-418. https://doi.org/10.12677/airr.2024.132042
https://doi.org/10.1016/j.optcom.2020.126567
https://doi.org/10.3390/electronics8010089
https://doi.org/10.1109/TRO.2017.2705103
https://doi.org/10.3390/s18041159
https://doi.org/10.1109/ICET.2018.8603597
https://doi.org/10.3390/s20174841
https://doi.org/10.1088/1742-6596/1684/1/012011
https://doi.org/10.1109/LRA.2021.3056380
https://doi.org/10.1016/j.jksuci.2022.08.031