Roadside LiDAR-Camera Calibration Based on 3D Variable Diameter Spiral
Cooperative Vehicle Infrastructure System (CVIS) is a crucial direction in the development of Internet of Vehicles, making the spatial calibration of roadside LiDAR and camera essential for implementing intelligent roadside systems. Given the differences in deployment scenarios between roadside and onboard intelligent sensors, a unique marker is designed specifically for roadside spatial calibration, featuring a three-dimensional variable-diameter helical structure. Initially, point cloud and image of the marker are collected respectively in the common field of view of the LiDAR and camera. For the point cloud, an improved Random Sample Consensus (RANSAC) algorithm is used to extract the marker and complete the point cloud. For the images, semantic segmentation technology is employed to obtain pixel information of the marker and perform distance transformation to create an excitation mask. The calibration process is divided into two stages. In the coarse calibration stage, a model based on the perspective-n-point (PNP) problem is constructed to obtain initial values for the spatial calibration parameters, including the rotation matrix R and translation vector t. In the fine calibration stage, an objective function is constructed to optimize the calibration parameters by maximizing the projection coverage of the marker’s point cloud on the image mask. Experimental results demonstrate that the proposed method significantly outperforms traditional methods in terms of calibration efficiency, robustness, and accuracy, providing effective technical support for spatial calibration of sensors in Cooperative Vehicle Infrastructure System.
Cooperative Vehicle Infrastructure System
随着自动驾驶技术的快速发展,国家不断出台相关政策和指导意见,以适应我国智能网联汽车发展的新趋势、新特征和新需求。《国家车联网产业标准体系建设指南》明确指出以智能网联汽车为核心载体和应用载体,“车–路–云”协同发展。智能的道路可以提供更加丰富、准确和完整的信息,包括交通基础设施、车辆和行人等环境信息,为自动驾驶系统提供关键的感知能力。
激光雷达探测距离精度高,范围广
多模态传感器融合正成为自动驾驶实现目标感知的主流技术方案,联合标定是实现融合感知的先决工作。激光雷达和相机的联合标定是指对两种传感器在空间上进行校准,确定激光雷达点云和相机图像之间的几何变换关系,使其数据能够在统一的坐标系下融合。
目前联合标定的方法大致可以分为两类,一是基于标靶标定,二是无标靶标定
上述联合标定算法,主要针对机器人或者单车智能平台的传感器部署场景,目前的研究对于路侧场景仍较为欠缺。车载端和路侧端使用标靶在实施标定的过程中,主要存在传感器视角朝向不同的区别。本质上,激光雷达和相机都是光学传感器,两者均是接受光信息进行数据处理,最终成像。无论是转子式机械激光雷达或扫描式固态激光雷达
基于上述路侧场景的特点,针对激光雷达和相机的联合标定,本文设计了一种三维标记物,力求解决现有标定板无法适用于路侧场景的问题。该标记物的主体结构为经参数方程严格定义的三维变径螺旋线,在三维笛卡尔坐标系下螺旋线上各点的相对位置是已知的,因此可以利用这一约束关系,采用改进的RANSAC算法进行点云的特征提取和补全。重要的是,螺旋线结构允许传感器在不同位置进行观测,只要螺旋线的厚度足够薄,在误差允许范围内,激光雷达和相机总能在共视区内观测到螺旋线上的同一坐标点。
本文提出的算法流程如
(1)
式中 为相机的内参数,旋转矩阵 ,平移向量 。
根据前文所述,路侧场景下,标靶应满足以下三个特性:
1) 视角稳定性:对于不同视角,激光雷达和相机都能观测到标靶。视角稳定性换言之,即固定标靶位置,改变观测者观察角度,依然可以观测到有效的特征信息,这一特性使得标靶在多样化的多传感器部署场景可以发挥关键作用。二维平面标定板总是存在观察盲区,即使在背面存在一致的设计,从侧面观察时也无法得到有效信息,因此标靶理应是三维结构,并且对旋转不敏感。
2) 特征统一性:激光雷达和相机在同一时刻观测到的特征是相对应的,即同时观测到同一特征。假设同时从不同角度观测一固定的实心圆球,那么符合统一性的特征为该球的球心,因为无论从何角度,球心的绝对位置不变且唯一。然而球心的坐标并不是先验信息,采用估计的方法会引入偏心误差
3) 特征可检测性:对于激光雷达和相机观测到的特征,要能够采用相关算法在点云数据和图像数据中进行提取。这一特性使得标定可以自动化进行,简化标定流程提高标定效率,同时为实现在线标定奠定基础。
上述三个特性,视角稳定性是对路侧部署场景提出的新要求;特征统一性是自动驾驶中联合标定的基本条件,在路侧新场景下包括了更丰富的含义;特征可检测性扩展了标靶的应用场景。
三维变径螺旋线的结构三视图如
以底座圆盘中心为原点,Z轴方向垂直向上,构建三维直角坐标系,则螺旋线的参数方程 如式(2)所示,参数 。假设坐标系的单位为mm,本文式中常数系数a取200,b取−20/π,c取40/π。螺旋线的曲率半径沿Z轴方向逐渐减小,最大半径为200 mm,最小半径为40 mm。事实上,参数t代表绕Z轴旋转的角度,与极坐标的表达形式相似。
三维变径螺旋线的良好特性是其能在路侧场景下充当标靶的关键。
1) 旋转不敏感
标靶旋转一定角度后其特征保持一致或相似,称其对旋转不敏感,这一特性满足了视角稳定性。
假设该螺旋线绕Z轴旋转角度 ,旋转矩阵 表示为:
(3)
螺旋线结构 旋转变换后得到 为:
(4)
展开并化简得到:
(5)
螺旋线在旋转 角后,x和y分量在形式上保持不变,而z分量的值不变。这表明螺旋线绕Z轴旋转其特征保持一致。
2) 深度不消失
假设三维曲线 在某平面l的投影为 , 是定义区间内的非空子区间,若当 时总存在另一非空子区间 且 ,使得 ,那么称在平面l的投影发生深度消失现象,即 上的两段曲线在投影重合。本文定义的螺旋线在任一投影平面均不存在深度消失现象,保证了观测信息的有效性。
假设平面l的单位法向量 ,那么螺旋线 在平面l上的投影 可以通过移除曲线在法向量方向的分量得到:
(6)
其中 是曲线与法向量的点积,给出曲线在法向量方向上的长度。根据定义,深度不发生消失的必要条件为投影 不存在交点,或若有 且 ,投影 在 和 的导数不相等。 的导数为:
(7)
式中, 为螺旋线的导数,由式(2)求导有:
(8)
由于绕Z轴旋转特征不变,因此对于投影平面的法向量n,可以简化为证明以下两种条件满足定义的情况,一是 或 ,二是 。
当 时, 各分量为:
整理式(9)
(10)
注意 ,且有:
(11)
在定义域内 为单调递减函数,若有 ,则必有 ,那么 ,命题情况一得证。而当 时, 的z分量 ,为单调递增函数,因此投影中不存在 ,命题情况二得证。
由于模型经过严格的数学方程定义,因此可以采用RANSAC (Random Sample Consensus,随机采样一致性)
一帧点云的点数量为 ,其中螺旋线的点数量为 ,假设在一帧点云中随机采样一点是螺旋线点群(内点群)的概率为w,则:
(12)
假设每次采样n个点,由于点云样本数量远远大于螺旋线点群数量,因此不放回采样的概率与放回采样的概率近似相等,则所有点均为内点群的概率为 ,至少一个点不是内群点的概率为 。重复k次采样,每次采样均存在离群点(即没有一次采样的n个点均为内群点)的概率为 。假设重复k次后采样的所有点均为内群点的概率为p,则:
(13)
得到采样次数k为:
(14)
所以,如果希望采样符合要求的概率p越高,可以增加采样次数k,减少每次采样的点数n,提高内点群在所有样本中的概率w。以速腾聚创RS-Ruby Lite 80线激光雷达为例,一帧点云数量为144,000个,而ouster OS1 128线激光雷达每帧点云数量高达260,000个,螺旋线模型的点云数量依据模型尺寸和激光雷达的分辨率估计,w的值将会非常小。
针对上述问题,算法改进的目标是提高内群点占样本总量的比例w。具体来说,在三维空间中定义一个三维滑动窗口,窗口大小 ,在各坐标轴上的滑动步长为 。窗口按照预设的步长在点云样本集中逐步移动,每个窗口内的点云数据作为独立的采样子集,用于后续的RANSAC算法处理。合理的设置窗口尺寸和滑动步长,可以极大提高子集内群点占比w。通过多次迭代,选择符合预设模型内群点数占比最高的结果作为螺旋线的点云数据。
在滑动窗口中建立三维直角坐标系,螺旋线模型在坐标系中不可避免会发生旋转和平移变换,设 为变换后的坐标,则:
(15)
式中 为滑动窗口内的旋转矩阵, 为滑动窗口内的平移向量。当点云数量较为稀疏时,可以利用拟合的映射参数生成点云进行补充,以增加点云的信息量。
为了从图像中精确地识别出螺旋线结构,采用图像语义分割技术。语义分割是一种基于深度学习的图像分析方法,能够将图像中的每个像素分类到预定的类别。本文采用yolo v9
将语义分割的结果作为优化标定参数过程的激励掩码,用于指导激光雷达螺旋线的点云在相机图像上投影位置。具体来说,定义一种局部距离变换,以在特定阈值范围内增强目标区域周围像素的灰度值。这种变换依据像素到最近目标区域的距离来调整其灰度值,使得距离目标区域越近的像素灰度值越高。
设图像语义分割的结果为I。I为二值图像,目标区域(即螺旋线) 为白色,背景区域B为黑色。定义一个距离函数 表示像素p到最近目标区域 的距离,t为参与变换的像素与目标区域的最大距离。变换后的图像 可以通过以下公式定义:
其中, 为一个常数,用于调节灰度值的增幅,确保目标区域的灰度值不变。通常取 ,即图像灰度的最大值。
利用基于语义分割的掩码来优化激光雷达和摄像头的联合标定过程。通过语义分割,我们能够准确地识别图像中的关键区域,并生成相应的激励掩码。这一掩码不仅定义了感兴趣的目标区域,而且还指导了激光雷达点云数据的投影,以确保点云主要集中在感兴趣区域内。
定义激励函数U作为点云投影到目标掩码区域内的度量:
其中N为参与投影的点云总数,M是式(16)的归一化表达, 是投影到图像平面的点,满足:
(18)
式中 为相机内参, 表示激光雷达坐标系的坐标,R为旋转矩阵,t为平移向量。根据罗德里格斯公式将含有九个自由度的旋转矩阵R用只有3个自由度的旋转向量r表示 ,最终的目标函数为:
(19)
求解的联合标定参数为:
(20)
由于螺旋线模型尺寸有限,在图像中的目标区域比较小,因此初始值的选择十分重要,否则可能出现参与投影的目标点云全部处于激励掩码的零空间中,将难以找到最佳搜索方向。本文分别从3帧对应的图像和点云中提取螺旋线的特征点,为方便计算可以选择螺旋线结构的最高点,采用P3P
我们使用ouster OS1 128线激光雷达和元戎启行Deeproute Vision Camera V2相机部署在真实道路上进行实验如
在激光雷达和相机联合标定中,常用的评价指标是重投影误差。这一指标衡量的是在三维空间中的点经过投影变换到二维图像平面后与观测像素的误差大小,用以评估标定的准确性和精度。重投影误差可以用像素坐标系下的欧氏距离来表示:
(21)
其中, 是观测的像素坐标, 是由激光雷达坐标投影变换得到的像素坐标。
采集同一时刻螺旋线模型的图像和点云数据,如
图像数据采用yolo v9进行训练识别,平均IoU(交并比)为97.3%,图像语义分割和激励掩码的距离变换的结果如
粗标定的结果如
我们对比了可以应用于路侧场景的标定方法,包括基于标靶的棋盘格法
位于激光雷达和相机之间的共视区内,我们的方法表现良好。不同于采用棋盘格法,在采集数据时无需特别注意标靶的角度,同时由于标靶设计时采用高反射率材料,颜色对比度大,在点云和图像中特征明显,识别率高。我们测试了螺旋线标靶可以被检测识别的距离,以ouster OS1 128线激光雷达为例,受限于模型尺寸大小,标靶在距离激光雷达30米的区域就因采样点稀少而难以识别,而距离相机50米时图像特征依然明显,语义分割效果良好。因此本文所述方法应用于路侧标定,最远距离的性能取决于激光雷达的分辨率和标靶的尺寸。
方法 |
重投影误差 |
稳定性 |
效率 |
Zhang
|
2.51 px |
稳定 |
需要控制棋盘格角度,且采集数据区域有限 |
Levinson
|
3.32 px |
存在陷入局部最优解 |
无需标靶 |
本文方法 |
1.91 px |
稳定 |
无需严格控制标靶角度,且采集范围大 |
为了实现路侧场景下激光雷达和相机的联合标定问题,本文提出了一种三维变径螺旋线的结构,该结构从不同的观测角度都能获得相似的特征,以此满足激光雷达和相机视野方向相对场景下观测标靶的标定需求。该方法充分结合了基于标靶和基于无标靶两类方法的优点,先进行粗标定获得距离全局最优解较近的初始值,再进行细标定对初始值进行优化,避免陷入局部最优,同时保证较高的精度。通过实验表明,该方法具有较好的性能。后续工作可以基于此结构加以改进,例如固定在装有GPS的可移动装置上,搭建一站式解决路侧传感器设备的自动标定系统;另外螺旋线模型可以选择更高反射率和更加不易发生形变的材料,以进一步提高标定性能。
这项工作得到了上海市科委重点课题“空港智慧货运通道构建关键技术”(项目编号:22dz1203400)的资助。
*通讯作者。