Non-Rigid Point Set Registration Based on Gaussian Mixture Model
The purpose of point set alignment is to obtain correspondences and estimate the transformation from the model point set to the target point set. Non-rigid point set alignment is difficult to solve, and the point set may contain distortions such as noise and occlusion to complicate its solution. Probabilistic point set alignment methods are robust to distortions, noise and occlusion, and in this paper, point set alignment is considered as a probability density estimation problem, which is estimated by great likelihood and solved by EM algorithms for the correspondences and transformations. The transformation between the two point sets is specified in the regenerated kernel Hilbert space, and the width of the Gaussian filter in the kernel function (i.e., the Gaussian distribution) is gradually narrowed down during the iteration process. Experiments on synthesized data show that the method of this paper is robust under various types of distortions such as deformation and noise, and compared with the CPD algorithm, the method of this paper has less alignment error than it.
Point Set Registration
在计算机视觉的相关领域中,寻找使模型点集(即移动点集)与目标点集(即固定点集)这两组点之间最优对齐的变换是一个基本而重要的问题,被称为点集配准问题,其求解主要分为获取对应关系和估计变换参数两个部分。点集配准作为计算机视觉的关键组成部分,已被应用于众多领域,如图像配准
近年来,将非刚性点集配准看作概率密度估计问题,其中概率密度函数使用高斯混合模型(Gaussian Mixture Model, GMM),在非刚性点集配准模型中得到了广泛的应用。使用GMM求解点集配准的算法有两类:一类是用两种高斯混合分别表示模型点集和目标点集,通过最小化两种高斯混合之间的差异来解决点集配准问题
1998年由Gold
本文借鉴Myronenko等人的思想,在CPD算法基础上,使用EM算法进行模型的求解,并在迭代过程中对引入的Tikhonov正则化框架中核函数的参数以一定步长逐步减小的方法对模型进行迭代求解,进而优化了非刚性点集配准的模型,提高点集配准结果的精度。
本文将 与 两个点集之间的配准看作概率密度估计问题,其中 表示GMM质心, 表示由GMM生成的数据点,GMM拟合观测数据点集 ,这样GMM密度的质心约束转化为模型点 ,在最优状态下,两个点集对齐,并利用给定数据点的GMM后验概率的最大值得到对应关系。
给定两个点集,分别为含有N个点的模型点集 以及含有M个点的目标点集 ,其中每一个点用 的行向量表示,D表示空间维数。点集配准的目的是估计两个点集之间的对应关系以及变换 ,该变换T作用于 ,使得点集 与变换后的 最佳对齐。
在本文中引入一组潜在变量 ,其中 , 表示观测值 与模型点 相匹配,而 表示观测值 为离群值,则GMM概率密度函数可以表示为:
(1)
其中 为正态分布密度函数,即
(2)
本文对所有GMM分量使用相等的各向同性协方差
,文献
(3)
其中 表示异常值的百分比, 表示GMM的隶属度概率,本文设 使得 , 为一组未知参数。
使得两个点集对齐的变换T是未知的和非刚性的,其变换广泛,可能会导致一个不适定问题,因此,使用Tikhonov正则化框架来解决该问题。在Tikhonov正则化框架中,变换T可以定义为
(4)
其中 表示位移函数,本文对位移函数进行正则化以加强该函数的平滑性。关于非刚性点集变换T的求解可以通过最小化负对数似然函数来估计:
(5)
其中 表示当前的参数值, , 为正则化参数, 是一个相干约束,
(6)
其中 是一个系数矩阵, 是一个核矩阵, 的第 个元素 , 表示矩阵的迹。
估计混合模型的参数有几种方法,如EM算法、梯度下降和变分推理。EM算法
E步使用当前的参数值 寻找潜在变量的后验分布,用大小为 的 矩阵表示贝叶斯后验概率的矩阵,其中矩阵P中的某个元素 可以表示为 ,通过应用贝叶斯理论计算得:
(7)
其中后验概率 是一个软赋值,表示在当前估计的变换T下,观测数据点 与模型点 的重合程度。
通过E-step求解出了对应关系的矩阵 ,接下来通过求解新的参数 。对于参数 和 ,利用公式(5)分别对其求偏导并令其为等于零,则有
(8)
(9)
由文献
(10)
其中c为常数,表示步长,将新的 带入核函数,然后用下列式子求解系数矩阵 :
(11)
其中 是元素都为1的列向量, 是对角矩阵。
使用较大的方差 进行初始化,使得目标函数在一个大的区域内变成凸的,
随着迭代进行求解有机会达到一个稳定的局部最小值。该算法有三个主要参数: 、 和 ,其中参数 表示对点集中离群值占比的假设, 决定样本之间交互作用范围的宽度, 控制与数据的接近度以及解的平滑度之间的权衡,分别将其初始值设为0.1,2以及3。
本文使用EM算法求解点集配准的伪代码如下:
输入:模型点集X,目标点集Y,初始参数 ;
初始化: , , , ;
重复E-step和M-step直到满足某个停止准则,停止迭代:
E-step:通过(7)更新后验概率矩阵 ;
M-step:分别用(8)(9)(10)更新 ;
通过(11)计算 ;
更新 ;
输出:变换T。
为了评估所提出的在CPD算法基础上对参数 进行迭代求解方法的有效性,对改进算法进行实验并与CPD算法进行定量比较,其中CPD算法的实现是使用公开的代码。本文实验是在MATLAB R2022a软件上进行的,与原始的CPD算法相比,本文算法在合成数据中得到更优的结果。
实验使用在非刚性点集配准中使用最多的Chui-Rangarajan
本文在生成的数据集上进行了测试,包括:
(1) 非刚性变形水平;
(2) 点集位置的噪声量;
(3) 点集遮挡的占比。
在变形测试中,变形参数是通过从标准正态分布中采样的随机数据产生的,在0.04到0.18之间取值;在噪声测试中,加入了标准差为0到0.05高斯噪声;在遮挡测试中,将部分点集数据删除,它与原始数据的比为0到0.5。对于变形、噪声和遮挡,其参数越大,点集的失真强度就越大。
在本研究中,由于已知真实的对应关系,为了定量评估结果,通过对两个模型的欧氏距离来评估,使用均方根误差(RMSE)来测量配准误差,计算公式如下:
(12)
其中, 是源集中的第i个点,S表示两个点集之间的真实对应关系的数量。
为了验证本文算法对点集配准的鲁棒性及其配准结果,本研究利用两组不同形状的合成点集进行了定性结果的展示以及定量结果的比较。
对鱼形状点集,
图1. 鱼点集变形(从左至右变形增大)的初始位置与配准结果
图2. 鱼点集噪声(从左至右噪声增加)的初始位置与配准结果
图3. 鱼点集缺失(从左至右缺失比例增加)的初始位置与配准结果
图4. 福点集变形(从左至右变形增大)的初始位置与配准结果
图5. 福点集噪声(从左至右噪声增加)的初始位置与配准结果
图6. 福点集缺失(从左至右缺失比例增加)的初始位置与配准结果
为了方便,下面表格中统一将本文改进算法命名为ours算法,本文将误差统计的表格安排如下:第一行为失真程度,从左到右为逐渐增大,第二行与第三行分别为CPD算法和ours算法关于对应列失真程度的配准误差结果,其统计结果的均值和标准差记为
的形式。统计结果表格汇总如下(
为了更直观的展示CPD算法与ours算法误差的大小,将表格中的平均值用折线图展示,对于噪声和遮挡的点集配准结果展示与变形一样,下面将不再赘述。
变形程度 |
0.02 |
0.35 |
0.05 |
0.065 |
0.08 |
CPD |
2.4e−05 ± 1.0e−05 |
0.0004 ± 0.0012 |
0.0012 ± 0.0027 |
0.0103 ± 0.0176 |
0.0156 ± 0.0200 |
ours |
6.0e−06 ± 6.1E−06 |
0.0003 ± 0.0011 |
0.0008 ± 0.0020 |
0.0072 ± 0.0177 |
0.0146 ± 0.0249 |
变形程度 |
0.02 |
0.35 |
0.05 |
0.065 |
0.08 |
CPD |
3.4e−04 ± 1.9e−04 |
0.0015 ± 0.0016 |
0.0050 ± 0.0059 |
0.01370 ± 0.0130 |
0.0311 ± 0.0350 |
ours |
2.0e−05 ± 6.5e−06 |
2.2e−04 ± 0.0014 |
0.0020 ± 0.0054 |
0.0081 ± 0.0134 |
0.0224 ± 0.0382 |
噪声强度 |
0.01 |
0.02 |
0.03 |
0.04 |
0.05 |
CPD |
0.0116 ± 0.0025 |
0.0229 ± 0.0076 |
0.0332 ± 0.0084 |
0.0437 ± 0.0127 |
0.0521 ± 0.0064 |
ours |
0.0104 ± 0.0023 |
0.0225 ± 0.0078 |
0.0319 ± 0.0047 |
0.0432 ± 0.0128 |
0.0501 ± 0.0051 |
噪声强度 |
0.01 |
0.02 |
0.03 |
0.04 |
0.05 |
CPD |
0.0183 ± 0.0197 |
0.0246 ± 0.0042 |
0.0354 ± 0.0064 |
0.0500 ± 0.0220 |
0.0583 ± 0.0100 |
ours |
0.0138 ± 0.0193 |
0.0215 ± 0.0029 |
0.0335 ± 0.0055 |
0.0484 ± 0.0222 |
0.0547 ± 0.0074 |
由于鱼点集相对较简单,本文算法ours与CPD算法之间的配准误差相差不大,而对于福点集,配准结果误差相对差距更大,总体来说,本文改进的算法相较于CPD算法的配准结果更优。
遮挡占比 |
0.01 |
0.02 |
0.03 |
0.04 |
0.05 |
CPD |
0.0037 ± 0.0056 |
0.0130 ± 0.0162 |
0.0222 ± 0.0185 |
0.0354 ± 0.0241 |
0.0598 ± 0.0371 |
ours |
0.0033 ± 0.0056 |
0.0121 ± 0.0201 |
0.0223 ± 0.0178 |
0.0264 ± 0.0200 |
0.0338 ± 0.0269 |
遮挡占比 |
0.01 |
0.02 |
0.03 |
0.04 |
0.05 |
CPD |
0.0131 ± 0.0145 |
0.0217 ± 0.0250 |
0.0406 ± 0.0324 |
0.0564 ± 0.0473 |
0.0707 ± 0.0500 |
ours |
0.0087 ± 0.0134 |
0.0199 ± 0.0216 |
0.0350 ± 0.0289 |
0.0517 ± 0.0424 |
0.0579 ± 0.0400 |
本文受GMM模型中的方差设置的启发,将核函数中的标准差 通过类似模拟退火的方法在迭代过程中逐渐缩小,从而优化了位移函数模型。合成数据实验结果表明,优化模型后的方法与CPD算法对点集变形、噪声和缺失的失真都具有鲁棒性,并且其配准误差更小;优化模型后点集配准的变换求解精度更高,更接近真实变换,整体效果更优。由于其改进算法鲁棒性相较于CPD算法并没有明显的改进,未来考虑进一步对点集配准算法中的各类失真情况的鲁棒性进行改进。