Heterogeneous Image Segmentation Algorithm Combining Variational and Depth Prior
To segment more detailed parts of a homogeneous image as accurately as possible, a variational image segmentation model with depth image prior is proposed in this paper. The alternating direction method of multipliers (ADMM) is used to design the corresponding numerical algorithm. The results reveal that the proposed model by incorporating the denoising regularization (RED) framework with TV regularization can retain more details in images and obtain more accurate segmentation accuracy. At the same time, the model is robust to different initial contours. In addition, compared with the image segmentation method in the comparison experiment, the algorithm complexity of the proposed method is lower and has higher operational efficiency.
Image Segmentation
图像分割作为图像处理和计算机视觉领域中的重要任务,其主要目标是将图像划分成若干具有相似特征的区域。然而,现实世界中的图像由于照明变化和成像设备的影响,常常呈现出强度不均匀性。这对传统基于强度均匀性假设的分割方法提出了挑战,使得对具有不同强度的图像进行准确分割成为一项关键而复杂的任务。
在过去的二十年里,变分方法和偏微分方程(partial differential equation, PDE)已成功应用于图像分割领域。这些方法大致可分为两类:基于边缘的方法
近年来,随着深度学习的发展与完善,卷积神经网络(Convolutional Neural Network,CNN)可以从图像中学习到更复杂的特征,从而捕获更精确的细节。考虑到这一因素,越来越多的研究注重于将深度图像先验与传统的图像处理方法融合。目前,即插即用(Plug-and-Play, PnP)框架
本文在RED框架
本节主要介绍论文相关的理论知识和模型,包括RED框架、基于Retinex理论的CVBS模型。
RED框架是一种将外部去噪方法融入到重建过程中的图像重建框架
(1)
其中 是选择的去噪器, 是带噪声的图像,并且
(2)
RED框架依赖于一种图像自适应拉普拉斯算子的形式,它建立了一个强大的先验,可用于正则化逆问题。有两个重要的性质:① 先验的梯度由式(2)直接给出,避免了对去噪函数 的微分。② 是一个凸函数,去噪引擎可以以不同的方式插入到迭代方案中。所有这些方案都涉及与数据一致性项相关的子问题和包含与去噪子问题相关的去噪引擎的正则化项。因此,可以使用许多高效的去噪算法来解决逆问题。
由Land和McCann
(3)
利用对数变换,
(4)
可以得到
(5)
为了在强度不均匀性的情况下提高图像分割的精度,Jin
(6)
能量泛函为
(7)
其中
为正参数,
是观测到的图像,由反射率部分
和偏置部分
组成,
为松弛的Heaviside函数,满足
,
为两个常数,分别用于近似分割曲线内外的图像强度。前三项是作用于
的松弛CV模型
CVBS模型可以很好地对简单的非均匀图像进行分割,但在处理一些复杂的图像时,往往不能较精确地分割出物体的某些特征。例如,在
图1. 两种模型的分割结果。(a) 原始图像;(b) CVBS模型;(c) (b)放大的图;(d) 本文模型;(e) (d)放大的图;(f) 标准分割结果;(g) (f)放大的图
本节主要介绍本文所提出的模型,并给出模型的算法。
为了解决CVBS模型不能精确地分割出非均匀图像的某些细节部分出现的欠分割的情况,本文在RED框架下将深度图像先验融合到CVBS模型中,提出了一种融合深度图像先验的分割模型。更准确地说,考虑以下变分问题,
(8)
能量泛函为
(9)
其中,
是正参数,
是去噪器,本文所使用的是去噪卷积神经网络FFDNet
相较于CVBS模型,本文方法有效地整合了TV正则化器保持边缘的优势以及CNN捕捉细节的优势,尤其在处理结构丰富和纹理细致的图像时,分割效果较好。如
本节利用RED框架快速灵活的特点,结合ADMM算法
(10)
利用拉格朗日乘子 ,则式(10)的增广拉格朗日函数为
(11)
式中 为惩罚参数。
给定第k步的迭代,任意中间解 ,用交替极小化法更新问题(11)解的过程如下:
① 固定 ,更新 。
(12)
可得
(13)
(14)
接着通过式(15)求解 ,
(15)
对应的欧拉–拉格朗日方程为
(16)
利用快速傅里叶变换,可得
(17)
② 固定 ,求解 。
(18)
求导得
(19)
其中 。
③ 固定 ,求解 。
(20)
对应的欧拉–拉格朗日方程为
(21)
在后续的数值实验中,保持参数 和 相等。因此这里用快速傅里叶变换进一步更新 ,
(22)
其中 。
④ 固定 ,求解 。
(23)
等价于求解
(24)
根据欧拉–拉格朗日方程,可以得到
(25)
利用快速傅里叶变换,
(26)
其中本文所使用的去噪器
为FFDNet
⑤ 固定 ,求解 。
(27)
(28)
(29)
(30)
综合前面的结果,变分问题(8)的具体算法步骤如下。
步骤1 。
步骤2 迭代更新k步。
步骤3 设置迭代终止条件。
本节展示数值实验,旨在说明本文模型和算法的有效性。主要展示纹理、结构和MR图像的分割结果,并与两种基于深度学习的分割方法:GateNet
使用Dice相似系数(DSC)
本文模型设置参数
,
,
与输入FFDNet
因此,本文设置 和 ,并且建立了停止准则: 。
图像 |
|
|
图像 |
|
|
1 |
|
20 |
9 |
|
50 |
2 |
|
100 |
10 |
|
10 |
3 |
|
500 |
11 |
|
100 |
4 |
|
500 |
12 |
|
100 |
5 |
|
5000 |
13 |
|
100 |
6 |
|
100 |
14 |
|
100 |
7 |
|
500 |
15 |
|
100 |
8 |
|
500 |
16 |
|
500 |
为了验证模型的分割能力,将所提出的模型与其他对比模型在Weizmann分割数据集以及脑磁共振数据集
本小节检验提出的方法对初始轮廓的鲁棒性。
图2. 不同初始轮廓的分割结果。(a) 原始图像;(b) 标准分割结果;(c)初始轮廓1;(d) 初始轮廓2;(e) 初始轮廓3;(f) 初始轮廓4;(g) 轮廓1分割结果;(h) 轮廓2分割结果;(i) 轮廓3分割结果;(j) 轮廓4分割结果
本节对六幅纹理图像(见
图3. 原始纹理图像。(a) 图像1;(b) 图像2;(c) 图像3;(d) 图像4;(e) 图像5;(f) 图像6
图4. 使用不同模型得到的纹理图像分割结果及标准分割结果。(a) CVBS模型;(b) LCVB模型;(c) GateNet模型;(d) BASNet模型;(e) AITV_PS模型;(f) 本文模型;(g) 标准分割结果
为了进一步验证纹理图像的分割能力,将本文方法的分割结果与其他模型的分割结果进行定量比较。各模型对应的HD和DSC值如
模型 |
CVBS |
LCVB |
GateNet |
BASNet |
AITV_PS |
Ours |
|
1 |
DSC |
0.9762 |
0.9785 |
0.9632 |
0.9692 |
0.9819 |
0.9939 |
HD |
1.4114 |
1.3268 |
1.8019 |
1.6486 |
1.2012 |
0.6479 |
|
2 |
DSC |
0.9733 |
0.9793 |
0.9536 |
0.9663 |
0.9791 |
0.9872 |
HD |
1.5661 |
1.2710 |
2.2202 |
1.8296 |
1.1707 |
0.9275 |
|
3 |
DSC |
0.9843 |
0.9831 |
0.9536 |
0.9588 |
0.9857 |
0.9908 |
HD |
0.5694 |
0.5328 |
0.8781 |
0.8369 |
0.5169 |
0.3871 |
|
4 |
DSC |
0.9626 |
0.9686 |
0.9425 |
0.9630 |
0.9738 |
0.9824 |
HD |
2.0877 |
1.8866 |
2.8088 |
2.0609 |
1.7270 |
1.3226 |
|
5 |
DSC |
0.9715 |
0.9747 |
0.9586 |
0.9678 |
0.9729 |
0.9785 |
HD |
0.9604 |
0.8800 |
1.1034 |
0.9841 |
0.9069 |
0.8546 |
|
6 |
DSC |
0.9741 |
0.9746 |
0.9521 |
0.9686 |
0.9677 |
0.9777 |
HD |
0.6812 |
0.6418 |
0.9548 |
0.7287 |
0.7477 |
0.6194 |
本节展示每种分割方法对结构图像(见
图5. 原始结构图像。(a) 图像7;(b) 图像8;(c) 图像9;(d) 图像10;(e) 图像11;(f) 图像12
图6. 使用不同模型得到的结构图像分割结果及标准分割结果。(a) CVBS模型;(b) LCVB模型;(c) GateNet模型;(d) BASNet模型;(e) AITV_PS模型;(f) 本文模型;(g) 标准分割结果
为了客观评价分割结果的准确性,
模型 |
CVBS |
LCVB |
GateNet |
BASNet |
AITV_PS |
Ours |
|
7 |
DSC |
0.9688 |
0.9649 |
0.9794 |
0.9461 |
0.9691 |
0.9929 |
HD |
1.7859 |
1.5721 |
0.9666 |
2.0308 |
1.4860 |
0.6671 |
|
8 |
DSC |
0.9734 |
0.9757 |
0.9647 |
0.9681 |
0.9819 |
0.9889 |
HD |
1.5652 |
1.2624 |
1.7033 |
1.5408 |
1.0995 |
1.0871 |
|
9 |
DSC |
0.9582 |
0.9533 |
0.9032 |
0.9101 |
0.9612 |
0.9696 |
HD |
1.0378 |
0.9095 |
1.6458 |
1.5860 |
0.8942 |
0.8427 |
|
10 |
DSC |
0.9770 |
0.9783 |
0.9539 |
0.9689 |
0.9831 |
0.9883 |
HD |
0.8921 |
0.8888 |
1.1497 |
0.9927 |
0.8235 |
0.7001 |
|
11 |
DSC |
0.8057 |
0.8388 |
0.9043 |
0.8666 |
0.8863 |
0.9406 |
HD |
3.8300 |
2.8123 |
2.4049 |
3.2373 |
2.8268 |
1.6072 |
|
12 |
DSC |
0.8125 |
0.9152 |
0.9238 |
0.9210 |
0.9215 |
0.9728 |
HD |
3.2210 |
2.0321 |
1.7661 |
1.7792 |
1.7693 |
0.1224 |
本节介绍了各种模型在脑磁共振图像(如
图7. MR图像。(a) 图像13;(b) 图像14;(c) 图像15;(d) 图像16
图8. 使用不同模型得到的MR图像分割结果及标准分割结果。(a) CVBS模型;(b) LCVB模型;(c) GateNet模型;(d) BASNet模型;(e) AITV_PS模型;(f) 本文模型;(g) 标准分割结果
此外,
模型 |
CVBS |
LCVB |
GateNet |
BASNet |
AITV_PS |
Ours |
|
13 |
DSC |
0.8884 |
0.8880 |
0.8485 |
0.8651 |
0.8992 |
0.9024 |
HD |
2.8588 |
2.8815 |
3.3677 |
3.1540 |
2.7465 |
2.6455 |
|
14 |
DSC |
0.8725 |
0.9039 |
0.8287 |
0.8448 |
0.9037 |
0.9101 |
HD |
3.1050 |
2.6402 |
3.5619 |
3.4012 |
2.4428 |
2.5996 |
|
15 |
DSC |
0.7911 |
0.7967 |
0.7080 |
0.7341 |
0.7991 |
0.8193 |
HD |
2.6706 |
2.7229 |
3.3580 |
3.1985 |
2.6999 |
2.5490 |
|
16 |
DSC |
0.8921 |
0.8987 |
0.8570 |
0.8710 |
0.9095 |
0.9148 |
HD |
2.9169 |
2.8235 |
3.3860 |
3.1969 |
2.6800 |
2.5154 |
在相同设备上,本文将两个数据集中共120张图像分别在CVBS模型
模型 |
CVBS |
LCVB |
GateNet |
BASNet |
AITV_PS |
Ours |
平均运行时间 |
230.25 |
750.36 |
40.21 |
63.85 |
195.66 |
105.24 |
*通讯作者。