1. 引言
随着互联网技术的迅猛进步,图像在现代通信领域扮演着愈发关键的角色。鉴于图像数据通常体量庞大,为了在传输与存储过程中实现高效性,我们广泛采用基于分块变换的编码技术对图像实施压缩,如JPEG、H.264/AVC及H.265/HEVC等标准便是典型代表。在这些编码规范的核心中,离散余弦变换(BDCT)作为图像压缩的关键算法,虽应用广泛,却也时常引发压缩图像出现明显的块状视觉瑕疵。鉴于此,探索有效手段以减轻乃至消除压缩图像中的块状效应,已成为当前研究中的一项重要课题。
为了减轻块状伪影带来的不良视觉体验,学者们开展了众多研究,并提出了多种解决方案。总结发现,解决图像去块的算法主要分为两种类型,预处理方法和后处理方法。预处理方法通过重构压缩框架,有效地消除了图像中的块效应,从而提升了图像质量。相比之下,后处理方法[1]则采取了一种不干扰现有编码流程的方式,即在解码阶段实施去块操作。这类基于传统策略的后处理方法主要涵盖了两大类别:一类是侧重于图像增强的去块技术,另一类则是专注于图像复原的去块方法。
图像增强去块方法主要涉及图像处理和计算机视觉领域,旨在改善图像质量、去除块效应并增强图像细节,其中主要包括空间域滤波方法和变换域滤波方法。Howard等[2]首次提出了一种空间不变的滤波方法。Foi等[3]利用维纳滤波来处理压缩图像的阻塞伪影。Elvira等[4]提出了块自适应粒子滤波器可以通过动态调整块大小来适应图像的不同区域,提高预测性能。Zhai等[5]提出了一种计算复杂度极低的有效去块方案,该算法包括局部系数正则化、块化形状自适应滤波和量化约束。Kim [6]等提出了一种信号自适应后处理算法,利用每个块的定向活动消除阻塞伪影。Nath等[7]利用非子采样小剪切变换域中的硬阈值,构建了一种非迭代算法。Edgar等[8]提出利用已知的覆盖模型来估计图像块的前视空间表示,并通过估计噪声水平来提高检测性能。Lebrun等[9]提出了通过引导滤波器来消除块效应。
图像恢复去块方法通常基于图像的先验信息、统计特性或深度学习等技术,通过对带有块效应的图像进行处理和分析,提取出图像中的重要特征和信息,然后利用这些信息来重建或恢复出没有块效应的原始图像,其中主要包括凸集投影法、全变分法、低秩先验方法和基于稀疏的先验方法。
凸集投影法根据图像的先验信息(如图像的压缩信息、噪声特性等)构建一个或多个凸约束集,然后将带有块效应的图像投影到这些凸约束集上,通过反复迭代使恢复的图像逐渐接近没有块效应的原始图像。Sulistyawati等[10]通过在离散余弦变换(DCT)域中实现投影来增强图像质量。Shah等[11]提出了一种基于熵的凸集优化算法,能够准确提取稀有和异常的元组。Jing等[12]提出了一种基于迭代校正凸集投影的非局部算法。
全变分方法通过最小化图像的总变分来实现对图像的平滑处理,同时保持边缘信息的完整性。Wang等[13]提出了通过将图像分割成多个小块并利用TV正则项进行约束,可以有效避免块间插值(BCS)带来的块效应。Bredies等[14]通过实验表明全变分方法有效地恢复了JPEG和JPEG 2000压缩图像。Trinh等[15]提出了一种改进的总变分技术,该方法利用多块梯度处理、去噪拉格朗日乘子以及基于块的稀疏表示,用于压缩感知图像和视频。Antoni等[16]提出了学习最佳总变分分离化的方法,通过不同的离散化方案和正则化参数来优化图像重建问题中的全变分半范数。
低秩先验方法和基于稀疏性的先验方法在图像恢复中占据了重要地位,这些方法通过将图像块化问题转化为最大后验框架下的优化问题。特别是,这种方法论在文献[17]-[20]中得到了广泛的应用和验证,显示了其在理论和实践中的双重价值。Zha等[21]提出了一种基于组的非凸正则化稀疏表示方法(GSR-NCR),对每个小块选择最相似的块进行重构。Wang等[22]通过学习适应性耦合字典,提高图像质量。超分辨率技术用于从一幅或多幅低分辨率图像重建高分辨率图像。Ismail等[23]提出了一种单图像超分辨率算法,通过特征提取器提取图像特征,并利用稀疏表示生成高分辨率和低分辨率的字典重建更高质量的图像。Roscher等[24]通过无监督地学习形状特征和谱信息构建完整的稀疏表示模型。Debov等[25]基于NSS提出了BM3D图像去噪技术。Mairal等[26]采用了一种基于GSR的稀疏模型提高KSVD的性能。Aharon等[27]提出通过交替更新稀疏表示和字典来实现稀疏表示。Zhao等[28]在最大后验框架内提出了一种利用结构稀疏表示先验和量化约束先验的新型图像去块算法。Zha等[29]通过奇异值分解来构建相应的字典。Chang等[30]提出了一种基于学习字典的稀疏冗余表示的JPEG图像去伪影解压缩方法。Wen等[31]提出了一种基于NSS的低秩正则化组稀疏编码方法,平衡了稀疏性和组稀疏编码之间的差距。Jun等[32]通过奇异值分解提取图像的非局部自相似性信息,并利用这些信息构建稀疏表示实现去噪。有些学者将低秩和稀疏先验方法结合使用,充分利用两者的优势。Zha等[33]提出了一种新颖的混合结构稀疏化误差(HSSE)模型用于图像恢复,该模型利用内部和外部图像数据共同利用图像NSS先验。
在过去几年中,图像梯度稀疏性是一种流行且常用的先验指标,但基于图像强度的先验指标与图像阶差先验指标联合使用时,显示出良好的互补效果。Pan等人[34]提出了一种基于暗通道先验的简单有效的盲图像去模糊方法并且之后[35]又提出了一种基于强度和梯度的简单而有效的L0-regularized先验用于文本图像去模糊。Chen等人[36]提出了一种基于局部最大梯度先验的盲去模糊方法,并且通过引入辅助算子以应对各种特殊情况。Yan等人[37]提出了一种同时利用了亮通道先验和暗通道先验的极端通道先验。虽然先进的先验算法显示出了良好的效果,但也存在着计算成本过高以及子问题不能完全求解的问题。本文重点研究如何利用局部最小像素正则化良好的适应性以及区分性,使我们的模型能更好地约束基于 MAP 框架的图像去块方法的解空间。
本文提出了一种基于改进混合稀疏误差模型的图像去块算法,可以更好地提高图像去块的效果。我们的贡献总结如下:
1. 本文提出了一个整合了内部和外部先验信息,并且引入了局部最小像素正则化的混合稀疏误差模型,以此有效区分块化图像和清晰图像。
2. 我们将局部最小像素技术嵌入到半二次分裂算法中,以便有效地解决我们提出的模型问题。
3. 充足的实验结果表明,所提出的模型在客观感知和视觉感知方面与当前几种先进去块算法相当的水平。
2. 准备工作
在本节中,我们首先描述了针对图像去块任务的量化噪声模型和HSSE模型,随后阐述了所提出的局部最小像素。
2.1. 量化噪声模型
众所周知,出现块效应的图像通常可以如下表示
(1)
其中
是经JPEG编码且带有块效应的图像,
是未经压缩的原始图像。这里的压缩过程由一个特定的算子
来表示,它描述了图像从原始状态到压缩状态的转换。此外,图像在压缩过程中会不可避免地产生一种称为量化噪声的误差,用
来表示这种误差。令
为8乘8的量化矩阵,该矩阵的元素由特定的质量因子
决定。为了量化
前三行和前三列交叉区域的特征,定义了一个平均值
,其表达式如下
Zha等[33]指出用
表示量化噪声
的方差,
的表达式如下
(2)
在MAP框架的基础上,针对原始图像
的预测模型可以如下表示:
(3)
其中第一项表示数据的保真度,可以如下表示
(4)
并且第二项表示图像的先验。
2.2. HSSE模型
在探讨图像稀疏表示的过程中,HSSE模型引入了一种综合策略,该策略兼顾了内部和外部先验信息。具体而言,图像
被分割成一系列重叠的图像块,通过块匹配方法将这些图像块重新组织成若干组非局部自相似块集合,记为
。此处,我们用
来表示识别并提取图像中非局部自相似块的操作符,其中
表示非局部自相似块的总数。对于每一个由
定义的图像块组,定义两个关键的字典,
表示内部字典,
表示外部字典。进一步地,引入两组系数
和
,它们分别对应
在内部字典和外部字典下的稀疏表示。HSSE模型通过求解以下模型来计算
和
,
。
(5)
其中
是Frobenius范数,
是
范数,
是平衡因子,
,
和
都是正则化参数。
Zha等[33]利用外部图像语料库构建了多个组,随后创新地设计了基于组的高斯混合模型(GMM)方法,旨在学习一个外部字典集合
,此字典服务于外部组稀疏系数
。
通过求解下面的最小化问题来获得
(6)
对于任意
,定义一个系数向量
,在外部字典
下
的稀疏表示,即
。进一步地,为了处理和分析的便利,将矩阵
和
分别向量化得到向量
和
,则模型(6)可以变形为
显然,通过软阈值法可以得到上述模型的闭解,即,
接着,HSSE模型利用主成分分析(PCA)来更新每个组
对应的字典
。这一更新过程旨在提取每个组内数据的主要特征,从而优化字典的表示能力。对于外部组的稀疏系数集合
,它们通过与计算
相同的方法来获得,即,
(7)
HSSE模型引入由
定义的联合图像块,则模型(7)可以简化为
令
是基于字典
的系数表示
。将矩阵
和
分别向量化得到
和
,令
,则模型(7)可以简化为
对应的闭解如下
2.3. PMP模型
PMP先验因子在清晰图像中的稀疏性低于模糊图像的稀疏性,在图像去模糊中能有效的区分出模糊图像和清晰图像,故在图像去块任务中也能有效的区分出块化图像和清晰图像。我们将图像
分
成
个大小为
的块,其中
。局部最小像素先验的定义如下
(8)
其中
表示图像块的像素,
表示图像
的第
个颜色通道。对于
,其中
表示图
像
的第
个图像块的像素位置的索引集,则
,
表示图像
的第
个图像块的最小像素。
3. 提出的算法
3.1. 去块模型
通过HSSE模型与PMP的稀疏正则化模型的理论启发,我们提出了一种基于改进混合稀疏误差模型的图像去块算法,该算法灵活地融合了局部最小像素的正则化与结构稀疏表示方法。在沿用等式(1)和等式(5)中的符号体系基础上,我们提出的模型具体表述如下
(9)
其中
是由式(2)确定的量化噪声方差,
是一个平衡因子,
是等式(8)定义的PMP先验因子。
最小化问题(9)难度很大,因为同时存在稀疏先验矩和局部最小像素约束。为了克服这个问题我们首先采用软间隔的方法解决约束条件问题,再采用半二次分裂法引入辅助变量
和
分别替代公式(9)第二项和最后一项,在MAP框架中,促进PMP稀疏性的自然替代公式如下:
(10)
其中
和
是平衡因子,
是正权重参数并且此项使用
范数惩罚去实现在图像上的稀疏度提升。
Algorithm 1. Solving the problems (12)
算法1. 求解问题(12)
输入:图像
和参数
。 初始化:
对于最小投影算子
和图像域分解
,
和
,执行以下操作: 当
如果 停止迭代 结束
结束 令
. 输出:
|
3.2. 交替最小化法求解去块模型
在本小节中,我们采用交替最小化法,结合局部最小像素技术,有效地解决了所提出的去块模型。显然,最小化问题(10)涉及求解一系列变量,即
,
,
,
and
。
首先,我们的模型确定了组稀疏系数
和
,当变量
,
,
固定不变时,我们的模型确定了组稀疏系数,在这种情况下,相应的子模型与(5)相同。因此,我们采用与HSSE模型相同的方法计算
和
。
接下来,当
和
时,模型(10)简化为
(11)
显然,子模型(11)可以分为以下几个子问题来解决,即
(12)
(13)
(14)
对于固定的
,我们使用算法1,通过局部最小像素技术和枚举邻域中的可展开曲面来求解问题(12)。
当
和
固定时,子问题(13)的闭合解为
(15)
同样,对于固定的
,问题(14)的闭合解为
(16)
3.3. 自适应参数调整
我们采用与HSSE模型相同的方法,动态地调整参数
,
,
,
。为了确保信息的全面性,将详细阐述这些参数的更新机制。定义
为第
轮迭代过程中的噪声方差值,计算公式如下
(17)
其中
为缩放因子。第
轮迭代的参数
和
的计算公式如下
(18)
其中
和
是缩放因子。第
轮迭代的参数
和
的计算公式如下
(19)
其中
是
的估计标准差,
是
的估计标准差,
和
这两组稀疏系数满足特定的线性关系,即
和
。
是一个微小的常数,确保在进行除法运算时不会出现除以零的情况。进一步地,我们直接更新处理另外两个参数
和
。
其中
和
是放大因子。算法3是对所提出的基于改进混合稀疏误差模型的图像去块算法的完整描述。
4. 实验结果
所有实验均在MATLAB R2024a.上实现。为了评估我们提出的算法,将其与SSR-QC [28],JPG-SR [37]和HSSE [33]进行了对比分析。而JPEG压缩是一种有损压缩方法,其质量因子决定了压缩的程度,针对压缩程度的不同故我们选取不同的质量因子对结果进行评估,鉴于篇幅有限,我们仅展示了质量因子时的去块效应结果。实验覆盖了CBSD68数据集与Set5数据集。考虑到人眼对亮度信息的敏感度更高,对于彩色图像的定量分析,我们专注于亮度通道进行。这一处理方式与SSR-QC,JPG-SR和HSSE方法保持一致。
为了量化去块效果,我们选用了峰值信噪比(PSNR)和结构相似性(SSIM)作为评估指标。PSNR能够衡量图像间的强度差异,其值越高,代表去块算法的性能越出色。SSIM能反映图像间的结构相似度,其值越大,说明去块后的图像与原图越接近。
4.1. 参数设置
本文引用了噪声估计的自适应参数设置方案,
即由公式(2)确定。根据经验,我们将每个斑块的大小设为7 × 7,非局部相似斑块数设为
,这与HSSE模型相同。与局部最大像素正则化项相关的参数
设为45。平衡因子
和
的初始值分别设为2.5和1,并分别由放大系数
和
更新。由于参数
,
,
属于HSSE模型,因此我们选取这些参数的值与HSSE模型一致。具体地说,在
和
情况下,参数
分别选为0.6和0.5。参数
设置对于
分别为
参数
设置为1.2。
Algorithm 2. Image deblock algorithm based on local minimum pixel prior and structure sparse representation
算法2. 基于局部最小像素先验和结构稀疏表示的图像去块算法
输入:JPEG压缩图像
和参数
,
,
,
,
,
,
,
,
,
,
。 输出:去块图像
。 初始化:
,
,
和
。 当
时执行 把
分成一组大小为
的块。 将重叠的块重新分组为一系列非局部自相似块
。 计算
和
通过(17) (18)。 对于 每个
采用基于组的GMM方法从外部图像语料库中更新外部字典
。 计算
通过(19)。 计算外部稀疏系数矩阵
通过求解(6)。 更新内部字典
关于每个组
通过PCA方法。 计算
通过(19)。 计算内部稀疏系数矩阵
通过求解(7)。 结束 计算
通过算法1。 计算
通过(15)。 计算
通过(16)。 更新
,
,
. 结束 令
。 |
4.2. 在CBSD68数据集上的实验结果
我们在CBSD68数据集上对我们的算法进行了深入的定性与定量性能分析,该数据集含68幅图像,常用于评估图像去噪算法效能[38]。表1汇总了CBSD68数据集上不同方法的平均峰值信噪比(PSNR)和结构相似性指数(SSIM)值。具体而言,相较于SSR-QC、JPG-SR及HSSE算法,在
时,我们提出的算法在恢复图像的平均PSNR上相比与三种算法的最优算法提升了0.0237 dB、0.0094 dB、0.0067 dB,在平均SSIM方面,我们的算法也分别提升了0.0020、0.0019、0.0007。值得注意的是,当
时,我们的模型在平均PSNR上比HSSE算法低0.0023 dB,且平均SSIM未能超越HSSE,并且随着质量因子的增大,我们的效果提升相比于其他模型逐渐减小,这是因为我们的算法采用的结合局部最小像素的混合先验模型,在处理高度退化的图像时表现出更强的适应性,故不能很好地处理低退化图像。
Table 1. Mean PSNR (dB)/SSIM comparison across different methods on the CBSD68 dataset
表1. 在CBSD68数据集上,不同方法的平均PSNR (dB)/SSIM比较
|
SSR-QC |
JPG-SR |
HSSE |
OURS |
PSNR |
SSIM |
PSNR |
SSIM |
PSNR |
SSIM |
PSNR |
SSIM |
q = 1 |
23.8502 |
0.5992 |
23.8574 |
0.6088 |
24.0638 |
0.6118 |
24.0875 |
0.6138 |
q = 5 |
26.1736 |
0.7091 |
26.1741 |
0.7160 |
26.3961 |
0.7188 |
26.4055 |
0.7207 |
q = 10 |
28.6202 |
0.7998 |
28.6521 |
0.8087 |
28.8699 |
0.8107 |
28.8766 |
0.8114 |
q = 20 |
30.9674 |
0.8710 |
31.0612 |
0.8787 |
31.2199 |
0.8801 |
31.2176 |
0.8801 |
鉴于篇幅限制,我们从CBSD68数据集中精选了四张图像,直观展示了各算法在去块效应方面的表现。图1中,我们的模型在还原陶瓷花纹细节上表现出色,精准勾勒花纹边界,避免了过度平滑,展现了处理复杂纹理的优势。图2中,模型在恢复小树细节和抑制伪影方面效果显著。图3中,尽管SSR-QC、JPG-SR和HSSE在鱼眼细节上表现相近,但在处理背景草地时出现了明显块效应,凸显了我们在局部细节处理上的优势。图4中,模型在恢复毛发和头饰纹理上表现更佳,无伪影干扰,成功还原了细腻质感。综上所述,我们的模型在处理复杂纹理时具有显著优势。
4.3. 在Set5数据集上的实验结果
Set5数据集[39],作为一个衡量图像超分辨率模型性能的基准,包含了五张经典图像:“婴儿”“鸟”“蝴蝶”“头部”和“女人”。表2详细记录了多种算法在这些图像上的计算结果,其中最高值以粗
Figure 1. Deblock results of 227092 of CBSD68 at q = 1 by different methods. (a) original image; (b) JPEG compressed image (PSNR = 25.3709, SSIM = 0.6972); (c) SSR-QC (PSNR = 28.0394, SSIM = 0.7722); (d) JPG-SR (PSNR = 28.0028, SSIM = 0.7716); (e) HSSE (PSNR = 28.0999, SSIM = 0.7708); (f) our (PSNR = 8.1948, SSIM = 0.7736)
图1. 不同方法对图像在q = 1处的CBSD68的227092的去块结果。(a) 原始图像;(b) JPEG压缩图像(PSNR = 25.3709, SSIM = 0.6972);(c) SSR-QC (PSNR = 28.0394, SSIM = 0.7722);(d) JPG-SR (PSNR = 28.0028, SSIM = 0.7716);(e) HSSE (PSNR = 28.0999, SSIM = 0.7708);(f) 我们的(PSNR = 28.1948, SSIM = 0.7736)
Figure 2. The deblock results of image CBSD68296007 by different methods. (a) original image; (b) JPEG compressed image (PSNR = 26.5809, SSIM = 0.6782); (c) SSR-QC (PSNR = 28.7570, SSIM = 0.7280); (d) JPG-SR (PSNR = 28.8074, SSIM = 0.7315); (e) HSSE (PSNR = 28.8335, SSIM = 0.7329); (f) Our product (PSNR = 28.8889, SSIM = 0.7332)
图2. 不同方法对图像CBSD68296007的去块结果。(a) 原始图像;(b) JPEG压缩图像(PSNR = 26.5809, SSIM = 0.6782);(c) SSR-QC (PSNR = 28.7570, SSIM = 0.7280);(d) JPG-SR (PSNR = 28.8074, SSIM = 0.7315);(e) HSSE (PSNR = 28.8335, SSIM = 0.7329);(f) 我们的产品(PSNR = 28.8889, SSIM = 0.7332)
Figure 3. Deblock results of CBSD68 image 210088 for q = 10 by different methods. (a) original image; (b) JPEG compressed image (PSNR = 25.4765, SSIM = 0.7460); (c) SSR-QC (PSNR = 33.2449, SSIM = 0.9195); (d) JPG-SR (PSNR = 33.0636, SSIM = 0.9195); (e) HSSE (PSNR = 33.2324,SSIM = 0.9211); (f) Our product (PSNR = 33.3122, SSIM = 0.9227)
图3. 不同方法对q = 10的CBSD68图像210088的去块结果。(a) 原始图像;(b) JPEG压缩图像(PSNR = 25.4765, SSIM = 0.7460);(c) SSR-QC (PSNR = 33.2449, SSIM = 0.9195);(d) JPG-SR (PSNR = 33.0636, SSIM = 0.9195);(e) HSSE (PSNR = 33.2324, SSIM = 0.9211);(f) 我们的产品(PSNR = 33.3122, SSIM = 0.9227)
Figure 4. Different method results for image 101087 at q = 20 by CBSD68. (a) original image; (b) JPEG compressed image (PSNR = 25.3370, SSIM = 0.8018); (c) SSR-QC (PSNR = 31.7976, SSIM = 0.9036); (d) JPG-SR (PSNR = 31.9244, SSIM = 0.9108); (e) HSSE (PSNR = 32.0605, SSIM = 0.9113); (f) Our product (PSNR = 32.1027, SSIM = 0.9114)
图4. 在q = 20的CBSD68对图像101087的不同方法结果。(a) 原始图像;(b) JPEG压缩图像(PSNR = 25.3370, SSIM = 0.8018);(c) SSR-QC (PSNR = 31.7976, SSIM = 0.9036);(d) JPG-SR (PSNR = 31.9244, SSIM = 0.9108);(e) HSSE (PSNR = 32.0605, SSIM = 0.9113);(f) 我们的产品(PSNR = 32.1027, SSIM = 0.9114)
体形式突出。通过分析表2数据可以发现,在多数情况下,我们的方法相较于其他竞争算法展现出了更高的性能水平,尤其是在低质量因子的情况。仔细观察我们可以发现我们的算法在“蝴蝶”的效果的在不同质量因子方面均没有展现高性能水平,这可能是因为图像通常包含复杂的纹理和细节,如翅膀上的精细图案和颜色渐变,我们的模型对复杂纹理图像不太敏感从而导致效果不突出。为了更直观地展示算法效果,图5呈现了不同分块策略下“婴儿”图像的分块结果。从图中可以看到,SSR-QC、JPG-SR、HSSE以及我们的模型均成功保留了婴儿眼窝前的眉毛以及眼周肌肤的细腻纹理。但在色彩还原度方面,我们的方法更贴近原始图像的自然饱和度,展现了在色彩处理上的独特优势。
![]()
Figure 5. The deblock results of image “baby” in q = 20, q = 10, q = 5 and q = 1 by different methods. (a) original image; (b) The JPEG compressed image is set at q = 20 (PSNR = 27.7181, SSIM = 0.8622); (c) SSR-QC at q = 20; (d) JPG-SR at q = 20; (e) The HSSE at q = 20; (f) Our work, at q = 20; (g) JPEG compressed image at q = 10 (PSNR = 26.9038, SSIM = 0.8147); (h) SSR-QC at q = 10; (i) The JPG-SR at q = 10; (j) HSSE at q = 10; (k) We are here at q = 10; (l) JPEG compressed image at q = 5 (PSNR = 25.3739, SSIM = 0.7392); (m) The SSR-QC at q = 5; (n) The JPG-SR at q = 5; (o) The HSSE at q = 5; (p) We are here at q = 5; (q) JPEG compressed image at q = 1 (PSNR = 23.6984, SSIM = 0.6631); (r) The SSR-QC at q = 1; (s) JPG-SR at q = 1; (t) HSSE at q = 1; (u) We are shown at q = 1
图5. 在q = 20、q = 10、q = 5和q = 1中,不同方法对图像“婴儿”的去块结果。(a) 原始图像;(b) JPEG压缩图像在q = 20 (PSNR = 27.7181,SSIM = 0.8622);(c) SSR-QC在q = 20;(d) JPG-SR在q = 20;(e) 在q = 20处的HSSE;(f) 我们的作品,在q = 20;(g) JPEG压缩图像在q = 10 (PSNR = 26.9038,SSIM = 0.8147);(h) 在q = 10处的SSR-QC;(i) 在q = 10处的JPG-SR;(j) HSSE在q = 10;(k) 我们在q = 10;(l) JPEG压缩图像在q = 5 (PSNR = 25.3739, SSIM = 0.7392);(m) 在q = 5处的SSR-QC;(n) 在q = 5处的JPG-SR;(o) 在q = 5处的HSSE;(p) 我们在q = 5;(q) JPEG压缩图像在q = 1 (PSNR = 23.6984, SSIM = 0.6631);(r) 在q = 1处的SSR-QC;(s) JPG-SR在q = 1;(t) 在q = 1处的HSSE;(u) 我们在q = 1
Table 2. Comparison of the PSNR (dB)/SSIM of the different methods on the Set5 dataset
表2. 不同方法在Set5数据集上的PSNR (dB)/SSIM比较
|
SSR-QC |
JPR-SR |
HSSE |
OUR |
q = 1 |
PSNR |
SSIM |
PSNR |
SSIM |
PSNR |
SSIM |
PSNR |
SSIM |
baby |
26.3425 |
0.7057 |
26.4440 |
0.7194 |
26.6173 |
0.7162 |
26.6297 |
0.7222 |
bird |
25.4915 |
0.6376 |
25.5393 |
0.6858 |
25.8564 |
0.6842 |
25.8729 |
0.6855 |
butterfly |
22.8619 |
0.7965 |
21.8581 |
0.7712 |
22.8236 |
0.7849 |
22.8711 |
0.7875 |
head |
26.8488 |
0.4881 |
27.0452 |
0.5479 |
27.1597 |
0.5597 |
27.2372 |
0.5667 |
woman |
24.5199 |
0.6843 |
24.4837 |
0.7185 |
24.8536 |
0.7160 |
25.0537 |
0.7279 |
average |
25.2129 |
0.6624 |
25.0741 |
0.6885 |
25.4621 |
0.6922 |
25.5329 |
0.6980 |
q = 5 |
PSNR |
SSIM |
PSNR |
SSIM |
PSNR |
SSIM |
PSNR |
SSIM |
baby |
29.1918 |
0.7989 |
29.3820 |
0.8046 |
29.5063 |
0.8070 |
29.5202 |
0.8075 |
bird |
28.8313 |
0.8295 |
28.6545 |
0.8267 |
29.2225 |
0.8424 |
29.2263 |
0.8424 |
butterfly |
25.2936 |
0.8641 |
24.3895 |
0.8414 |
25.0455 |
0.8523 |
25.0664 |
0.8532 |
head |
28.9854 |
0.6631 |
29.0850 |
0.6683 |
29.2288 |
0.6717 |
29.2360 |
0.6720 |
woman |
27.6039 |
0.8468 |
27.2010 |
0.8423 |
27.6320 |
0.8473 |
27.9783 |
0.8553 |
average |
27.9812 |
0.8005 |
27.7424 |
0.7966 |
28.1270 |
0.8041 |
28.2055 |
0.8061 |
q = 10 |
PSNR |
SSIM |
PSNR |
SSIM |
PSNR |
SSIM |
PSNR |
SSIM |
baby |
31.7779 |
0.8625 |
32.0246 |
0.8694 |
32.1628 |
0.8711 |
32.2071 |
0.8721 |
bird |
32.2444 |
0.9037 |
32.3040 |
0.9061 |
32.6131 |
0.9113 |
32.6709 |
0.9125 |
butterfly |
27.8882 |
0.9149 |
26.8418 |
0.8961 |
27.4706 |
0.9050 |
27.4298 |
0.9050 |
head |
30.6592 |
0.7192 |
30.7360 |
0.7267 |
30.8650 |
0.7286 |
30.8929 |
0.7297 |
woman |
30.6881 |
0.9093 |
30.1857 |
0.9033 |
30.6295 |
0.9098 |
30.6399 |
0.9102 |
average |
30.6516 |
0.8619 |
30.4184 |
0.8603 |
30.7482 |
0.8651 |
30.7681 |
0.8659 |
q = 20 |
PSNR |
SSIM |
PSNR |
SSIM |
PSNR |
SSIM |
PSNR |
SSIM |
baby |
34.0656 |
0.9070 |
34.3083 |
0.9137 |
34.4507 |
0.9146 |
34.4622 |
0.9145 |
bird |
35.3899 |
0.9465 |
35.7447 |
0.9515 |
35.7426 |
0.9509 |
35.7360 |
0.9509 |
butterfly |
29.8201 |
0.9410 |
29.7878 |
0.9376 |
29.5892 |
0.9351 |
29.5843 |
0.9351 |
head |
32.1588 |
0.7788 |
32.2634 |
0.7871 |
32.3923 |
0.7893 |
32.3905 |
0.7896 |
woman |
33.2169 |
0.9426 |
33.2686 |
0.9445 |
33.3048 |
0.9443 |
33.3072 |
0.9443 |
average |
32.9303 |
0.9032 |
33.0746 |
0.9069 |
33.0959 |
0.9068 |
33.0960 |
0.9069 |
4.4. 收敛性分析
算法3采用了一种基于后验误差估计的迭代终止机制,这意味着针对不同图像,算法会自动调整并确定其迭代次数以达到最佳效果。为了验证这一机制下的算法收敛性,我们深入分析了PSNR与SSIM值随迭代次数变化的趋势。图6与图7直观展示了Set5数据集上的实验结果。观察发现,在前10次迭代过程中,图像
的PSNR值与SSIM值均实现了显著提升;而第10次迭代起,这两项指标逐渐趋于平稳,不再大幅波动。这一变化模式有力地证明了我们所提方法的收敛性特性。
(a) (b)
(c) (d)
Figure 6. PSNR values of the calculated images
for different iterations on the Set5 dataset. (a) q = 1; (b) q = 5; (c) q = 10; (d) q = 20
图6. 在Set5数据集上的不同迭代次数的计算图像
的PSNR值。(a) q = 1; (b) q = 5; (c) q = 10; (d) q = 20
(a) (b)
(c) (d)
Figure 7. SSIM values of the calculated images
for different numbers of iterations on the Set5 dataset. (a) q = 1; (b) q = 5; (c) q = 10; (d) q = 20
图7. 在Set5数据集上的不同迭代次数的计算图像
的SSIM值。(a) q = 1;(b) q = 5;(c) q = 10;(d) q = 20
4.5. 参数分析
由于参数
,
,
,
与HSSE模型相同,所以我们只通过一次只改变一个参数来探讨参数
,
,
,
,
对所提算法的影响。通过计算算法在Set5数据集上的平均PSNR值,以比较当一个参数被改变时的去块效果。如图8所示,我们的算法对一定范围内的参数变化不敏感。
(a) (b)
(c) (d)
(e)
Figure 8. Sensitivity analysis of the parameters in this algorithm. (a) Effect of the parameters
on the PSNR value; (b) Effect of the parameters
on the PSNR values; (c) Effect of the parameters
on the PSNR values; (d) Effect of the parameters
on the PSNR values; (e) Effect of this parameter
on the PSNR values
图8. 对该算法中参数的敏感性分析。(a) 参数
对PSNR值的影响;(b) 参数
对PSNR值的影响;(c) 参数
对PSNR值的影响;(d) 参数
对PSNR值的影响;(e) 该参数
对PSNR值的影响
5. 结论
本文针对图像压缩过程中所产生的块效应,提出了一种结合局部最小像素和结构稀疏表示的图像去块算法。我们算法的核心是将内部和外部结构稀疏先验与局部最小像素正则化结合起来进行图像去块。我们首先使用GMM方法学习外部字典,以改进结构稀疏表示模型的生成。然后,我们使用内部先验信息来描述原始图像的非局部自相似性。考虑到图像细节信息的保留,我们在稀疏表示模型中联合使用了局部最小像素约束和图像梯度约束。最后,我们将局部最小像素技术融入半二次分裂方法中,以求解我们提出的模型。在CBSD68数据集和Set5数据集上的实验结果表明,就平均PSNR值而言,我们提出的算法优于其他竞争方法。视觉对比表明,对于严重降级的图像,我们提出的方法不仅在一定程度上消除了伪影,而且在细节和纹理方面实现了更好的视觉感知,该算法可应用于实时视频流媒体传输中,减少因压缩导致的块效应,提升视频质量。今后,我们将致力于设计局部最小像素正则化,融合原始图像的频域特征,保留图像更丰富的边缘和纹理信息。
NOTES
*通讯作者。