第一作者:王宇桐(1992—),女,河北廊坊人,硕士.研究方向为数字图像处理. email:AnnaWangyt@163.com
图像盲解卷积算法指的是当点扩散函数未知时,利用模糊图像复原出原始清晰图像.图像盲复原不仅是一个典型的反问题,还是一个病态问题.本文提出一种基于自相似性和低秩表示的图像盲复原算法,该算法利用图像不同尺寸或相同尺寸间的自相似性,将图像中的非邻域相似图像块组成一个相似图像块组,对该相似图像块组进行整体的低秩表示.实验表明:该算法能够准确地估计模糊核,复原清晰图像,去除噪声,并具有很好的鲁棒性.
Blind image deblurring aims to recover the latent sharp image from a noise-blind image when the blur kernel is unknown. Image deblurring is a typical ill-posed inverse problem. In this article, an image blind deconvolution method is proposed based on self-similarity and low-rank representation. The self-similarity between different scales is used, and similar patches in image are combined into a group. Then the group is processed as a whole using low-rank representation. Experimental results demonstrate that the blur kernels estimated by the proposed method are accurate, the restored images have high visual quality without noise, and the method is very robust.
在图像采集过程中, 由于环境、设备、操作等因素, 获得的图像通常会存在一定程度上的模糊和噪声.这些模糊噪声图像给医学、天文学、图像处理等众多领域的应用带来了极大的挑战, 也在很大程度上影响了工作与生活.图像复原问题就是希望从这些模糊噪声图像中复原出原始清晰图像.
图像盲复原问题的解不唯一, 因此需要引入关于点扩散函数或者原始清晰图像的先验知识来求解.同时, 图像盲复原问题也是一个病态问题, 即在缺少噪声的先验知识时, 通常图像盲复原算法会放大噪声, 导致无法准确地估计点扩散函数和原始清晰图像.在很多情况下, 即使用了最先进的设备获取图像, 也无法避免噪声的存在, 而绝大多数图像复原算法均假设在低噪声条件下进行复原, 当噪声水平较高时, 复原结果往往会出现严重的噪声现象, 甚至无法复原.
目前, 对于模糊噪声图像的盲复原问题研究还较少.文献[1]在已知噪声水平或可求得噪声水平的情况下, 对图像复原做了研究.文献[2]针对特定的噪声水平, 对图像做特定的复原操作.但是, 在实际情况下, 通常无法获得噪声的水平, 更不可能列举针对每一种噪声水平的盲复原方法, 所以该方法对实际问题并不适用.文献[3, 4, 5]对仅存在噪声, 不存在模糊现象的有噪图像, 利用wavelet分析、主成分分析等方法来去除噪声, 但未涉及到模糊图像的解卷积问题.近年来, 一些盲复原算法利用关于图像块和图像自相似性[6, 7, 8]的先验知识来复原图像.文献[9]把不同尺度图像中存在的自相似性作为先验知识.
基于自相似性的盲复原算法利用图像自身结构的相似性, 对于每一个图像块, 在相同尺度或不同尺度的图像中搜索与之相似的多个图像块, 并用近似搜索策略[9, 10]代替精确搜索, 从而提高算法的效率.基于低秩表示的图像盲复原算法也是以图像块为单位, 然后在局域内进行噪声处理.
本文作者提出一种基于自相似性和低秩表示的有噪模糊图像盲复原算法.该算法试图分离噪声的估计和清晰图像以及模糊核的估计, 利用低秩表示的显著去噪能力和自相似性算法的良好去模糊能力来更好地复原模糊噪声图像.本文方法针对自然图像自身结构上的相似性, 对图像中每一个图像块, 在其相同尺度的图像中, 搜索与之相似的多个图像块, 并将得到相似图像块合并成一个相似图像块组, 对该相似图像块组整体进行低秩矩阵表示.由于在相似图像块组中, 噪声更加稀疏, 即更符合低秩表示模型假设, 将更容易从图像中分离噪声.另一方面, 在不同尺度的图像中也搜索与之相似的多个图像块, 用它们的线性组合重建该图像块, 达到更好的图像复原的效果.
一般情况下, 如果模糊是均匀的, 图像的降质模型可以表示为
式中:g为模糊噪声图像; f为原始清晰图像; h代表点扩散函数; n代表噪声; * 为卷积运算.图像盲复原算法研究的是在仅已知模糊噪声图像g的前提下, 同时估计出点扩散函数h和原始清晰图像f.
低秩表示是一种从稀疏噪声中恢复低秩矩阵结构的有效模型, 近几年一直是图像领域的研究热点.相比于稀疏表示, 低秩表示可以更好地表示数据的整体结构.
图像的低秩表示指的是将数据矩阵P表示成字典矩阵D与系数矩阵Z的线性组合, 即P=DZ, 并希望Z是低秩的[12].所以, 低秩表示的优化问题为
低秩表示一般将P本身作为字典矩阵, 即D=P.然后, 将式(2)优化问题凸松弛后, 得到
式中:‖ Z‖ * 为矩阵Z的核范数.为了对噪声和野点更加鲁棒, 可以再对式(3)进行优化得
式中:E为噪声矩阵.
该模型已在图像分割、人脸识别等领域中被广泛应用.同时, 利用低秩表示进行图像盲复原可以避免存在局域噪声时, 由于缺乏噪声的先验知识, 导致无法准确估计模糊核.
自然图像中存在着大量的相似像素, 这些像素的位置可以是不相邻的, 但其结构特征往往是相似的.图像结构的自相似性指的是对于从某一尺度的图像中抽取的图像块, 能够在另一尺度的图像中找到与之相似的图像块.图像的自相似结构广泛存在于图像的不同尺度间.
假设QjX为从清晰图像X中抽取的图像块, RiXα 为从降采样图像Xα 中抽取的图像块, 其中, X∈ RN和Xα ∈
式中:Sj为降采样图像Xα 中与QjX最相似的L个图像块的下标集合;
自然图像往往具有一定的自相似性特征, 利用图像结构上的相似性, 可以近似表示清晰图像, 并且由相似图像块组成的图像矩阵具有低秩性.本文将自相似性和低秩表示作为正则化约束.本文算法一方面针对噪声做了处理, 提高了算法的去噪能力, 减少了噪声对算法盲解卷积的干扰.另一方面, 结合了图像块内局域空间的相似性和相似图像块组中图像块与图像块之间的非局域空间的相似性, 该算法目标函数的最优化问题为
式中:Ñ =
由于式(6)所示的最优化问题是非凸函数, 所以没有闭式解, 也就是没有办法得到让目标函数最小化的最优解, 只能对目标函数求近似解。由于同时估计原始清晰图像f和点扩散函数h的计算复杂度太大, 本文算法采取交替迭代求解的方法来估计模糊核
首先, 对模糊图像X∈ RM× N, M× N为模糊图像尺寸, 以n=9× 9像素为图像块尺寸、s(s< q)为步长进行部分重叠的图像块划分, 从而获得图像块矩阵, 并按列表示为
式中, C=
以d(pi, pj)作为度量标准, 在图像块矩阵中搜索pi的相似图像块, 组成相似图像块组得
式中:K为相似图像块的个数.接着, 对相似图像块组Pj利用式(4)进行低秩表示, 本文利用在求解过程中更新的图像数据作为字典, 即D=Pj, 得到低秩矩阵.通过对相似图像块组中图像块进行加权平均, 得到每一个图像块的重建数据.最后, 对图像块的重叠区域进行平均得到低秩表示复原的图像.
为了能够估计较大的模糊核, 并在一定程度上加快算法的收敛速度, 与目前大部分算法一样, 在估计模糊核的过程中, 利用图像金字塔来求解, 对金字塔的每一层进行模糊核和原始清晰图像的估计, 并对当前层所估计的清晰图像进行插值运算, 将插值结果作为下层金字塔中清晰图像估计的初始值.在第1层金字塔中, 本文采用原始模糊图像当作清晰图像估计的初始值.
算法:图像盲复原算法
输入:模糊图像g, h的初始尺寸为51× 51像素
输出:估计的清晰图像
1.读入图像, 利用式(4)低秩表示对图像进行去噪;
1.1对图像进行部分重叠的图像块划分;
1.2利用欧氏距离, 根据给定阈值, 搜索相似图像块, 划分相似图像组;
1.3对相似图像组进行低秩表示;
1.4对相似图像组中图像块求加权平均, 得到每一个图像块的重建数据;
1.5对图像块的重叠区域进行平均得到低秩表示复原的图像;
2.用式(6)对低秩表示复原的图像进行模糊核与清晰图像的估计;
2.1初始化设置k=0, 如果当前所在金字塔为第1层, 则
2.2固定
2.3固定
2.4k=k+1, 重复2、3步, 直到收敛;
3.输出估计的清晰图像
本文测试硬件环境为配置Intel(R) Xeon(R) CPU E3-1231 v3 @3.40 GHz及16 GB内存的单机, 软件运行的环境为Windows 7上的Matlab R2016b.对于所有的实验, 本文设置图像块尺寸n=9× 9像素, 步长为1, 字典D为图像数据本身.本文采取与文献[11]相同的参数, 即将金字塔之间的缩放因子设为4/3.
本文分别对模拟的模糊噪声图像和真实的模糊噪声图像做实验, 选择文献[9], 文献[12], 文献[13]和文献[14]提出的算法进行比较.
本文采用公开数据集中清晰图像模拟生成的模糊图像, 并在实验中对模糊图像进行了模拟加噪, 分别添加标准差为0.02、0.04、0.06、0.08和0.10的高斯噪声, 通过实验对这几种高斯噪声干扰下各算法的盲复原结果在均方误差和峰值信噪比方面进行比较.图1直观地显示了在上述5种不同强度的高斯噪声的干扰下, 各算法进行盲复原的均方误差.
| 图1 不同强度高斯噪声下各算法盲复原结果的均方误差Fig.1 Mean square error of the results of each algorithm under gaussian noise with different intensity |
可以看出, 当噪声水平较低时, 本算法的均方误差与文献[13]算法的相差不大, 但明显低于其他算法; 当噪声水平变大后, 本算法的均方误差明显比其他4种算法低很多.
在性能方面, 由表1中可以看出, 在实现方式相同的情况下, 本文算法的运行时间略高于文献[12]、文献[14]算法, 虽然时间相差比较短, 但仍是本文算法未来需要改进的地方.
| 表1 各算法运行时间对比 Tab.1 Comparison of running time of each algorithm |
图2为各算法在不同强度高斯噪声的干扰下, 盲复原结果的峰值信噪比的对比.可知, 在不同强度的高斯噪声的干扰下, 本算法的峰值信噪比均高于其他算法, 而且噪声水平越大, 本文算法的优势越明显.
| 图2 不同强度高斯噪声下各算法盲复原结果的峰值信噪比Fig.2 Peak signal-to-noise ratio of the results of each algorithm under Gaussian noise with different intensity |
图3(a)为清晰图像, 图3(b)为噪声标准差为0.06时的含噪模糊图像, 图3(c)~图3(f)分别为各算法对图3(b)所示图像进行盲复原的结果对比图.由图3可见, 当模糊图像中的噪声水平较高时, 各算法受噪声影响对模糊核的估计都不够准确, 导致复原出的图像效果并不理想.然而本文算法却能够有效地去除噪声, 复原出清晰的图像.
由于目前提出的绝大多数图像盲复原算法均假设是在低噪声条件下, 但是在现实生活中, 噪声广泛存在于模糊图像中, 所以这些算法由于缺少对噪声的处理, 导致其复原结果中通常会出现很严重的噪声现象, 有的甚至无法准确地估计出模糊核.本文对真实的模糊图像进行盲复原, 实验结果如图4和图5所示.
| 图4 各算法在真实模糊图像上的盲复原结果一Fig.4 Results of the blind recovery of each algorithm in the real blurring image |
| 图5 各算法在真实模糊图像上的盲复原结果二Fig.5 Results of the blind recovery of each algorithm in the real blurring image |
为排除各算法由于所采用的非盲复原算法的不同而造成的影响, 本文在估计出模糊核的情况下, 均采用EPLL算法[16]来进行非盲复原.因为缺少原始清晰图像作参考, 无法量化对比这些算法的复原效果, 只能通过视觉来进行判断.由图4和图5可见, 文献[12]、文献[13]、文献[14]和文献[9]算法由于未能完全去除噪声, 导致复原的效果并不理想, 而本文算法在去噪和去模糊的方面均有很好的效果.
1)提出一种基于自相似性和低秩表示的图像盲复原算法.该算法充分利用了图像自身蕴含的低秩特性和它的结构相似性特征, 将相似图像块合并为一个整体, 使得图像块中的噪声数据更加稀疏, 更有利于去除噪声, 并对这个整体进行低秩表示.
2)利用多尺度图像间相似图像块的线性组合来更好的复原图像.在模拟加噪模糊图像以及真实模糊噪声图像上的实验结果显示, 与已有的图像盲复原的算法相比, 本文算法在定量和定性上均有明显提升, 且具有更好的鲁棒性.
| [1] |
|
| [2] |
|
| [3] |
|
| [4] |
|
| [5] |
|
| [6] |
|
| [7] |
|
| [8] |
|
| [9] |
|
| [10] |
|
| [11] |
|
| [12] |
|
| [13] |
|
| [14] |
|
| [15] |
|
| [16] |
|

