引用本文
胡绍海, 王敏茜. 基于区域检测分割的运动模糊图像复原[J]. 北京交通大学学报, 2019,43(5): 20-26.
HU Shaohai, WANG Minqian. Restoration of motion blurred image based on detection and segmentation[J]. JOURNAL OF BEIJING JIAOTONG UNIVERSITY, 2019,43(5): 20-26.
Doi:10.11860/j.issn.1673-0291.20180177  
Permissions
Copyright©2019, 北京交通大学学报编辑部
北京交通大学学报编辑部 所有
基于区域检测分割的运动模糊图像复原
胡绍海, 王敏茜
北京交通大学 信息科学研究所,北京 100044

第一作者:胡绍海(1964-),男,北京人,教授,博士,博士生导师.研究方向为图像处理等.email:shhu@bjtu.edu.cn.

收稿日期: 2018-12-14
基金: 国家自然科学基金(61572063)
摘要

空间变化的运动模糊图像复原是当今图像处理领域的热点问题之一,而运动模糊区域检测更是其中的重点和难点.针对以往运动模糊区域检测算法的精确度较低的问题,提出基于检测分割的单帧运动模糊图像盲复原算法.结合多尺度感知和闭合型图分割,实现两步模糊区域检测.将检测到的模糊区域外延后进行复原,再将其去除外延部分并与清晰区域拼接,得到最终的复原结果.实验结果表明: 本文算法不但显著提高了模糊区域检测精度,也有效提高了图像复原质量.同时,具有一定的普遍性,可以适用于自然场景下的多种空间变化的运动模糊图像.

关键词: 图像处理; 运动模糊; 空间变化; 模糊检测; 图像去模糊
中图分类号:TP32 文献标志码:A 文章编号:1673-0291(2019)05-0020-07
Restoration of motion blurred image based on detection and segmentation
HU Shaohai, WANG Minqian
Institute of Information Science, Beijing Jiaotong University, Beijing 100044,China
Fund:National Natural Science Foundation of China (61572063)
Abstract

Nowadays restoration of spatial changed motion blurred image is one of the hot issues in the field of image processing, and motion blurred region detection is the key and difficult point. Due to the problem of low accuracy of previous motion blurred region detection algorithms, a blind restoration algorithm of the single motion blurred image based on blur detection and segmentation is proposed. The two-step blurred region detection is realized by combining multi-scale perception and the closed-Form matting algorithm. Furthermore, the detected blurred region is expanded and restored. Then the extended part is removed and the restored blurred region is spliced with the clear region to obtain the final restored results. The experimental results show that the proposed algorithm not only significantly improves the accuracy of the blurred region detection, but also effectively improves the quality of image restoration. At the same time, it also has certain universality and can be applied to many kinds of spatial changed motion blurred images in natural scenes.

Keyword: image processing; motion blur; spatial variation; blur detection; image deblurring

运动模糊在日常生活中相当普遍, 由于场景与摄像机之间的相对运动而形成的模糊都称为运动模糊.手持相机拍出来的照片经常会因为相机抖动而模糊, 无人机获取的图像也会因为其正常飞行以及强风、湍流等原因造成模糊; 除了这种整幅图像的运动模糊, 还存在由于物体运动而导致的局部图像模糊, 通常假设模糊区域内的模糊核是由同种方式导致的, 即区域内为均匀模糊.

模糊图像复原的目的是从模糊图像中恢复出清晰图像, 由于通常人们并不知道模糊图像的模糊核, 即点扩散函数(Point Spread Function, PSF).因此所进行的图像复原称为模糊图像盲复原, 反之则称为模糊图像非盲复原.

以往大多数对运动模糊图像盲复原的研究都集中在假设整幅图像为均匀模糊, 即图像的运动模糊是由相机运动造成, 对这样的模糊图像通常假设整幅图像只存在一个模糊核[1, 2, 3], 并将这种假设下的图像复原成为单核复原.近年来, 越来越多的模糊核估计算法被提出[4, 5], 而结合了深度学习的模糊核估计算法[6, 7], 更是提高了模糊核估计的精度.然而, 现实生活中大多是模糊核随空间变化而变化的模糊图像, 如果对其采用单核模型进行复原, 将会导致严重的振铃效应, 降低图像质量.针对这一问题, 以往算法提出复杂度与运算量极高的多核模型来复原此类图像[8, 9, 10].然而, 此类复原算法大多依赖于多帧图像[11], 小部分只需要单帧图像的算法, 也需假设模糊图像是由匀速直线运动所导致的[12], 缺乏普遍性.而依靠深度学习来解决非均匀运动模糊的问题[13], 往往有需要极大的计算量, 耗费大量时间, 且一般需要硬件上的支持.综上所述, 非均匀运动模糊图像的复原仍旧是目前研究的重点和难点.

本文作者在对以往模糊图像复原领域的相关工作进行研究后, 提出基于模糊检测和分割的单幅空间变化的运动模糊图像复原算法.该算法结合了多尺度感知和闭合型图算法, 在降低运算复杂程度的情况下, 有效提高了模糊区域检测精度; 通过模糊区域外延的方法, 成功解决了复原后的模糊区域与清晰区域拼接边缘的问题.由于本文的模糊区域检测是基于模糊区域特征进行的, 因此不局限于模糊图像是否为匀速直线运动, 具有普遍性与一般性.

1 模糊区域检测分割复原流程

本文的算法流程如图1所示.该流程框架可以表述为:1)对预处理后的运动模糊图像, 应用提出的模糊区域检测算法, 将图像的奇异值作为多层感知模型的特征值, 得到初步的模糊区域映射图.2)将得到的模糊区域映射图作为标记, 利用闭合型图分割的方法, 得到最终的模糊区域; 3)利用新得到的模糊区域映射图, 继续通过闭合型图的方法, 实现模糊区域的自动分割.4)对模糊区域进行模糊核估计, 并对外延的模糊区域进行去模糊.5)去除复原后模糊区域的外延部分, 与清晰区域进行拼接, 从而得到完整的复原图像.

图1 算法流程Fig.1 Flow chart of the algorithm

2 模糊区域检测
2.1 模糊图像的奇异值特征

奇异值分解可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示, 这些小矩阵描述的是矩阵的重要特性.给定一幅模糊图像 I, 其奇异值分解为

I=UΣVT(1)

式中: U和 V都是正交矩阵; Σ是由多个奇异值按降序排列而成的对角矩阵.因此图像也可以被分解为多秩矩阵

I=∑i=1nσiuiviT(2)

式中: ui、 vi分别是 U、 V的列向量; σi是矩阵 Σ的对角线.实际上, 奇异值分解是将图像分解为若干个特征图像的加权求和, 奇异值代表其中的权值.

图像压缩通过省略尾部的小奇异值来粗略地近似估计原始图像, 也忽略捕捉细节信息的具有小奇异值的特征图像, 即用前 k个分量来近似图像.同时, 图像模糊也是在大尺度上保持形状结构, 在小尺度上丢弃图像细节, 即, 式(2)中前几个最显著的特征图像在大尺度上提供图像大致形状, 而尾部不太显著的特征图像编码图像细节[14].

由于图像与点扩散函数 H卷积后, 大尺度空间特征图像得到了更高的权重, 而与小尺度空间特征图像匹配的小奇异值, 也会对应更大尺度空间的特征图像.往往使得特征图像的尺度空间因此增加, 造成高频细节的丢失, 最终削弱了图像的细节.即, 与清晰图像相比, 模糊图像的前几个最显著的特征图像通常具有更高的权重, 即奇异值.因此, 本文采用文献[14]中提出的模糊特征, 来测量图像的模糊程度, 如下

b=∑i=1kσi∑i=1nσi(3)

奇异值特征实际上就是前 k个最显著奇异值与所有奇异值之间的比值.如果 b大于阈值(本文取0.8), 图像块中间像素将被归类为模糊, 否则归类为清晰.

2.2 多尺度感知区域检测

多尺度模糊感知如图2所示, 对于同一幅图像, 不同尺度的图像模糊程度不同, 仅从某一个尺度来看, 无法判断其模糊与否.因此, 本文采用文献[14]中提出的多尺度模型, 融合来自模糊图像不同尺度的信息, 从而确定该图像或图像块是否模糊, 见图3.

图2 多尺度模糊感知Fig.2 Multi-scale blur perception

图3 多尺度模型Fig.3 Multi-scale graphical model

该模型提取3个不同尺度的局部模糊特征, 通过多尺度感知的方法, 达到提高模糊图像检测精度的目的.对于每一尺度, 首先采用多尺度滑动窗口法, 将图像分割成3× 3的小块, 并计算图像块的局部模糊特征值.每一像素为中心的图像块模糊值都可与周围4个像素为中心的图像块模糊值关联, 不同尺度层与对应的同一个像素为中心的图像块建立联系.

假设给定 s层上以像素 i为中心的图像块的模糊响应估计值为 b^is, 多尺度模型的总能量就可以表示为[15]

Eb=∑s=13∑ibis-b^is+α∑s=13∑i∑j∈Nisbis-bjs+β∑s=12∑ibis-bis+1(4)

式中: bis表示在 s层上、以像素 i为中心的图像块计算出的模糊特征; bis和 bis+1分别表示在两个不同层次上以相同像素为中心的图像块模糊特征; Nis表示 s层的第 i个像素周围的4个像素; α和 β是权重, 本文均取0.5.式(4)中第1项是一维的, 保证了整个特征结构在图像空间内; 第2项表示尺度内相似性, 联系同一层间的特征; 第3项表示尺度间相似性, 联系不同层间的特征.式(4)可以通过置信传播算法进行优化:对于每一图像块, 从初始像素开始遍历每一个节点, 直至式(4)的值收敛, 从而判断以像素 i为中心的图像块是否模糊.多尺度模糊区域检测结果见图4.

图4 多尺度模糊区域检测结果Fig.4 Detection results of multi-scale blur region

本文选取简单背景下的局部模糊图像图4(a)作为示例, 验证奇异值特征作为模糊特征的多尺度模糊感知检测算法.图4(b)、(c)、(d)分别是对图4(a)中的图像检测后, 每一层的输出结果.图4(e)是模型最终输出结果.可以看出, 模糊区域检测结果与图4(f)的真实标记尚有差距.

2.3 闭合型图区域检测

由图4(e)可以看出, 上文得到的模糊区域映射结果, 并没有将模糊区域的每一个像素判断准确.因此本文提出基于文献[16]闭合型图分割的闭合型图模糊区域检测算法.

1)将图4(e)所对应的图像模糊区域和清晰区域进行腐蚀膨胀, 见图5(a)和5(b)所示; 2)将模糊图像用处理得到的映射图进行标记, 如图5(c); 然后, 利用闭合型图分割算法对标记后的模糊图像进行分割, 得到图5(d); 3)对分割得到的模糊区域进行映射, 得到本文最终的模糊区域检测结果图, 如图5(e).通过将图4(e)和图5(e)与真实标记对比, 可看出相对于图4(e)的初步检测结果, 图5(e)的检测结果更贴近真实标记, 由此证明算法的有效性.

图5 闭合型图区域检测Fig.5 Closed-Form matting region detection

2.4 模糊区域检测结果

本文采用自然场景下的多种不同类型的局部运动模糊图像, 通过将本文算法与文献[14], 文献[16], 文献[17], 文献[18]4种经典图像检测算法以及模糊区域真实标记进行对比, 证明本文算法的普遍性与有效性.图6是模糊图像检测对比结果.

图6 模糊检测结果比较Fig.6 Comparisons of blur detection

图6中, 第1行采用的是前景清晰背景模糊的图像, 第2行和第3行分别采用的是简单背景下和复杂背景下的背景清晰前景模糊图像.

从图6可以看出, 相比4种经典图像检测算法, 本文算法检测结果更好, 模糊区域检测的映射图与真实标记图更为接近.同时, 本文算法的适用性很高, 不但适用于背景模糊前景清晰的模糊图像, 也适用于简单背景下前景模糊背景清晰的模糊图像.而针对复杂背景下的模糊图像, 本文算法的检测结果也有明显改进.

3 模糊图像分割与复原
3.1 模糊图像分割

对图5(e)中的模糊区域映射图, 继续应用文献[15]中提出的闭合型图方法进行二次分割.将其所对应的模糊区域和清晰区域腐蚀膨胀后, 作为模糊图像的标记分割图像, 得到最终的模糊和清晰区域, 如图7所示.其中图7(a)(b)是图5(e)对应区域腐蚀膨胀的结果, 图7(c)是模糊图像标记图, 图7(d)(e)是模糊图像分割后得到的最终清晰和模糊区域, 图7(f)是图7(e)的映射图.通过对比可以看出, 图7(f)分割得到的模糊区域比图5(e)得到的模糊区域更加贴近真实标记, 证明了二次分割的必要性.

图7 模糊图像分割结果Fig.7 Results of blurred image segmentation

3.2 模糊图像复原

由于直接对分割出来的模糊区域去模糊, 再与图像清晰区域拼接, 图像连接部分的高亮伪边缘非常明显.因此, 本文对模糊区域膨胀:用图7(a)对原始模糊图像进行点乘, 得到一幅包含模糊区域和部分清晰区域的模糊区域膨胀图, 如图8(a)所示; 对图7(e)的精确模糊区域进行模糊核估计后, 用估计到的模糊核对图8(a)进行复原, 得到图8(b); 再用图7(f)对图8(b)点乘, 得到图8(c); 最后将其与清晰区域图7(d)拼接, 得到最终的复原结果图8(d).

图8 模糊图像复原结果Fig.8 Results of blurred image restoration

本文的模糊区域复原着重于解决图像拼接的边缘问题, 因此采用已有算法对模糊区域进行模糊核估计.实际应用中, 对具体使用的模糊核估计和复原算法没有限制.从图8可以看出, 最终复原结果成功

解决了拼接部分的边缘问题.

4 实验结果与分析

本文构造了10个不同场景下的前景模糊背景清晰的模糊图像集 Dii=1, 2, …, 5和背景模糊前景清晰的模糊图像集 Dii=6, 7, …, 10, 每个数据集有100幅图像.并采用均方根误差(Root Mean Square Error, RMSE)和峰值信噪比(Peak Signal to Noise Ratio, PSNR)作为客观评价指标, 来验证算法的有效性.RMSE评价值越小, 待评价图与参考图就越相似; PSNR值越大, 图像质量越高.

图9(a)是本文算法与经典算法的RMSE对比结果. 图9(b)为本文算法复原后的图像与整幅图像采用其模糊区域模糊核复原后的图像PSNR对比.

图9 本文算法客观评价指标对比分析Fig.9 Comparisons of the objective evaluation indexes in the proposed algorithm

从图9中可以看出, 由于经典算法检测分割效果不如本文算法, 因此图像复原后的RMSE相对本文算法RMSE偏高.由于大部分情况下, 背景区域面积比前景区域面积大, 因此前景模糊背景清晰的图像直接采用其模糊区域模糊核对整幅图像复原后, 图像RMSE值比复原前对应的模糊图像RMSE值还要大.本文算法复原后的RMSE相对原模糊图像RMSE平均降低0.13以上.

由于大多数情况下, 背景区域面积大于前景区域面积, 因此前景模糊背景清晰的数据集比前景清晰背景模糊的数据集差异明显.在数值上, 本文算法得到的图像比对整幅图像采用一个模糊核复原得到的图像PSNR平均要大12 dB以上.

在算法的耗时上, 由于文献[14], 文献[16], 文献[17], 文献[18]4种算法有的只包含了模糊区域检测部分, 有的具有自己提出的分割方法, 不同的分割和复原拼接方法与之结合后, 整体的耗时会有所改变, 因此本文不对4种算法的复原整体耗时进行具体的比较.由于算法大部分时间花费在模糊区域检测方面, 因此虽然本文算法流程更加复杂, 却并没有增加太多的耗时.在模糊区域检测分割方面, 本文算法的平均耗时与文献[14]和文献[17]算法的平均耗时基本一致, 都在16 min左右.

图10是本文算法应用到局部运动模糊图像数据集后, 选取的几种不同类型模糊图像的分割复原结果.其中第1行输入图像为前景清晰背景模糊的运动模糊图像; 第2行输入图像为背景清晰前景模糊的运动模糊图像, 且前景的运动物体只有部分是模糊的; 第3行输入图像也是背景清晰前景模糊的运动模糊图像, 但其前景包含两个模糊核不同的运动物体, 在此, 对其分割后分别进行去模糊.从图10可以看出, 本文算法不但具有良好的检测分割和复原效果, 而且具有较高的普遍性和适用性.

图10 本文算法实验结果Fig.10 Experimental results of the proposed algorithm

5 结论

1)提出了一个基于模糊区域检测分割的空间变化的单帧运动模糊图像复原算法.该算法利用模糊图像的奇异值特征对模糊区域的判别能力, 通过多层感知和闭合型图的方法改进模糊区域检测的精度.将检测出的模糊区域映射图, 作为图像分割的人工标记图来进行图像的自动分割, 并采用模糊区域外延的方法, 去除直接复原拼接造成的边缘问题.

2)实验结果表明, 本文算法在客观评价指标和主观视觉效应方面, 都取得较好效果, 且具有较高的普遍适用性.但是由于采用多层次感知来优化模糊图像检测精度, 模糊区域检测需要大量计算时间, 因此本文算法耗时较长, 这也是在未来工作需要改进的地方.

参考文献
[1] FERGUS R, SINGH B, HERTZMANN A, et al. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics, 2006, 25(3): 787. [本文引用:1]
[2] HUA B S, LOW K L. Interactive motion deblurring using light streaks[C]//18th IEEE International Conference on Image Processing. Belgium, 2011: 1553-1556. [本文引用:1]
[3] HU Z, CHO S, WANG J, et al. Deblurring low-light images with light streaks[C]//IEEE Conference on Computer Vision and Pattern Recognition. Columbus, 2014: 3382-3389. [本文引用:1]
[4] WANG Z Y, YAO Z J, WANG Q Y. Improved scheme of estimating motion blur parameters for image restoration[J]. Digital Signal Processing, 2017, 65: 11-18. [本文引用:1]
[5] SHAO W Z, DENG H S, GE Q, et al. Regularized motion blur-kernel estimation with adaptive sparse image prior learning[J]. Pattern Recognition, 2016, 51: 402-424. [本文引用:1]
[6] XU X Y, PAN J S, ZHANG Y J, et al. Motion blur kernel estimation via deep learning[J]. IEEE Transactions on Image Processing, 2018, 27(1): 194-205. [本文引用:1]
[7] LI L, SANG N, YAN L X, et al. Motion-blur kernel size estimation via learning a convolutional neural network[J]. Pattern Recognition Letters, 2019, 119: 86-93. [本文引用:1]
[8] DAI S Y, WU Y. Motion from blur[C]//IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, 2008. [本文引用:1]
[9] SHAN Q, XIONG W, JIA J Y. Rotational motion deblurring of a rigid object from a single image[C]//11th International Conference on Computer Vision. Rio de Janeiro, 2007. [本文引用:1]
[10] GUPTA A, JOSHI N, LAWRENCE ZITNICK C, et al. Single image deblurring using motion density functions[C]//Computer Vision. Berlin , 2010: 171-184. [本文引用:1]
[11] CHO S, MATSUSHITA Y, LEE S. Removing non-uniform motion blur from images[C]//11th International Conference on Computer Vision. Rio de Janeiro, 2007. [本文引用:1]
[12] SCHOLKOPF B, PLATT J, HOFMANN T. Blind motion deblurring using image statistics[J]. Advances in Neural Information Processing Systems, 2006, 19(84): 1-848. [本文引用:1]
[13] GONG D, YANG J, LIU L Q, et al. From motion blur to motion flow: A deep learning solution for removing heterogeneous motion blur[C]//IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, 2017. [本文引用:1]
[14] SU B L, LU S J, TAN C L. Blurred image region detection and classification[C]//Proceedings of the 19th ACM international conference on Multimedia. Scottsdale, 2011. [本文引用:6]
[15] SHI J P, XU L, JIA J Y. Discriminative blur detection features[C]//IEEE Conference on Computer Vision and Pattern Recognition. Columbus, 2014. [本文引用:2]
[16] LEVIN A, LISCHINSKI D, WEISS Y. A closed-form solution to natural image matting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 228-242. [本文引用:3]
[17] CHAKRABARTI A, ZICKLER T, FREEMAN W T. Analyzing spatially-varying blur[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, 2010. [本文引用:3]
[18] LIU R T, LI Z R, JIA J Y. Image partial blur detection and classification[C]//IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, 2008. [本文引用:2]