基于二维不可分形态小波变换的多光谱图像全色锐化方法

引用本文

石岩. 基于二维不可分形态小波变换的多光谱图像全色锐化方法[J]. 北京交通大学学报, 2018,42(5): 116-122.
SHI Yan. A multispectral pansharpening method based on 2D nonseparable morphological wavelet transform[J]. JOURNAL OF BEIJING JIAOTONG UNIVERSITY, 2018,42(5): 116-122.
Doi:10.11860/j.issn.1673-0291.2018.05.016 复制到剪切板

Permissions

北京交通大学学报编辑部所有

基于二维不可分形态小波变换的多光谱图像全色锐化方法

石岩

北京理工大学 a.信息与电子学院,b.分数域信号与系统北京市重点实验室,北京 100081

第一作者:石岩(1987—),男,北京人,讲师,博士.研究方向为小波分析与数字图像处理.email:shy216@bit.edu.cn.

收稿日期: 2018-05-24

基金: 国家自然科学基金青年科学基金(61501029)

摘要

针对全色锐化中如何有效提取高分辨率细节这一关键问题,提出了一种新的基于二维不可分形态小波变换的全色锐化方法.结合了线性小波与形态小波的各自优势,在保持小波消失矩的同时能够有效保留图像的边缘细节.实验部分采用SPOT 6与Pléiades两组遥感卫星图像数据.实验结果证实本文所提方法能够降低光谱误差,并有效提升了多光谱图像的空间分辨率,在ERGAS、Q4等评价指标方面优于当前主流全色锐化算法,同时取得了良好的视觉增强效果.

关键词: 图像处理; 全色锐化; 形态小波; 提升模式; 数学形态学; 非线性滤波; 遥感

中图分类号:TP75 文献标志码:A 文章编号:1673-0291(2018)05-0116-07

A multispectral pansharpening method based on 2D nonseparable morphological wavelet transform

SHI Yan

a.School of Information and Electronics, Beijing Institute of Technology,b. Beijing Key Laboratory of Fractional Signals and Systems, Beijing 100081, China

Fund:Youth Foundation of National Natural Science Foundation of China (61501029)

Abstract

A new multispectral pansharpening method based on 2D nonseparable morphological wavelet transform is proposed in this paper, aiming at solving the key issue that how to extract the high resolution details effectively. The proposed method combines the advantages of linear and morphological wavelets, which can retain the edge details of images while maintaining the wavelet vanishing moment. Two spaceborne image data are taken including SPOT 6 and Pléiades. Experimental results show that the proposed method can effectively reduce the spectral distortion while improving the spatial resolution of multispectral images. The performance in terms of evaluation indexes such as ERGAS, Q4 outperforms the state-of-the-art pansharpening algorithms, and good visual enhancement effect is achieved.

Keyword: pansharpening; morphological wavelet; lifting scheme; mathematical morphology; nonlinear filtering; remote sensing

文章图片

全色锐化(Pansharpening)是多源遥感图像融合中的一项关键技术, 在卫星成像、遥感勘测和地图绘制等领域中具有重要应用价值.该技术主要针对多光谱图像(Multispectral, MS)与全色图像(Pan-chromatic, PAN)融合, 目的是获得高分辨率多光谱图像.众所周知, 高分辨率遥感卫星(如SPOT, Quickbird, Plé iades等)通常由多个波段的影像传感器组成, 主要包括蓝、绿、红、近红外及全色波段.不同波段的影像传感器频率响应不同, 同时生成图像的空间分辨率也不同.通常来讲, 可见光与近红外波段的影像传感器带宽较窄, 空间分辨率较低; 而全色波段传感器空间分辨率高, 但对光谱的分辨度较低.受限于遥感卫星影像传感器的物理特性, 通常无法获取一幅同时满足高空间分辨率和高光谱分辨率的影像, 因此将多光谱图像与全色图像融合, 能够有效利用两者的互补信息, 从而获得高分辨率多光谱图像.

全色锐化技术方法的研究自20世纪90年代兴起, 发展已有近30年, 至今仍是一个十分活跃的课题.早期的全色锐化方法包括主成分分析(Principle Component Analysis, PCA)、亮度-色度-饱和度模型(Intensity-Hue-Saturation, IHS)、Gram-Schm-idt正交化等方法^{[1, 2]}.这类方法通过特定的线性变换将多光谱图像映射到变换域, 从而分离光谱与亮度信息, 再将全色图像作为新的亮度信息替换原有的亮度信息, 从而提升多光谱图像的空间分辨率.因此也称为成分替代法(Component Substitution, CS).这类方法的优点是算法相对简单, 计算开销小; 然而不足之处在于没有充分考虑全色图像的几何信息, 如边缘、纹理等.事实上, 多光谱图像缺失的细节往往反映为这些几何信息, 因此如何提取这部分信息成为全色锐化的关键之一.

近些年, 随着以拉普拉斯金字塔变换、小波变换等为代表的多尺度变换的快速发展, 基于多分辨分析(Multiresolution Analysis, MRA)的全色锐化方法逐渐引起关注^[3].这类方法的核心思想是利用多尺度变换提取全色图像的细节信息, 再根据相应的融合规则加入到多光谱图像中, 在有效提高空间分辨率的同时避免了较大的光谱失真.IEEE地球科学与遥感学会举办的全色锐化算法竞赛中^{[4, 5]}, 以多孔小波变换(a trous Wavelet Transform, ATWT)^[6]和广义拉普拉斯金字塔变换(Generalized Laplacian Pyramid, GLP)^[7]为代表的MRA全色锐化方法都取得了突出的成绩.然而, ATWT与GLP亦存在不足, 主要是变换使用单一的低通滤波器, 会造成边缘的模糊和细节的丢失.为克服上述弊端, 文献[8, 9]提出基于多尺度几何变换(如曲波、非采样轮廓波等)的融合方法, 利用不同尺度, 不同方向的滤波器提取全色图像的细节信息.文献[10]提出利用小波函数消失矩有效分离图像的低频信息与细节信息, 降低融合图像光谱失真.文献[11]提出基于形态学梯度算子的全色锐化方法.这些方法为全色锐化提供了新思路.

形态小波变换最初由H. Heijmans等提出^[12], 该变换借鉴了数学形态学中的一些非线性操作, 如膨胀、腐蚀、开和闭等, 同时拥有传统小波变换多尺度的特点.形态小波变换的优势在于能够有效保留图像的边缘、轮廓、纹理等信息, 因此广泛应用于特征提取、模式识别及图像分析等领域.由于全色图像具有丰富的边缘、纹理等高频信息, 利用形态小波变换在图像边缘与特征提取方面的优势, 有助于提升多光谱图像的空间分辨率.另一方面, 由于小波消失矩能够有效分离低、高频信息, 避免融合图像光谱失真, 因此在设计形态小波变换过程中将考虑保留消失矩.

本文作者提出一种基于二维不可分形态小波变换的全色锐化方法.主要创新点包括:1)采用提升模式设计形态小波变换, 预测步采用Neville滤波器保证消失矩, 更新步采用局部最大与局部最小的均值, 抑制噪声干扰, 同时有效保留边缘信息; 2)在融合过程中采用基于上下文决策的融合方法, 实现增益系数的最优估计.

1 形态小波理论概述

1.1 形态小波变换及其提升模式

形态小波变换是一种非线性多尺度变换.考虑信号分析端, 定义信号分析算子 $Ψ_{j}^{↑}$ :V_j→ V_j₊₁与细节分析算子 $ω_{j}^{↑}$ :V_j→ W_j₊₁, 其中V_j, W_j分别为信号空间与细节空间, j代表尺度.分析算子的作用是将信号从较细一级尺度(j)分解为较粗一级尺度(j+1).当分析算子是线性的, 变换转化为传统的线性滤波过程.

在信号综合端, 综合算子 $Ψ_{j}^{↓}$ :V_j₊₁× W_j₊₁→ V_j将信号从较粗一级尺度重建为较细一级尺度.一种典型的综合算子为

$\begin{array}{l} Ψ_{j}^{↓} (a, d) = Ψ_{j}^{↓} (a) + ω_{j}^{↓} (d), \\ a \in V_{j + 1}, d \in W_{j + 1} (1) \end{array}$

式中: $Ψ_{j}^{↓}$ :V_j₊₁→ V_j, $ω_{j}^{↓}$ :W_j₊₁→ V_j, +可以是通常意义下的加法运算, 也可以单独定义.上述变换称为非联结(uncoupled)形态小波^[12]

$\begin{array}{l} Ψ_{j}^{↓} Ψ_{j}^{↑} (x) + ω_{j}^{↓} ω_{j}^{↑} (x) = x, x \in V_{j} (2) \\ Ψ_{j}^{↑} (Ψ_{j}^{↓} (a) + ω_{j}^{↓} (d)) = a, \\ a \in V_{j + 1}, d \in W_{j + 1} (3) \\ ω_{j}^{↑} (Ψ_{j}^{↓} (a) + ω_{j}^{↓} (d)) = d, \\ a \in V_{j + 1}, d \in W_{j + 1} (4) \end{array}$

当式(2)变换满足完全重构; 且当式(3)和式(4)成立变换是非冗余的, 即变换系数是唯一的.构造满足上述条件的分析与综合算子并非易事, 然而提升模式(lifting scheme)^[13]提供了一种有效途径.提升模式是一种高度灵活且过程可逆的结构, 主要包含预测与更新两个关键步骤.

考虑离散时间信号x(n), 其偶、奇序列分别记为

$x_{e} (n) = x (2 n), x_{o} (n) = x (2 n + 1) (5)$

在预测步骤中, 通过其中一个子列预测另一个子列, 如

$d = x_{o} - P (x_{e}) (6)$

式中:P为预测算子; d为预测残差, 反映的是信号变化信息, 称为细节.由于信号普遍具有局部相关性, 因此d通常是稀疏的.

在更新步骤中, 通过细节d更新x_e, 得到原信号x的近似为

$a = x_{e} + U (d) (7)$

式中:U为更新算子.

注意到上述计算过程是可逆的, 因此可以通过(a, d)重建原信号(x_e, x_o).此外, 预测算子P与更新算子U可以是线性的或非线性的, 因此为小波变换的构造提供了极大的灵活性.下面试举一例.

例1:Haar形态小波变换的提升实现

分解算法为

$\{\begin{array}{l} d [n] = x [2 n + 1] - x [2 n] \\ a [n] = x [2 n] + (d [n] \land 0) \end{array} (8)$

重构算法为

$\{\begin{array}{l} x [2 n] = a [n] - (d [n] \land 0) \\ x [2 n + 1] = x [2 n] + d [n] \end{array} (9)$

式中:∧ 为腐蚀运算, 亦取局部最小值, 即α ∧ β =min(α , β ).容易看出, 重构算法是分解算法的逆过程, 因此提升结构满足完全重构.

在分解算法式(8)中, 预测算子P(· )=-1, 更新算子U(· )=min(· , 0), 且

$a [n] = x [2 n] \land x [2 n + 1] (10)$

因此, 式(8)恰为文献[12]中给出的一维Haar形态小波变换min-Haar.若将式(8)中∧ 替换为∨ , 即膨胀运算, 亦取局部最大值, α ∨ β =max(α , β ), 则

$a [n] = x [2 n] \lor x [2 n + 1] (11)$

即一维Haar形态小波变换max-Haar.若将更新算子改为线性滤波器U(· )=1/2(· ), 则

$a [n] = (x [2 n] + x [2 n + 1]) / 2 (12)$

此时退化为线性Haar小波变换.

1.2 基于梅花形采样的二维不可分形态小波

二维小波变换可以通过沿水平与竖直方向分别进行一维小波变换来实现, 即可分离形式.然而在图像处理中, 不可分离形式往往更为青睐.一方面, 图像本质是二维信号, 许多信息无法通过一维基函数的张量积来表征, 如可分离小波变换只能提取水平、竖直与对角方向的边缘信息, 但对其他方向的信息相对不敏感^[14]; 另一方面, 不可分离形式更接近人类视觉系统对客观事物的感知^[15].因此本文考虑二维不可分形态小波.特别地, 本文考虑梅花形采样阵为

$M = [\begin{array}{l} 1 & 1 \\ 1 & - 1 \end{array}] .$

在梅花形采样阵下, 二维图像坐标被分为奇偶子列, 如图1(a)所示.因此提升结构式(6)和式(7)依然适用.基于提升结构的梅花形形态小波变换^[15]利用局部残差最小化原则进行预测, 再利用局部像素值最大化进行更新, 结合图1(b)和图1(c), 其算法如下

$\{\begin{array}{l} d = o - (e_{1} \lor e_{2} \lor e_{3} \lor e_{4}) \\ a = e + (d_{1} \lor d_{2} \lor d_{3} \lor d_{4} \lor 0) \end{array} (13)$

	Figure Option View Download New Window
	图1 梅花形采样示意图Fig.1 Illustration of quincunx sampling

然而, 该算法并不适用于全色锐化, 因为残差最小化原则不利于边缘的提取.尽管可以对式(13)稍作修改, 改用残差最大化原则, 然而注意到这种预测方式是各向异性的, 也就是预测残差的结果只取决于当前被预测点与相邻某一方向(如图1(b)所示)的预测点, 因此只能够反映这一方向的信号变化.同时, 残差最大化原则对噪声极度敏感, 不利于边缘检测与提取.此外, 这种非线性预测方法会破坏小波函数的一些重要性质, 如消失矩.综合以上因素, 本文作者提出一种新的基于梅花形采样的二维形态小波, 使得该变换能够保留小波消失矩.称小波函数Ψ 具有N阶消失矩, 如果满足

$\int_{R} x^{p} Ψ (x) d x = 0, p < N (14)$

根据式(14), N阶以下多项式与小波Ψ 内积为零; 这意味着经过相应的高通滤波之后高频子带只保留多项式信号N阶以上成分, 而N阶以下成分则会经过更新步保留在低频子带中.由于高分辨率全色图像具有丰富的纹理细节, 因此利用消失矩可有效分离信号的低频成分和高频成分, 提取高分辨率细节信息, 避免将不必要的低频成分融合到多光谱图像中, 从而在提升空间分辨率的同时能够降低融合图像的光谱失真.

文献[16]提出一种具有指定阶消失矩的小波变换提升构造方法.具体地, 如果预测算子P为 $\tilde{N}$ 阶Neville滤波器, 更新算子的二倍共轭, 即2U^*为N阶Neville滤波器, 则相应的小波滤波器组分析端与综合端分别拥有( $\tilde{N}$ , N)阶消失矩.实际中, 分析端消失矩用于有效分离信号低频与高频成分, 因此可以令P为 $\tilde{N}$ 阶Neville滤波器, 而U为非线性滤波器.下面给出构造实例.

例2:具有二阶消失矩的梅花形形态小波变换(Quincunx Morphological Wavelet, QMW)

$\{\begin{array}{l} d = o - (e_{1} + e_{2} + e_{3} + e_{4}) / 4 \\ a = e + (d^{+} + d^{-}) / 2 \end{array} (15)$

其中

$\{\begin{array}{l} d^{+} = d_{1} \lor d_{2} \lor d_{3} \lor d_{4} \\ d^{-} = d_{1} \land d_{2} \land d_{3} \land d_{4} \end{array} (16)$

由于预测算子P为二阶梅花形Neville滤波器为

$P = \frac{1}{4} [\begin{array}{l} 0 & 1 & 0 \\ 1 & 0 & 1 \\ 0 & 1 & 0 \end{array}] .$

预测步恰为拉普拉斯算子为

$L = 1 - P = \frac{1}{4} [\begin{array}{l} 0 & - 1 & 0 \\ - 1 & 4 & - 1 \\ 0 & - 1 & 0 \end{array}] .$

因此, 预测步具有提取边缘的作用.

另一方面, 在更新步中采用局部最大与局部最小的均值, 抑制了噪声的干扰, 同时有效保留了边缘信息.如果令更新算子为

$U = \frac{1}{8} [\begin{array}{l} 0 & 1 & 0 \\ 1 & 0 & 1 \\ 0 & 1 & 0 \end{array}] .$

则退化为梅花形线性小波(Quincunx Linear Wavelet, QLW).实验部分将检验两种变换的融合结果.

2 基于形态小波的全色锐化算法

本节将利用1.2节提出的梅花形形态小波进行多光谱图像与全色图像的融合.

已知原始高分辨率全色图像P, 原始低分辨率多光谱图像MS={MS_k, k=1, …, N}, 其中下标代表第k个波段.全色锐化算法的核心步骤包括:

1)从全色图像中提取细节信息.

$D = P - P_{L} (17)$

式中P_L代表全色图像的低分辨率版本.

2)将提取出的细节加入到多光谱图像中.

${\overset{\land}{MS}}_{k} = {\overset{⌢}{MS}}_{k} + α_{k} D, k = 1, \dots, N (18)$

式中: $\overset{⌢}{MS}$ 是原始多光谱图像MS的上采样版本, 其大小与全色图像P相同; α _k为融合增益系数, 其决定了加入细节的多少.一方面, 尽可能提高多光谱图像的空间分辨率; 另一方面, 应尽量避免加入过多的细节造成光谱失真.本文采用基于上下文决定^[7]的增益系数为

$α_{k} = \frac{cov ({\overset{⌢}{MS}}_{k}, P_{L})}{var (P_{L})} (19)$

理论证明, 该增益系数在最小化均方误差意义下能够实现最优^[5].下面给出全色锐化算法流程.

算法1基于梅花形形态小波的全色锐化算法(QMW-CBD)

1.数据预处理:利用双立方插值将MS上采样至与全色图像大小相同, 即 $\overset{⌢}{MS}$ .

2.直方图匹配:将全色图像P与每个通道 ${\overset{⌢}{MS}}_{k}$ 行直方图匹配,

$P_{k} = \frac{σ {_{\overset{⌢}{MS}}}_{k}}{σ_{P}} (P - μ_{P}) + μ {_{\overset{⌢}{MS}}}_{k}, k = 1, \dots, N (20)$

式中μ , σ 分别代表相应图像的均值和标准差.

3.细节提取:利用梅花形形态小波QMW对P_k进行多尺度分解, 得到子带信号

$(a^{k}, d_{r}^{k}, d_{r - 1}^{k}, \dots, d_{1}^{k}) = T (P_{k}) (21)$

其中r为变换级数, 由全色图像与多光谱图像的分辨率之比决定.将低频系数置零, 再重构, 得到细节信息

$D_{k} = T^{- 1} {0, d_{r}^{k}, d_{r - 1}^{k}, \dots, d_{1}^{k}} (22)$

4.细节加入:根据CBD模型式(14)将细节加入到多光谱图像中, 得到高分辨率多光谱图像.

${\overset{\land}{MS}}_{k} = {\overset{⌢}{MS}}_{k} + α_{k} D_{k}, k = 1, \dots, N (23)$

3 实验结果与分析

3.1 实验数据

实验数据采用SPOT 6与Plé iades遥感卫星图像^{[17, 18]}.SPOT 6图像采集自西班牙巴塞罗那地区, 全色波段空间分辨率为1.5 m, 尺寸2048× 2048像系; 多光谱包含蓝/绿/红/近红外4个波段, 空间分辨率为6 m, 尺寸512× 512像素.Plé iades图像采集自法国图卢兹地区, 全色波段空间分辨率为0.8 m, 尺寸1024× 1024像素; 多光谱包含多光谱包含蓝/绿/红/近红外4个波段, 空间分辨率为3.2 m, 尺寸256× 256像素.

为检验所提算法的有效性, 本文选取当前一些主流全色锐化算法^[18]进行比较, 包括:

1)PCA^[2]:即主成分分析, 该算法将多光谱的第1个主成分替换为全色波段, 属于CS方法;

2)AWLP^[6]:采用多孔小波变换, 并利用IHS模型在亮度通道进行融合;

3)GLP-CBD^[7]:采用拉普拉斯金字塔变换和CBD增益模型式(19);

4)MF-HG^[11]:采用形态滤波(Morphological Fittering)中的半梯度算子(Half-gradient);

5)QLW-CBD:采用传统梅花形线性小波变换和CBD增益模型式(19);

3.2 评价指标

为客观评价融合结果, 本文选取全色锐化中广泛使用的评价指标^[4], 包括:

1)ERGAS:综合全局相对误差(法语erreur relative globaleadimensionnelle de synthè se)衡量融合图像的光谱失真程度为

$ERGAS = \frac{100}{r} \sqrt[]{\frac{1}{N} \overset{N}{\sum_{i = 1}} \frac{RMS E_{i}^{2}}{μ_{i}^{2}}} (24)$

式中:RMSE_i为融合图像与参考图像第i个通道的均方误差; μ _i为融合图像第i个通道的均值.

2)SAM:光谱角度映射(Spectral Angle Mapper, SAM), 衡量两个向量的夹角为

$SAM (v, \dot{v}) = \arccos (\frac{< v, \dot{v} >}{‖ v ‖_{2} \cdot ‖ \dot{v} ‖_{2}}) (25)$

其中v, $\dot{v}$ 分别代表融合图像与参考图像各通道组成的列向量.

3)Q4:衡量融合图像与参考图像的相关性

$Q 4 = \frac{4 | σ_{xy} | \cdot ‖ \bar{x} ‖ \cdot ‖ \bar{y} ‖}{(σ_{x}^{2} + σ_{y}^{2}) (‖ \bar{x} ‖^{2} + ‖ \bar{y} ‖^{2})} (26)$

其中x, y为四元数.

4)SCC:空间相关系数(Spatial Correlation Coefficient, SCC), 通过计算融合图像与全色图像的相关系数来评价空间分辨率增强的效果.

3.3 实验结果

表1、表2分别列出了两组数据的实验结果, 其中理想值为理论最优值.划线数值为最优结果.可以看出, 在空间分辨率提升方面, PCA取得了最优结果, 反映在SCC数值最高.这是因为PCA直接将全色图像作为新的亮度通道, 因此SCC理论值等于1, 实验结果也证实了这一点.然而, PCA方法会造成较大的光谱误差.MF-HG的情况类似, 在空间提升方面比较出色, 这源自于半梯度算子能够有效提取图像边缘, 然而MF-HG方法也会造成较大的光谱失真.相比较, 其他方法在光谱失真方面控制较好, 特别是本文提出的算法QMW-CBD在ERGAS指标上达到最优, 而在SAM与Q4指标上取得最优或接近最优的结果.

表1 SPOT 6图像融合结果 Tab.1 Fusion results of SPOT 6

算法	指标
算法	ERGAS	SAM	Q4	SCC
PCA	5.258 2	5.097 9	0.917 9	$\bar{0.9935}$
AWLP	3.441 2	3.563 5	0.965 1	0.953 0
GLP-CBD	2.976 6	3.593 6	0.974 0	0.957 8
MF-HG	5.302 9	3.675 7	0.932 8	0.953 3
QLW-CBD	2.717 8	3.657 0	$\bar{0.9765}$	0.916 7
QMW-CBD	$\bar{2.3431}$	$\bar{3.5327}$	0.972 6	0.946 6
理想值	0	0	1	1

表1 SPOT 6图像融合结果 Tab.1 Fusion results of SPOT 6

表2 Plé iades图像融合结果 Tab. 2 Fusion results of Plé iades

算法	指标
算法	ERGAS	SAM	Q4	SCC
PCA	4.373 8	2.463 3	0.918 7	$\bar{0.9997}$
AWLP	1.734 8	$\bar{0.6804}$	0.975 4	0.932 5
GLP-CBD	1.749 2	0.979 6	0.977 6	0.942 7
MF-HG	3.964 6	1.666 0	0.941 5	0.977 2
QLW-CBD	1.571 3	0.836 9	0.973 4	0.917 1
QMW-CBD	$\bar{1.3048}$	0.775 2	$\bar{0.9784}$	0.940 5
理想值	0	0	1	1

表2 Plé iades图像融合结果 Tab. 2 Fusion results of Plé iades

与AWLP方法和GLP-CBD方法相比较, 由于这两类方法采用固定的低通滤波器, 而本文所提算法(GMW-CBD)采用形态小波进行滤波, 从光谱评价指标来看QMW与QLW均优于前二者, 这也证实了小波消失矩的作用.在两类梅花形小波变换的比较中, 可以看到采用QMW的融合结果在空间分辨率增强方面要优于线性小波, 且光谱评价指标如ERGAS、SAM也优于QLW, 这说明形态小波算子在保留边缘信息的同时能够有效抑制噪声干扰, 从而降低光谱失真.值得一提的是, 增强空间分辨率与降低光谱失真往往存在制约关系, 综合各项评价指标来看, QMW-CBD实现了细节增强与降低光谱失真两方面的均衡.

为了视觉评价融合结果, 选取R/G/B三通道并截取ROI区域, 结果见图2、图3.

	Figure Option View Download New Window
	图2 SPOT 6图像融合结果视觉比较Fig.2 Visual comparison of the fusion results of SPOT 6

	Figure Option View Download New Window
	图3 Plé iades图像融合结果视觉比较Fig.3 Visual comparison of the fusion results of Plé iades

从图2中可以看到, PCA方法产生了较为明显的色彩失真, 而基于MRA的方法整体色彩与原始多光谱图像比较接近, 但在细节方面存在差异.例如, MF-HG的融合结果对比度较高, 边缘过增强, 而QLW-CBD的边缘有明显模糊的痕迹.相比较, QMW-CBD的细节部分好于QLW-CBD, 视觉结果较为接近GLP-CBD.但也存在一定差异, 如在建筑屋顶的纹理部分, GLP-CBD的纹理连续性更好, 这是由于GLP采用非采样拉普拉斯金字塔分解, 而QMW-CBD采用的是基于梅花形采样的提升变换, 从图3中可以看到, 其中PCA与MF-HG在细节增强方面比较突出, 特别是MF-HG产生的结果对比度高, 适合人眼观察, 但是PCA与MF-HG的光谱误差较高.这说明细节增强与光谱失真两者存在相互制约的关系.相比较, AWLP、GLP-CBD与QMW-CBD取得了良好的视觉效果, 同时在控制光谱失真方面比较出色.

4 结论

1)本文研究了多光谱图像全色锐化方法.针对如何有效提取高分辨率细节这一关键问题, 提出了一种新的基于梅花形采样的形态小波变换.该变换结合了线性滤波与非线性滤波各自的特点, 在保持小波消失矩的同时能够有效保留图像的边缘细节.

2)实验部分采用SPOT 6与Plé iades两组遥感卫星图像数据.实验结果证实本文所提算法在控制光谱失真的同时, 有效提升了空间分辨率.在与当前主流全色锐化算法的比较中, 本文所提算法在光谱评价指标方面优于其他算法, 同时取得了良好的视觉增强效果.

参考文献

文献列表

[1]	CARPER W J, LILLESAND T M, KIEFER R W. The use of intensity-hue-saturation transformations for merging spot panchromatic and multispectral image data[J]. Photogramm Eng Remote Sens, 1990, 56(4): 459-467. [本文引用:1]
[2]	CHAVEZ P S, SIDES J S C, ANDERSON J A. Comparison of three different methods to merge multiresolution and multispectral data Land sat TM and SPOT panchromatic[J]. Photogramm Eng Remote Sens, 1991, 57(3): 295-303. [本文引用:2]
[3]	WALD L, RANCHIN T, MANGOLINI M. Fusion of high spatial and spectral resolution images: the ARSIS concept and its implementation[J]. Photogramm Eng Remote Sens, 2000, 66(1): 49-61. [本文引用:1]
[4]	ALPARONE L, WALD L, CHANUSSOT J, et al. Comparison of pansharpening algorithms: outcome of the 2006 GRS-S data-fusion contest[J]. IEEE Trans Geosci Remote Sens, 2007, 45(10): 3012-3021. [本文引用:2]
[5]	VIVONE G, ALPARONE L, CHANUSSOT J, et al. A critical comparison among pansharpening algorithms[J]. IEEE Trans Geosci Remote Sens, 2015, 53(5): 2565-2586. [本文引用:2]
[6]	OTAZU X, GONZÁLEZ-AUDÍCANA M, FORS O, et al. Introduction of sensor spectral response into image fusion methods application to wavelet-based methods[J]. IEEE Trans Geosci Remote Sens, 2005, 43(10): 2376-2385. [本文引用:2]
[7]	AIAZZI B, ALPARONE L, BARONTI S, et al. Context-driven fusion of high spatial and spectral resolution images based on oversampledmultiresolution analysis[J]. IEEE Trans Geosci Remote Sens, 2002, 40(10): 2300-2312. [本文引用:3]
[8]	NENCINI F, GARZELLI A, BARONTI S, et al. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143-156. [本文引用:1]
[9]	SHAH V P, YOUNAN N H, KING R L. An efficient pan-sharpening method via a combined adaptive PCA approach and contourlets[J]. IEEE Trans Geosci Remote Sens, 2008, 46(5): 1323-1335. [本文引用:1]
[10]	SHI Y, YANG X, CHENG T. Pansharpening of multispectral images using the nonseparable frame let lifting transform with high vanishing moments[J]. Information Fusion, 2014, 20: 213-224. [本文引用:1]
[11]	RESTAINO R, VIVONE G, MURA M D, et al. Fusion of multispectral and panchromatic images based on morphological operators[J]. IEEE Trans Image Process, 2016, 25(6): 2882-2895. [本文引用:2]
[12]	HEIJMANS H J A M, GOUTSIAS J. Nonlinear multiresolution signal decomposition schemes II morphological wavelets[J]. IEEE Trans Image Process, 2000, 9(11): 1897-1913. [本文引用:3]
[13]	DAUBECHIES I, SWELDENS W. Factoring wavelet transforms into lifting steps[J]. J Fourier Anal Appl, 1998, 4(3): 247-269. [本文引用:1]
[14]	刘斌, 孙斌, 关淼苗, 等. 基于不可分加性小波与形态学梯度的图像边缘提取方法[J]. 量子电子学报, 2015, 32(6): 654-662. LIU Bin, SUN Bin, GUAN Miaomiao, et al. Image edge detection method based on nonseparable additive wavelet and morphological gradient[J]. Chinese Journal of Quantum Electronics, 2015, 32(6): 654-662. (in Chinese) [本文引用:1]
[15]	HEIJMANS H J A M, GOUTSIAS J. Morphological pyramids and wavelets based on the quincunx lattice[M]. Boston: Mathematical morphology and its applications to image and signal processing, 2000: 273-281. [本文引用:2]
[16]	KOVA E J, SWELDENS W. Wavelet families of increasing order in arbitrary dimensions[J]. IEEE Trans Image Process, 2000, 9(3): 480-496. [本文引用:1]
[17]	Open datasets[DB/OL]. [2018-03-20]. https://www.satimagingcorp.com. [本文引用:1]
[18]	Pléiades datasets[DB/OL]. [2018-03-20]. http://openremotesensing.net. [本文引用:2]

1990

0.0

... 早期的全色锐化方法包括主成分分析(Principle Component Analysis,PCA)、亮度-色度-饱和度模型(Intensity-Hue-Saturation,IHS)、Gram-Schm-idt正交化等方法^[1,2] ...

1991

0.0

... 早期的全色锐化方法包括主成分分析(Principle Component Analysis,PCA)、亮度-色度-饱和度模型(Intensity-Hue-Saturation,IHS)、Gram-Schm-idt正交化等方法^[1,2] ...

... 1)PCA^[2]:即主成分分析,该算法将多光谱的第1个主成分替换为全色波段,属于CS方法 ...

2000

0.0

... 近些年,随着以拉普拉斯金字塔变换、小波变换等为代表的多尺度变换的快速发展,基于多分辨分析(Multiresolution Analysis, MRA)的全色锐化方法逐渐引起关注^[3] ...

2007

0.0

... IEEE地球科学与遥感学会举办的全色锐化算法竞赛中^[4,5],以多孔小波变换(a trous Wavelet Transform, ATWT)^[6]和广义拉普拉斯金字塔变换(Generalized Laplacian Pyramid,GLP)^[7]为代表的MRA全色锐化方法都取得了突出的成绩 ...

... 2 评价指标为客观评价融合结果,本文选取全色锐化中广泛使用的评价指标^[4],包括: ...

2015

0.0

... 理论证明,该增益系数在最小化均方误差意义下能够实现最优^[5] ...

2005

0.0

... 2)AWLP^[6]:采用多孔小波变换,并利用IHS模型在亮度通道进行融合 ...

2002

0.0

... 本文采用基于上下文决定^[7]的增益系数为 ...

... 3)GLP-CBD^[7]:采用拉普拉斯金字塔变换和CBD增益模型式(19) ...

2007

0.0

... 为克服上述弊端,文献[8,9]提出基于多尺度几何变换(如曲波、非采样轮廓波等)的融合方法,利用不同尺度,不同方向的滤波器提取全色图像的细节信息 ...

2008

0.0

... 为克服上述弊端,文献[8,9]提出基于多尺度几何变换(如曲波、非采样轮廓波等)的融合方法,利用不同尺度,不同方向的滤波器提取全色图像的细节信息 ...

2014

0.0

... 文献[10]提出利用小波函数消失矩有效分离图像的低频信息与细节信息,降低融合图像光谱失真 ...

2016

0.0

... 文献[11]提出基于形态学梯度算子的全色锐化方法 ...

... 4)MF-HG^[11]:采用形态滤波(Morphological Fittering)中的半梯度算子(Half-gradient) ...

2000

0.0

... Heijmans等提出^[12],该变换借鉴了数学形态学中的一些非线性操作,如膨胀、腐蚀、开和闭等,同时拥有传统小波变换多尺度的特点 ...

... 上述变换称为非联结(uncoupled)形态小波^[12] ...

... 因此,式(8)恰为文献[12]中给出的一维Haar形态小波变换min-Haar ...

1998

0.0

... 构造满足上述条件的分析与综合算子并非易事,然而提升模式(lifting scheme)^[13]提供了一种有效途径 ...

2015

0.0

刘斌, 孙斌, 关淼苗, 等. 基于不可分加性小波与形态学梯度的图像边缘提取方法[J]. 量子电子学报, 2015, 32(6): 654-662.

LIU

Bin

, SUN

Bin

, GUAN

Miaomiao

, et al. Image edge detection method based on nonseparable additive wavelet and morphological gradient[J]. Chinese Journal of Quantum Electronics, 2015, 32(6): 654-662. (in Chinese)

In order to solve the problem that the traditional image edge detection techniques can only emphasize the horizontal and vertical edges, a new image edge extraction method combining the multi-resolution analysis of nonseparable additive wavelet transform and the mathematical morphology has been proposed. A low-pass filter of nonseparable wavelet is constructed and the source image is decomposed into a low-frequency sub-image and high-frequency sub-images. The low-frequency sub-image is filtered to obtain morphological gradient map. The high-frequency sub-images are added to form an enhanced high-frequency edge map by using modulus maxima value method. Inverse transform of nonseparable additive wavelet transform is performed on the gradient map and the edge map and an edge-gradient map is produced. The final edge map is got by binarizing the edge-gradient map. The experimental results show that the proposed method has good visual effect. When compared with the traditional image edge detection techniques, it can extract image edges with integrity, multidirection, shift invariance and high speed.

Schoot of Computer and Information Engineering, Hubei University, Wuhan 430062, China

针对传统的图像边缘提取方法只强调图像中的水平和垂直边缘的不足，提出了一种基于不可分加性小波和形态学梯度相结合的图像边缘提取方法。根据二维不可分小波理论构造了低通滤波器，利用它对原图像进行加性小波多尺度分解；对低频子图像求形态学梯度，对增强后的高频子图像取模极大值；将所得梯度图与边缘图作加性小波逆变换，得重构后的边缘梯度图；并利用二值形态学方法对其进行处理，得最终结果边缘图。实验结果表明，本文算法可获得较好的边缘图像，与经典的边缘提取方法相比，该方法具有完整性、多方向性、平移不变性和快速性的特点。

... 一方面,图像本质是二维信号,许多信息无法通过一维基函数的张量积来表征,如可分离小波变换只能提取水平、竖直与对角方向的边缘信息,但对其他方向的信息相对不敏感^[14] ...

2000

0.0

... 另一方面,不可分离形式更接近人类视觉系统对客观事物的感知^[15] ...

... 基于提升结构的梅花形形态小波变换^[15]利用局部残差最小化原则进行预测,再利用局部像素值最大化进行更新,结合图1(b)和图1(c),其算法如下 ...

2000

0.0

... 文献[16]提出一种具有指定阶消失矩的小波变换提升构造方法 ...

2018

0.0

... iades遥感卫星图像^[17,18] ...

2018

0.0

... iades遥感卫星图像^[17,18] ...

... 为检验所提算法的有效性,本文选取当前一些主流全色锐化算法^[18]进行比较,包括: ...