目的为了解决传统全色锐化方法中空间细节恢复不足、光谱保持不稳定及上采样退化等问题,本文提出一种基于棱镜金字塔融合(Prism Pyramid Fusion,PPFusion)的细节保持型全色锐化网络,以实现空间与光谱特征的协同优化。方法所提网络首先对低分辨率多光谱图像(Low-Resolution Multispectral Image,LRMS)进行上采样,使其与全色图像(Panchromatic Image,PAN)在空间尺度上对齐,并将二者堆叠作为网络输入。网络的主干部分由差分增强卷积模块(Differentially Enhanced Convolution Module,DEConv)与Restormer模块组成,两者并行提取高频纹理与长程光谱依赖特征,并通过多次特征交互实现逐级细节恢复。随后,融合阶段设计了层次化内容引导的注意力融合模块(Hierarchical Content-Guided Attention Fusion Module,HCGAF),将LRMS、PAN、初步融合结果及前一阶段融合特征进行多尺度内容引导融合,以获得光谱一致且纹理丰富的最终输出。此外,本文提出了双分支注意力引导的共享上采样模块(Dual-Branch Attention-Guided Shared Upsampling Module,DASU)作为正则化约束,上采样模块独立学习从低分辨率到高分辨率域的映射,并在损失函数中设计了主干输出与上采样输出之间的一致性约束,从而稳定训练并提升模型的泛化能力。结果在WorldView-3、GaoFen-2和QuickBird三个数据集上的实验结果表明,本文提出的PPFusion在PSNR、SAM、ERGAS及QNR等指标上优于现有代表性方法,并在复杂场景下生成纹理更清晰、边缘更自然的融合图像。消融实验进一步验证了DEConv模块在高频增强、Restormer模块在光谱建模、HCGAF模块在层次融合及DASU约束在稳定训练中的关键作用。结论本文提出的PPFusion网络通过“差分增强-Restormer重建-层次化融合-上采样约束”四者协同机制,在光谱-致性与空间锐度之间取得了良好平衡,为高分辨率遥感图像的融合与重建提供了一种高效、可扩展的新思路。
Shanshan et al. (Thu,) studied this question.