来源：多模态信息融合

原文链接：https://mp.weixin.qq.com/s/ZUW21bMP5GzsBQ-ckCmEqw

城市规划、环境监测、灾害救援等都需要高质量的遥感影像来支撑。但是卫星传感器的物理极限使得“看得更清楚”成为了一个难题。多年来，该题目有两种解法——多帧超分(MFSR)和全色锐化(PanSharpening)，它们各有优势也有各自的局限性，但是长期以来一直被分开来研究。SatFusion是第一次把两条路线放在一起进行分析。

论文速览 · 核心信息

论文题目

SatFusion: A Unified Framework for Enhancing Remote Sensing Images via Multi-Frame and Multi-Source Images Fusion

作者

Yufei Tong, Guanjie Cheng†, Peihan Wu, Feiyi Chen, Xinkui Zhao, Shuiguang Deng

单位

浙江大学

论文链接

https://arxiv.org/abs/2510.07905

代码链接

https://github.com/yufeiTongZJU/SatFusion

01

两条平行的道路，每条路都有半个答案

两个范式、两个瓶颈

图1｜动机图：MFSR和PanSharpening之间存在“纹理融合缺口”（a-b）；对于模糊、噪声、错位等各种复合干扰，传统的全色锐化性能会崩溃，但是统一框架依然很稳定（c-d）。

想要理解SatFusion，首先要弄清楚它所要“合并”的两条路。两条路都解决着同一件事，避开卫星传感器所处的物理限制，得到更加清楚的照片；但是它们的想法却完全相反，短板也完全不同。

01

多帧超分MFSR：可以补充信息，但是不能补充高频纹理

多帧超分的方法很简单：同一样地，卫星会拍摄出几张稍微不同的低分辨率图像。利用帧和帧之间亚像素错位互相"补齐"，就可以重建出比单帧更加清晰的结果。它的优点就是抗噪性好——坏了一帧，还可以用其他的帧来替代。但是短板也很突出：所有的输入都为低分辨率，没有高分辨率结构先验。比如拼图缺少了"小图案"而只有"大图案"，拼出的结果虽然很稳定但是会发糊。图1(a-b)中所标出的Gap due to texture fusion(纹理融合缺口)，就是该瓶颈的一个直观表现。

两大范式

图2|MFSR(多帧→HR)和PanSharpening(LR MS + HR PAN → HR))的典型范式

02

全色锐化PanSharpening：有结构先验，但是害怕噪声和错位

全色锐化走的是另外一条路：同一个场景还有一个高分辨率全色（PAN）影像（一般只记录亮度而不会记录颜色），用它来给低分辨率多光谱（MS）影像"补细节"。全色影像提供的是真实的高频结构，在理论上细节是可以非常锐利的。但是问题出现在融合之前对低分辨率MS插值放大到PAN分辨率的过程当中，该过程会使得传感器噪声被放大，并且还会加重不同模态之间的错位。图1(c-d) 表明：当加入模糊、噪声、错位等扰动之后，传统的全色锐化效果将会出现断崖式的下降。

主要发现：MFSR擅长于利用多帧冗余、抗单帧噪声，但是缺乏高频先验；PanSharpening 可以得到清晰的结构，但是容易受到噪声和错位的影响。两者之间的优劣互相补充，打破隔阂、合作建模，才有可能找到突破口。

02

SatFusion：把两段路合并为一条

UNIFIED FRAMEWORK，SYNERGISTIC FUSION

图3｜SatFusion 框架总览：MFIF 聚合多帧 LR MS 语义特征，MSIF 注入 HR PAN 细粒度纹理，融合合成模块做像素级重加权；右侧(b-c)显示的是现有的MFSR/PanSharpening组件都可以接入到统一接口中

SatFusion的核心设计就是把“多帧互补”和“多源结构”一起纳入到一个端到端的框架中来，由三个模块共同完成：多帧图像融合(MFIF)模块从多张低分辨率多光谱帧中聚合出高分辨率语义特征；多源图像融合（MSIF）模块会把全色影像中的细小纹理加入进去；融合合成模块进行内容自适应的像素级重加权，得到最后的高质量多光谱图像。

任务定义：HR_MS^recon=F( {LR_MS,i}_i=1^k,HR_PAN)（式1）

图4-SatFusion*的PAN引导多帧融合模块：下采样PAN作为结构锚点参与到编码中去，根据空间自适应来生成动态的token，并且把token交给transformer做多帧聚合

01 MFIF 多帧融合：隐式对齐、告别显式上采样

传统的全色锐化需要在低分辨率MS显式上采样的基础上，噪声才会被放大。MFIF 模块换了一个思路：首先使用共享权重的编码器对每一帧进行独立编码到深度特征空间中，然后用融合算子来聚合互补的信息。最后使用PixelShuffle亚像素卷积把特征扩展到和PAN一样分辨率的程度——整个过程都不需要脆弱的插值，实现了隐式像素级别的对齐。更有趣的是，MFIF融合算子是一个“标准接口”：现有的MFSR中已经包含了2D/3D-CNN、Transformer模块等可以直接嵌入（图3-b）。

F_MFIF=MFIF_decode(MFIF_fusion( {MFIF_encode(LR_MS,i) }_i=1^k) )

02 MSIF 多源融合：把PAN纹理“注入”语义

在隐式对齐的高分辨率语义特征之上，MSIF模块负责把全色影像的细粒度空间纹理"注入"进来，得到细节丰富、多源融合的特征图；之后融合合成模块会先进行逐元素相加，然后再用残差卷积块（1×1卷积堆叠）来做内容自适应的像素级光谱重加权。现有的PanSharpening多源融合模块也可以无缝地集成到该接口中去（如图3-c所示）。从此以后就不用再背着“显式上采样”的包袱了。

F_MSIF=MSIF_fusion(F_MFIF,F_PAN^HR)
F_MSIF^HR=ConvBlock(F_MFIF+F_MSIF) + (F_MFIF+F_MSIF)

03 SatFusion*：把PAN当“向导”，用Transformer做“聚合”

在真实的卫星场景下，多帧图像经常出现错位的情况，并且帧数也不固定。SatFusion* 在 MFIF 阶段直接引入 PAN 引导：一是 PAN 引导编码——把下采样的 PAN 当作"弱几何锚点"，与每一帧拼接后送入共享编码器；二是PAN引导的空间自适应token，在每一个空间的位置上，用PAN特征动态地生成一个唯一的token，作为Transformer的“查询条件”。因此PAN就变成了“主动的、空间自适应的向导”，多帧聚合按需取舍——天然支持任意帧数，对错位和噪声的鲁棒性也大大提升。

X_t^enc=MFF_encode( [I_t^LR;F_PAN^LR] )

T_PAN(h,w) =MLP(LN(Conv_1×1(Encoder_pan(F_PAN^LR) ) ) )

Seq_input(h,w) =T^(M)( [T_PAN(h,w),X₁^enc(h,w)，……，X_k^enc(h, w) ] )

实验验证

图7｜推理帧数和训练不同也可以稳定住（Transformer 变体 k=64 仍然不掉，递归 CNN 变体则崩盘））；图8|压力测试：给SatFusion*喂带有噪声和错位的输入，最后反超得到理想的纯PanSharpening

联合损失：纹理保真×光谱一致

整个框架端到端训练，用加权多准则约束同时兼顾空间纹理和光谱一致性：MAE/MSE 保持像素重建，SSIM 保持高频结构SAM（光谱角映射）可以抑制多源融合带来的光谱失真。消融实验结果表明：只有保留像素损失的效果最差；去掉MFIF退化为单帧全色锐化、性能大跌；去掉MSIF中缺少PAN纹理；去掉融合合成模块的话，光谱的一致性就会受到影响——四个原则缺一不可。

L= λ₁L_MAE+ λ₂L_MSE+ λ₃L_SSIM+ λ₄L_SAM

λ1=0.3，λ2=0.3，λ3=0.2，λ4=0.2

实验结果是：四个数据集都处于领先地位

论文在真实的世界上和模拟的数据上一共用到了四个基准来加以验证。根据世界 strat（来自于spot 6/7卫星的数据）的真实数据，在统一框架下对MFSR基线进行比较：PSNR提高25.1%，ERGAS下降69.6%；全色锐化的平均PSNR为+2.2%，ERGAS下降了-12.0%。在 WV3、GF2、QB 三个模拟数据集上（物理启发流程合成亚像素错位、模糊与混合噪声）），平均PSNR+2.7%，ERGAS-9.6%。另外，上采样的倍数由原来的2倍拉伸到了现在的5倍，并且所有的框架都在每一个尺度上都压制了孤立的基线；输入帧数由8变到64的时候，Transformer版的SatFusion*依然很稳定。更多的定量内容请参见下面的表格。

表1|WorldStrat真实/模拟数据集：SatFusion*平均PSNR为47.38（真实），49.36（模拟）

表2 WV3/GF2/QB 模拟数据集：SatFusion* 平均PSNR 38.03/44.59/37.77

表3中γ=2/3/5三种放大倍数：统一框架在各个尺度上都比孤立基线好

为了使实验更接近于真实的卫星成像，该论文还采用了物理启发流程来合成带有亚像素错位、PSF/MTF 模糊以及泊松+高斯混合噪声的多帧序列（算法1）。把“理想模拟”和“现实成像”之间存在的差距填平了一大半。

算法1：物理启发退化序列合成：随机亚像素平移、高斯模糊、降采样、泊松/读出噪声

SatFusion的意义不只在于把两个领域的“拼”在一起：它还提供了一个可以扩展的统一接口，使得已经存在的MFSR和PanSharpening模块都可以即插即用；SatFusion*更进一步使PAN成为多帧聚合的“向导”，在任意帧数和扰动的情况下都能保持稳定。但是它并不是结束，在真实的传感器退化建模、跨域泛化、极端几何错位和跨传感器差异等问题上仍然存在很多未解之谜。但是方向已经很明确了：遥感影像增强的下一个时代，就是“互补”，而不能是“单选”。