来源：龙哥读论文

文章链接：https://mp.weixin.qq.com/s/Yf4HUyTkjkiYzwKqFsjgsg

               

  以往我们看到的Agent做图像恢复，大多是把几个预训练好的模型拼在一起，靠LLM或者VLM一个一个地选、一个一个地调。但龙哥最近推过的一些Agent方法（比如AgenticIR），暴露了一个核心问题：工具之间根本不会“说人话”，各干各的，最后效果就卡住了。哈工大和华为这篇OPERA给了我们一个全新的思路——不仅让Agent自己学会规划最优的“工具组合拳”，还让这些工具在Agent的“监视”下共同训练，学会怎么配合。结果很硬核，在复杂混合退化上PSNR直接飙升了4个多dB。这种端到端的“规划-执行”联合优化，可以说是把Agent做图像恢复的蛋糕重做了一遍，非常值得细读！
       

原论文信息如下：

论文标题:
OPERA: An Agent for Image Restoration with End-to-End Joint Planning–Execution Optimization

发表日期:
2026年05月

发表单位:
哈尔滨工业大学（HIT）、华为诺亚方舟实验室（Huawei Noah's Ark Lab）

原文链接:
https://arxiv.org/pdf/2605.22104v1.pdf

开源代码链接:
https://github.com/xsyshuishui/Opera

大家有没有想过，一张你随手拍的照片，可能同时包含了模糊、噪点、雾霾、压缩痕迹……现实世界的图像退化从来不是单打独斗，而是一群“坏家伙”组团搞破坏。比如在监控摄像头拍摄的雨夜街景中，雨丝本身就带来模糊，低光照导致噪声，远距离物体还可能有雾霾效果。要是有人能看穿这种“组合拳”并一键修复，那该多好。

传统的“全能型”模型（All-in-One）试图用一个网络搞定所有退化，但往往像是“万金油”——什么都能涂一点，但什么都不精。最终结果要么过平滑丢失细节，要么对特定退化无感。于是，最近两年的新思路是：Agent 智能体——用一个大语言模型或视觉语言模型当“指挥官”，从一大堆专用工具（去噪、去模糊、去雨等）里挑出合适的并排个顺序，依次执行。

听起来很理想，对吧？但龙哥看了几个已有的 Agent 方法（比如 AgenticIR [48] 和 RestoreAgent [4]）后，发现它们普遍患有“偏头痛”和“社交恐惧症”。偏头痛是指：这些 Agent 的规划空间非常有限——它们要么假设退化类型与工具一一对应（检测到噪声就去噪），要么一步一步贪婪地选工具（只看这一步的提升），结果错过了很多更优的“组合拳”。社交恐惧症是指：这些工具都是独立预训练的模块，互相之间从没配合过。当工具 A 处理完后，输出的数据分布变了，工具 B（原本针对某种退化训练）可能就“懵逼”了。结果就是：各自为战，效果大打折扣。

为了验证这个判断，论文作者们做了一项非常细致的实证研究：在有限工具集（4种退化：噪声、雨、雾、模糊）下，穷举所有可能的工具序列（最长4步），一共340种可能的规划，然后看哪些方案最终能得到最好的恢复质量。结果令人大吃一惊——

图1：多工具协同图像恢复的实证研究。放大查看图像细节。

图1揭示了两条反常识的发现：

发现1：用“无关”的工具反而更好。在60%的高性能方案中，包含了与退化类型“无关”的工具。例如，一张没有噪声的图像，应用去噪工具后居然提升了质量（见图1a）。这说明工具之间会互相影响，有些工具能“纠正”前一步带来的副作用。

发现2：重复使用同一个工具也管用。77.6%的高性能方案中，至少有一个工具被重复使用。如果把重复去掉，效果明显下降（图1b）。这说明有些退化需要“加码”处理。

这两条发现直接“打脸”了现有Agent的规划策略——它们太死板了！真实的复杂退化场景需要更灵活、全局的规划，以及工具之间的“协同进化”。

OPERA如何打破规划“紧箍咒”？

面对规划空间受限的痛点，哈尔滨工业大学与华为诺亚方舟实验室的研究团队提出了一个大胆的想法——OPERA（Optimized Planning-Execution Restoration Agent），让 Agent 直接“一次送出”完整规划，并用强化学习优化整个规划，不再依赖手工设计的规则或一步步贪心决策。

图2：OPERA框架概览。(a) 规划优化：恢复智能体通过组相对策略优化（GRPO）进行训练，端到端生成完整的恢复计划，并根据最终图像质量获得奖励。(b) 执行优化：推理时，智能体生成恢复计划，由专用工具执行。工具在智能体的指导下进行联合优化，以在多退化场景中有效协作。

这个方法的核心思想是：既然组合空间太大、没有标准答案，那就让 Agent 自己去“摸索”。OPERA 的 Agent 基于一个视觉语言模型（VLM）——具体是 VisualQualityR1 [39]（基于 Qwen2.5-VL-7B-Instruct 微调得到），该模型本身就具备一定的图像质量评估能力，相当于给 Agent 装上了“品味感知”。然后，论文使用 组相对策略优化（Group Relative Policy Optimization，简称 GRPO [28]）来训练 Agent 输出完整的工具序列。GRPO 是 DeepSeek 提出的一种高效强化学习算法，不需要价值网络，而是通过同一 prompt 下生成多个候选响应，然后根据组内相对优劣计算优势，从而更新策略。

规划优化的奖励函数设计得相当精巧，包含四个组成部分：

恢复奖励 R_q：这是最主要的奖励——执行完规划后得到的结果图像，通过多个图像质量评估（IQA）指标（如 PSNR、SSIM、LPIPS、CLIP-IQA、MUSIQ）加权组合来打分。分数越高，说明规划越好。

退化预测奖励 R_d：训练数据中我们已知输入的退化类型（因为是合成的），所以让 Agent 同时预测图像中存在哪些退化，并计算 F1 分数。这个辅助任务可以加速 Agent 对退化状态的感知，帮助它更快找到好规划。

格式奖励 R_f 和一致性奖励 R_c：前者确保 Agent 的输出能被可靠解析（先思考、再预测退化集、最后输出规划）；后者则通过一个 LLM 裁判（Pangu-Embedded-7B）检查推理过程与最终规划是否一致，防止 Agent 学会了“不经过思考直接蒙答案”的捷径。

最终奖励 R = R_q × R_d × R_f × R_c。这种乘积形式保证了四个条件必须同时满足才能获得高奖励，缺失任何一个都会导致奖励归零，从而避免 Agent 走偏。

论文还使用了公式来表示 GRPO 的目标函数（图7），这里展示一下：

GRPO 目标函数公式：其中 θ 是策略参数，x 是输入图像，G 是组内候选数，r_i(θ) 是重要性采样比率，A_i 是优势函数，ε 是裁剪阈值，β 是 KL 散度惩罚系数。

让工具“联手”：执行优化的魔力在哪？

规划优化只是第一步。就算 Agent 规划出了顶级的工具组合，如果每个工具还是“各玩各的”，效果照样拉胯。OPERA 的第二个大招就是执行优化——让所有工具在 Agent 生成的规划下进行联合微调，学会“团队协作”。

具体做法是：对于每个训练样本，Agent 生成一个规划（工具序列），然后按顺序执行。前一个工具的输出作为后一个工具的输入。最终输出的图像与真实清晰图像计算损失，梯度反向传播更新所有参与的工具参数。用公式表示就是：

工具链前向传播公式：x₀ = I_LQ, x_k = M_k(x_{k-1}), I_pred = x_K，其中 K 是工具链长度。

损失函数也是一个多目标的“鸡尾酒”：

联合训练损失函数：包含像素级损失（L1）、感知损失（VGG）、感知相似度损失（LPIPS），以及基于无参考指标MUSIQ和CLIP-IQA的质量损失。

其中各项子损失的具体形式如下（公式截图）：

L1损失：像素绝对值误差。

VGG感知损失：在预训练VGG网络多个层上计算特征差异的L1范数。

LPIPS损失：在特定特征空间中的加权通道距离。

MUSIQ损失：1 - (MUSIQ分数 / 100)。

CLIPIQA损失：1 - CLIPIQA分数。

为了训练稳定，论文还采用了渐进式损失调度：训练初期偏重像素级损失，然后逐渐增加感知损失的权重。这个调度由下面公式控制：

γ(e) = ½ (1 - cos(π·e/T))，e ∈ [1,T]，其中 T 是总训练步数，e 是当前步数。

这种联合训练带来的好处是巨大的：工具不再固执己见，而是学会适应前一个工具输出后的“中间状态”。例如，去噪工具可能会“手下留情”，不过度平滑细节，因为知道自己之后还有去模糊工具可以找回一些细节。实验表明，经过联合训练的工具，在处理输入图像中的“无关退化”时，产生的副作用大幅减少（见表12）。

更关键的是，OPERA 使用的工具集合比现有方法更小：对比表4可以看出，OPERA 只用16个预训练模型（来自 Restormer、X-Restormer、SwinIR），而 4KAgent 用了39个，MAIR用了34个。工具少但性能反而提升，这充分说明了“少而精，配合好”的重要性。

表4：不同智能系统使用的工具集对比。本方法使用的工具集显著更小，仅为基线系统的一个子集。

实验证明：从标准测试到真实场景的全方位胜利

OPERA 在三个标准测试集（AgenticIR 的 A、B、C 组）和两个真实场景数据集（RTTS 和 LHP）上进行了全面评估。结果可以用“碾压”来形容。

表1展示了在 AgenticIR 基准上的定量对比：

表1：在 AgenticIR 的 A、B、C 组上的定量比较。报告了全参考指标（PSNR↑、SSIM、LPIPS↓）和无参考指标（MANIQA、CLIP-IQA、MUSIQ）。A/B/C组包含退化组合。‘Ours (Planning)’表示仅优化规划同时使用预训练工具。‘Ours (Full)’包含规划和执行训练。最佳结果以粗体显示，次佳结果以下划线标出。详细结果见附录G。

看数据：在 Group A（双退化）和 Group B（双退化，不同组合）上，仅规划优化版本（Ours Planning）就已经超越了所有先前的全能模型和Agent系统。当加上执行优化后（Ours Full），PSNR 直接比第二名 4KAgent 高出 3 dB 以上（Group A: 24.81 vs 21.48, Group B: 24.63 vs 20.95）。在难度最高的 Group C（三退化）上，OPERA Full 取得了 23.04 dB 的 PSNR，比 4KAgent 的 19.77 高了 3.27 dB，LPIPS 更是从 0.43 降至 0.30（越低越好）。这意味着图像还原的细节和感知质量都大幅提升。

图3展示了直观的对比效果：

图3：在 AgenticIR 基准上的定性比较 [48]。

可以清楚看到，OPERA 恢复的图像更加清晰自然，毛发等精细纹理得以保留，而基线方法则出现模糊或伪影。

更令人信服的是模型在真实世界数据上的泛化能力。在 RTTS 数据集（真实雾天图像）上，OPERA 取得了 28.18/0.914 的 PSNR/SSIM，远远超过第二名 4KAgent（24.33/0.859），甚至优于专门的去雾模型。

表2：在 RTTS（真实雾天）上的泛化性能。

在 LHP 数据集（真实低光照和混合退化）上，OPERA 同样表现最佳：

表3：在 LHP 数据集上的泛化性能。

除了性能，论文还分析了训练动态。图4展示了使用GRPO训练时，不同奖励组件的作用：

图4：规划优化的GRPO训练动态。

图5展示了一致性奖励如何防止 Agent 的输出长度坍缩（没有一致性奖励时，模型会逐渐缩短回答，变成“思考惰性”）：

图5：有无一致性奖励的训练过程中平均响应长度对比。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

1. 这篇论文解决什么问题？真实世界图像中混合多种退化（噪声、模糊、雨、雾、压缩等）的恢复问题。现有方法分为两类：全能模型（精度不够）和Agent方法（规划受限、工具不协作）。OPERA 通过端到端联合优化规划和执行来解决。

2. 什么是GRPO？它和PPO有什么不同？GRPO（Group Relative Policy Optimization）是DeepSeek提出的一种强化学习算法。不同于PPO需要训练一个价值网络来估计状态价值，GRPO从同一prompt下生成一组候选响应，基于组内相对优劣来计算优势。这样不需要价值网络，节省计算资源，且对生成式任务效果更好。

3. 渐进式损失调度为什么重要？在训练初期，模型输出质量较差，直接使用感知损失可能导致不稳定。渐进式调度先让模型关注像素级准确性（使用L1损失），随着训练进行逐步增加感知损失权重。这样模型先学到基本的图像结构，再优化精细纹理，训练更稳定，最终效果更好。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

论文的贡献清晰：将Agent规划从“分步走”改进为“一次生成+RL优化”，并让工具联合训练学会协作。虽然GRPO和联合训练不是全新概念，但将它们结合到图像恢复Agent中是首次，并且实验证明了显著提升。

实验合理度：★★★★★

实验设计非常充分：包括标准基准、真实数据集、多种消融。对比了所有主流全能模型和最新的Agent方法。工具集使用更少但效果更好，公平性有保障。消融实验分析了退化采样比例、一致性奖励、不同IQA指标的影响，非常系统。

学术研究价值：★★★★☆

开创了图像恢复Agent中“规划+执行”联合优化的范式，为后续研究提供了新思路。提出的奖励设计和联合训练方法具有很强的启发意义，可迁移到其他智能体领域（如视频恢复、图像增强）。

稳定性：★★★★☆

在标准基准和真实数据集上表现一致优异，未出现反弹现象。工具联合训练后，在健康图像上误用导致的性能衰减大幅降低（表12），说明鲁棒性得到提升。

适应性以及泛化能力：★★★★★

在合成数据上训练，在真实数据上依然表现优异。工具集覆盖8种常见退化，并且通过组合方式可以应对各种混合情况。论文还测试了不同退化采样比例的影响，证明了在多退化场景下训练的优势。

硬件需求及成本：★★★☆☆

训练阶段需要7B级别的VLM模型，GRPO训练需要多卡GPU（论文用32 batch size）。推理时Agent一次前向即可生成规划，工具执行采用预训练模型，整体推理负载可控。但相比纯小模型方法，计算量较大。

复现难度：★★★★☆

代码已开源（GitHub链接见论文信息），工具模型也是公开的预训练模型。但GRPO训练部分依赖VisualQualityR1和Pangu-Embedded-7B，这些模型和训练代码的具体细节需要自行适配。总体上复现难度适中。

产品化成熟度：★★☆☆☆

虽然效果好，但依赖7B大模型推理规划，实时性受限。在实际产品中（如手机照片修复、视频监控实时增强）可能难以达到低延迟需求。不过可作为云端服务提供高精度恢复。

可能的问题：

1. 规划长度固定为最大4步，对于复杂场景可能不够灵活。2. 训练数据全部为合成退化，与真实退化分布仍有差异。3. 工具集固定，无法动态添加新工具，可扩展性受限。4. 推理时Agent生成规划的单次前向虽然快，但VLM的部署成本仍需考量。