来源：高德技术

文章链接：https://mp\.weixin\.qq\.com/s/BsZxEFGbp\_EjHVrCJNmozw

机器人学习国际会议 Conference on Robot Learning（CoRL） 是机器人学习与具身智能领域的重要国际学术会议之一，聚焦机器人感知、决策、控制、强化学习、模仿学习与生成式模型等前沿方向。

CoRL2026 共收到 2,094 篇有效投稿，投稿量接近上一年的 3 倍，也是 CoRL 创办以来规模最大的一届。最终共有 687 篇论文被录用，录用率约为 33%。

今天的四足机器人已经可以在碎石路面奔跑、上下楼梯、抵抗外力干扰。然而，当我们长时间观察一台机器狗时，仍然会发现一个明显的问题：它运动得越来越稳，却依然缺少丰富的“肢体语言”。

大多数四足机器人的动作库仍然集中在行走、慢跑、奔跑、跳跃等少数基础步态。它们擅长从一个地点移动到另一个地点，却很难像真正的动物伙伴一样，通过鞠躬、伸展、鼓掌、舞蹈、翻滚、后踢等动作表达情绪、回应用户或参与互动。

这背后的关键瓶颈并不只是控制算法，而是高质量、多样化动作数据的缺失。

在人形机器人领域，研究者可以利用大规模人体动作捕捉数据和互联网视频，快速构建丰富的动作库。但在四足机器人领域，传统路线通常需要先记录真实动物动作，再进行三维重建，最后把动物动作重定向到机器人。这意味着，机器人动作必须先经过一个与自身结构完全不同的“动物中间体”。

为解决这一问题，我们提出 Uni-Mo：不再要求动物配合采集动作，而是让生成式视频模型直接“想象”目标机器人应该如何运动，再将视频恢复为三维机器人轨迹，并通过强化学习训练成能够在真实机器狗上执行的控制策略。

换句话说，我们将四足机器人动作数据的获取方式，从“寻找和记录动物做过什么”，转变为“根据语言描述生成机器人可以做什么”。

Uni-Mo 是一套从自然语言到真实机器人动作的自动化流水线：

为了让生成视频能够被可靠地恢复成三维动作，我们进一步提出 Identity Consistency Loss，解决长视频中机器人外观漂移、肢体变形和结构“融化”等问题。

基于整套流水线，我们构建了 Quad-Imaginarium 数据集，其中包含：

在真实机器人实验中，Uni-Mo 在随机抽取的 392 个动作上取得了 96.7% 的部署成功率；在全部 7,488 个动作的仿真实验中，成功率达到 97.6%。

1. 动物动作数据难以规模化采集

真实动物无法像专业动作演员一样，按照任意语言指令完成指定动作，也无法稳定保持标定姿态或重复执行高难度行为。因此，现有动物动作捕捉数据往往集中在行走、奔跑和跳跃等常见运动上，难以覆盖真正具有互动性和表现力的动作。

更重要的是，数据采集的上限受到动物配合程度、物种差异、采集设备和人工成本的共同制约。即使投入更多人力，也很难像生成模型一样持续扩充动作长尾。

2. 从动物视频中恢复三维动作并不可靠

动物身体具有柔性表面，容易出现毛发遮挡、肢体自遮挡、外观变化和快速形变。不同物种、品种和体型之间也存在显著差异，使得单目视频中的三维姿态恢复非常困难。

相比人体领域成熟的 SMPL 模型，动物参数化模型及其配套数据仍不够完善。即使输入视频在视觉上清晰，恢复出的三维骨架也可能出现深度错误、时间抖动、脚底滑动或关节结构不稳定等问题。

3. 动物和机器人具有根本不同的身体结构

真实动物拥有柔性的脊柱、复杂的足部结构和呈 S 形分布的趾行腿，而 Unitree Go2 具有刚性躯干，每条腿只有髋关节、大腿关节和小腿关节三个主要驱动自由度。

因此，即便动物动作已经被准确恢复成三维骨架，把它映射到机器人上仍然是一个病态问题。跨形态重定向很容易产生违反关节限位、破坏足端接触或无法维持平衡的动作。

这三个问题看似独立，实际上都来自同一个隐含假设：机器人动作必须先经过动物身体。

Uni-Mo 的核心思路正是打破这一假设——既然最终执行动作的是机器人，就直接在目标机器人形态上生成、恢复和学习动作。

Uni-Mo 的核心创新，是构建了一套从自然语言动作描述出发，经过生成式视频、三维轨迹恢复和强化学习，最终将动作部署到真实四足机器人的自动化流水线。

整个流程不再依赖真实动物动作捕捉，也不需要将动物骨架强行重定向到机器人，而是直接围绕目标机器人生成和学习动作。具体而言，Uni-Mo 包含以下几个环节。

1. 用自然语言提出多样化动作

流水线首先使用大语言模型生成丰富的动作描述，例如鞠躬、伸展、鼓掌、舞蹈、爬行、后踢和后空翻等。与从有限的动物视频中寻找动作不同，语言提示可以灵活组合动作类型、身体部位和表现风格，使动作数据能够随着提示词和计算资源持续扩展。

2. 直接生成目标机器人的动作视频

Uni-Mo 将动作描述与一张固定的 Unitree Go2 参考图像输入视频扩散模型，让模型直接生成机器狗执行相应动作的视频。我们以 Wan2.2 图生视频模型为基础，通过 LoRA 进行机器人领域微调。每段生成视频包含 240 帧，分辨率为 832×480，帧率为 24 fps。

为了避免长视频中出现机身比例变化、腿部扭曲和外观漂移，流水线在视频生成阶段引入 Identity Consistency Loss（身份一致性损失）。该损失利用 DINOv2 外观特征库约束不同帧中的机器人身份，使模型在保留正常姿态变化的同时，维持稳定的刚性结构和外观一致性。最终使用的 20 帧外观特征库能够覆盖训练数据中 96.87% 的外观变化。

3. 将二维视频恢复为机器人三维轨迹

对于生成的视频，Uni-Mo 使用经过机器人渲染数据微调的 ViTPose，逐帧检测 17 个机器人关键点，再结合 Unitree Go2 的 URDF 模型进行前向运动学优化。

系统求解每一帧的三维根节点位置、根节点旋转和 12 个驱动关节角度，并加入时间平滑与足端接触约束，减少轨迹抖动和脚底滑动。最终，每帧动作被表示为一个 19 维状态向量：

3 维根节点位置 + 4 维根节点四元数 + 12 维关节角度。

由于生成对象从一开始就是目标机器人，恢复出的轨迹天然位于机器人的配置空间中，不再需要跨越动物与机器人之间的形态差异。

4. 通过多级筛选保证动作质量

并非所有生成视频都适合直接用于策略训练。Uni-Mo 依次使用三道质量关卡：

实验中，97.0% 的候选动作通过语义筛选，随后有 70.2% 通过几何筛选，最终总体保留率为 68.1%。这种“多生成、严筛选”的策略，能够避免错误轨迹进入真实机器人部署阶段。

5. 训练跟踪策略并部署到真实机器人

对于通过筛选的三维参考轨迹，Uni-Mo 在 MuJoCo 中使用 BeyondMimic 的 PPO 方法训练动作跟踪策略。训练采用 4,096 个并行环境，策略以 50 Hz 输出残差关节目标。

这里恢复出的三维动作并不是直接发送给电机的开环指令，而是策略需要跟踪的运动参考。强化学习负责在动力学、接触和平衡约束下，找到真正能够执行参考动作的控制方式。训练完成后，策略可以直接迁移到真实的 Unitree Go2，完成从自然语言描述到真实机器人行为的完整闭环。

通过这套流水线，Uni-Mo 将四足机器人动作数据的获取方式，从“采集动物做过的动作”转变为“生成机器人能够执行的动作”，使表现型动作库能够随着提示词规模与生成算力不断增长。

通过上述生成、恢复和筛选流程，我们构建了数据集 Quad-Imaginarium。

与依赖真实动物动作捕捉、人工遥操作或动画师制作的数据集不同，Quad-Imaginarium 中的动作由生成式流水线端到端合成。人工主要参与语言标签校正和动作语义审核，而不需要逐条制作机器人轨迹。

数据集中的每个动作均提供两种互补的语言标注：

运动学统计显示，Quad-Imaginarium 在偏航范围、俯仰范围、根节点高度变化、前后腿运动差异和关节角覆盖等维度上，均展现出比传统动作捕捉数据更丰富的分布，尤其补充了以往数据集中稀缺的非移动型、表现型动作。

更重要的是，这套数据引擎可以随着提示词和生成计算量不断扩展。四足机器人动作数据的规模不再主要取决于动物是否配合，而可以直接随着生成算力增长。

1. 视频生成质量

我们在相同的 182 条测试提示词上，对三种视频生成配置进行了比较：原始 Wan2.2、仅进行领域微调的 Wan-FT，以及加入身份一致性损失的完整方法。

领域微调使 FID 和 FVD 大幅下降，而加入身份一致性损失后，五项指标同时达到最佳结果。定性结果也显示，原始模型中常见的机身“融化”、腿部扭曲和比例漂移得到显著缓解。

2. 全数据集仿真跟踪

我们为全部 7,488 条轨迹训练动作跟踪策略，并以完整执行参考动作且不触发终止条件作为成功标准。

最终，97.6% 的轨迹能够在仿真中成功完成。平均跟踪误差为：

这表明，即使面对高度多样化的表现型动作，强化学习策略仍然能够保持稳定、准确的运动跟踪。

3. 真实 Unitree Go2 部署

为了验证整套流程在真实世界中的有效性，我们从数据集中随机抽取 392 个动作，覆盖数据集的完整运动学多样性，并在平坦室内环境中的 Unitree Go2 上进行测试。

每个动作独立执行 5 次。只有机器人完整完成动作，且过程中没有跌倒、不需要人工干预，才被记为成功。

最终，Uni-Mo 在真实机器人上取得了 96.7% 的部署成功率。机器人能够稳定完成爬行、鼓掌、舞蹈、踢腿、鞠躬、后空翻等多种动作，验证了从语言提示、生成式视频、三维恢复、策略学习到真实部署的完整链路。

Uni-Mo 为四足机器人动作学习提供了一条不同于传统动物动作捕捉的新路径。

1. 从“动物驱动”转向“机器人原生生成”

Uni-Mo 不再把真实动物作为动作数据的必要中间环节，而是直接生成目标机器人视频，并在机器人自身的 URDF 配置空间中恢复动作。这从源头上规避了动物数据稀缺、三维恢复脆弱和跨形态重定向困难三大问题。

2. 将通用视频模型转化为机器人动作数据引擎

身份一致性损失解决了通用视频扩散模型中的机器人外观漂移问题，使生成视频不只适合观看，还能够被可靠地转化为三维轨迹和可部署控制策略。

3. 让表现型动作随生成算力扩展

Quad-Imaginarium 表明，丰富的四足机器人动作库可以通过“生成—恢复—筛选—学习”的方式持续扩充。未来，机器人动作数据有望像图像、文本和视频数据一样，随着模型能力和计算资源增长而快速规模化。

当前方法仍存在一些局限。例如，视频生成模型的语义控制尚不完全精确，同一个提示词可能需要多次生成与人工筛选；三维恢复要求机器人在固定相机下保持完整可见，因此数据集目前更偏向原地表现型动作，而不是大范围移动。

未来，我们计划进一步探索：

从只会“走得稳”，到能够用动作进行表达和互动，四足机器人正在迈向更自然、更丰富的具身智能。Uni-Mo 希望让机器狗的每一个新动作，都不再依赖一次昂贵的动作捕捉，而可以从一句自然语言描述开始。

原文链接: https://www.leiphone.com/category/private/EFLW6mbJXxOqXcMn.html