机器人入行指南
前沿层/方向六

前沿层 · 方向六 · 18 分钟

仿真到现实:像素差距是表象,物理差距是本体

在仿真里学的东西到真机失灵——两个世界的条件分布不是同一个。世界模型路线的特殊答案:与其修仿真器,不如让模型从真实视频里自己学「物理长什么样」。

域对抗(2018 老路线)·对齐特征分布·对接触密集几乎无贡献·视觉逼真≠物理对当前真前沿·V-JEPA 2:62h 真机数据 65–80%·Cosmos:物理引擎当 ground truth·在线微调vs域对抗停在 2018;「物理锚定 + 少量真机」是现在的产业答案
18 分钟4 篇论文锚点4 处数学落点3 个坑

剥掉热词的本质

原帖说的「域对抗」是 2018 年的方法,作为前沿介绍是误导。2026 年的主战场是两条:视频预训练世界模型 + 极少量真机数据(V-JEPA 2 路线),以及物理锚定仿真 + 生成式渲染(Cosmos 路线)。行业共识:视觉逼真对接触密集任务的迁移几乎没有贡献——摩擦系数差一点,画面再真也是白训。

原帖说法

通过在线微调、域对抗训练、因果干预等方法,解决仿真与现实的域偏移问题,提升世界模型在真实机器人平台的泛化落地能力。

帖子与真相

经典三条(2017-2020,原帖方法基本停在这个年代):域随机化(Tobin 2017——仿真参数乱抖,真机只是抖动范围里的一种采样)、RMA(2020——在线自适应模块从机器人自己的近期历史里推断环境参数)、域对抗(DAC/DARLA 一系 2018——原帖「域对抗训练」的真身)。

第一条新路线:视频预训练世界模型造真机数据。DreamGen(NVIDIA)让视频世界模型想象「如果这个动作做了会怎样」,从想象帧里提取伪动作标签训真机策略;V-JEPA 2 用 62 小时真机数据在新环境抓放拿到 65-80%——「少数据上真机」的工业级证明。

第二条新路线:物理锚定。Cosmos-Transfer 的分工是物理引擎(Omniverse)当 ground truth、生成模型只负责把渲染变逼真——物理正确性锚定在仿真器上,生成模型不负责发明物理。2026 年的 Cosmos 3 把三件套合成一个模型。

「因果干预」是原帖少数有前瞻性的词:接触动力学(摩擦、碰撞、软体)的因果结构是 sim-to-real 差距的核心,这是正在展开的方向。

真实论文锚点

V-JEPA 2Meta · 2025-06

视频预训练 + 62h 真机数据 → 新环境抓放 65-80%;当前「少数据上真机」的最强数据点。

DreamGenNVIDIA · 2024/2025

视频世界模型想象未来帧、提取伪动作标签训真机策略;用世界模型造真机训练数据。

Cosmos-Transfer / Cosmos 3NVIDIA · 2025-2026

物理引擎当 ground truth + 生成模型做渲染变化;物理锚定路线的代表。

Domain Randomization / RMA / DACTobin 2017 · Kumar 2020 · 2018

经典三条:随机化、在线自适应、域对抗——原帖方法停在的这一代。

需要的数学基础

这里的概念站内落点去哪学
域偏移的形式化条件分布变了:哪些条件变量两域共享/math/condexp/ →
迁移误差界源域能对目标域做多大保证/math/ineq/ →
域对抗为什么难训minmax 的约束优化视角/math/optim/ →
域随机化为什么有效宽分布训练出的表征抗参数扰动/fund/approx/ →

能真跑的入门动作

怎么做

Isaac Sim 或 Gazebo(站内 /tut/gazebo-arm/ 直接可用)做对照实验:同一个抓取策略,一组固定物理参数训练、一组摩擦/质量/延迟随机化训练,各在「参数被扰动的仿真」里测成功率差。不用真机就能量出域随机化买的鲁棒性值多少。进阶:把扰动参数当隐变量,训一个小网络从历史轨迹推断它——RMA 的最小版。

实跑结果站内对应实验在准备清单上:把实验 C+D 的世界模型训练数据从 5 万砍到 5 千,看模型偏差如何把真机成功率再打下来——模型偏差与域偏移在数学上是同一件事的两种说法。

坑

接着看

全系列 6 个方向