机器人入行指南
前沿层/方向二

前沿层 · 方向二 · 20 分钟

开放环境适应:先预训世界观,再上线补任务

先从大量离线数据(无奖励、非专家)预训一个「对世界的一般理解」,上线后用少量在线交互微调到具体任务;遇到没见过的环境,把多个领域专家模型临时拼起来用。

预训练表征DINO-WM 类 · 视觉先验地基模块化动态拆开可换结构任务路由测试时多专家混合TMoW离线+在线先验融合交互数据适应开放环境持续适应的四个积木「任务路由」的真身是测试时的专家混合——不是训练一个全能模型
20 分钟4 篇论文锚点4 处数学落点3 个坑

剥掉热词的本质

原帖说的「任务路由」真身是测试时的专家混合:把观察编码后与各域的原型向量比对,按权重稀疏混合 K 个预训练世界模型——不是训练一个全能单模型。「零样本」的适用范围取决于离线数据覆盖:模型只在训练分布覆盖处可信。

原帖说法

设计模块化动态模型+任务路由机制,融合离线先验知识与在线交互数据,高效复用模型权重,大幅提升长视野任务的持续学习、零样本泛化能力。

帖子与真相

这条线 2025 年最重要的数据点是 Meta 的 V-JEPA 2:一百万小时互联网视频预训练,只加 62 小时机器人数据,新物体新环境的抓放成功率 65-80%。「少数据上真机」的可行性第一次被工业级证明。

方法论代表是 DINO-WM(ICML 2025):冻结 DINOv2 视觉特征,只在潜空间预测特征演化,离线训练、测试时优化动作序列,六个环境族零样本。它的关键主张是:策略不训练、规划时现算——泛化不靠见过所有情况,靠运行时搜索。

「任务路由」的确有其事:测试时混合世界模型(TMoW)把各域专家模型当作可检索组件,观察编码后按原型距离做 softmax 稀疏加权,原型还能在线更新。Generalist World Model 预训练(arXiv 2502.19544)补了另一半:280M 参数 RSSM 多本体预训练加 offline-to-online 微调,且预训练时去掉任务相关损失反而更好——学「世界怎么动」而非「任务怎么赢」。

真实论文锚点

V-JEPA 2 / V-JEPA 2-ACMeta · 2025-06

100 万小时视频预训练 + 62 小时真机数据,新环境抓放 65-80%;潜空间预测而非像素重构。

DINO-WM: World Models on Pre-trained Visual FeaturesICML 2025 · NYU

冻结视觉特征 + 潜空间动态 + 测试时规划,六环境族零样本;开放环境路线最值得先读的一篇。

Test-time Mixture of World Models2025-2026 多版本

原帖「任务路由」的真身:测试时按原型检索并稀疏混合多个预训练世界模型专家。

Generalist World Model Pre-Training for Efficient RLarXiv 2502.19544

280M RSSM 多本体预训练 + offline-to-online 微调;预训练时去掉任务损失反而更好。

需要的数学基础

这里的概念站内落点去哪学
分布偏移的形式化条件分布变了:条件期望的构造/math/condexp/ →
离线数据的策略评估期望的严格构造/math/expect/ →
离线数据没有奖励标注怎么办目标重标记的合法性证明/fund/her/ →
预训练表征为什么可迁移函数逼近的崩坏条件/fund/approx/ →

能真跑的入门动作

怎么做

DINO-WM 代码开源。最小复现:MuJoCo 推箱任务,随机策略采两百条轨迹当离线数据,训一个小潜空间动态模型,测试时用 CEM 在潜空间规划到目标图像。重点体会「策略不训练、规划时现算」与「策略训好、部署即前传」两种范式的差别。

实跑结果站内实验 C+D 的单摆世界模型就是这个范式的最小版:从随机交互学模型、规划全在想象里做、真值只用于验收——模型偏差对成败的影响在那一页有实跑数字。

坑

接着看

全系列 6 个方向