前沿层 · 方向二 · 20 分钟
开放环境适应:先预训世界观,再上线补任务
先从大量离线数据(无奖励、非专家)预训一个「对世界的一般理解」,上线后用少量在线交互微调到具体任务;遇到没见过的环境,把多个领域专家模型临时拼起来用。
剥掉热词的本质
原帖说的「任务路由」真身是测试时的专家混合:把观察编码后与各域的原型向量比对,按权重稀疏混合 K 个预训练世界模型——不是训练一个全能单模型。「零样本」的适用范围取决于离线数据覆盖:模型只在训练分布覆盖处可信。
原帖说法
设计模块化动态模型+任务路由机制,融合离线先验知识与在线交互数据,高效复用模型权重,大幅提升长视野任务的持续学习、零样本泛化能力。
帖子与真相
这条线 2025 年最重要的数据点是 Meta 的 V-JEPA 2:一百万小时互联网视频预训练,只加 62 小时机器人数据,新物体新环境的抓放成功率 65-80%。「少数据上真机」的可行性第一次被工业级证明。
方法论代表是 DINO-WM(ICML 2025):冻结 DINOv2 视觉特征,只在潜空间预测特征演化,离线训练、测试时优化动作序列,六个环境族零样本。它的关键主张是:策略不训练、规划时现算——泛化不靠见过所有情况,靠运行时搜索。
「任务路由」的确有其事:测试时混合世界模型(TMoW)把各域专家模型当作可检索组件,观察编码后按原型距离做 softmax 稀疏加权,原型还能在线更新。Generalist World Model 预训练(arXiv 2502.19544)补了另一半:280M 参数 RSSM 多本体预训练加 offline-to-online 微调,且预训练时去掉任务相关损失反而更好——学「世界怎么动」而非「任务怎么赢」。
真实论文锚点
100 万小时视频预训练 + 62 小时真机数据,新环境抓放 65-80%;潜空间预测而非像素重构。
冻结视觉特征 + 潜空间动态 + 测试时规划,六环境族零样本;开放环境路线最值得先读的一篇。
原帖「任务路由」的真身:测试时按原型检索并稀疏混合多个预训练世界模型专家。
280M RSSM 多本体预训练 + offline-to-online 微调;预训练时去掉任务损失反而更好。
需要的数学基础
| 这里的概念 | 站内落点 | 去哪学 |
|---|---|---|
| 分布偏移的形式化 | 条件分布变了:条件期望的构造 | /math/condexp/ → |
| 离线数据的策略评估 | 期望的严格构造 | /math/expect/ → |
| 离线数据没有奖励标注怎么办 | 目标重标记的合法性证明 | /fund/her/ → |
| 预训练表征为什么可迁移 | 函数逼近的崩坏条件 | /fund/approx/ → |
能真跑的入门动作
怎么做
DINO-WM 代码开源。最小复现:MuJoCo 推箱任务,随机策略采两百条轨迹当离线数据,训一个小潜空间动态模型,测试时用 CEM 在潜空间规划到目标图像。重点体会「策略不训练、规划时现算」与「策略训好、部署即前传」两种范式的差别。
实跑结果站内实验 C+D 的单摆世界模型就是这个范式的最小版:从随机交互学模型、规划全在想象里做、真值只用于验收——模型偏差对成败的影响在那一页有实跑数字。
坑
- 「预训练世界模型 + 微调」范式下,微调阶段梯度会把预训练表征冲掉——持续适应的前提是先解决方向一。
- 离线数据的覆盖范围决定可信预测范围,超出覆盖的零样本宣称要逐条查。
- 「零样本」常被宽松使用:V-JEPA 2 的 62 小时真机数据也是数据,纯零样本真机操作目前不存在。