前沿层 · 方向五 · 18 分钟
分层控制:宏动作省 480 倍想象计算
长视野任务里,让一个慢而抽象的高层出子目标/宏动作,一个快而具体的低层出原始动作,两层在潜空间对齐。源头是 Sutton 1999 的 Options 框架;世界模型版本=高层在想象中规划宏动作序列。
剥掉热词的本质
方向真实且是当前主流结构,但原帖说的「协同训练」恰是最难的部分——文献里大量工作选择冻结一层只训另一层,因为联合训练两层极不稳定。原帖把这最难的一步说成了默认选项。
原帖说法
构建高层规划器与底层控制器协同训练机制,精准完成长视野复杂任务的拆解、分步执行。
帖子与真相
最清晰的入门样例是 Shepherd-Dreamer:上层 DreamerV3 世界模型加 CEM 在 12 个离散宏动作上规划,下层是纯几何原语(无学习),每个宏动作 15 个低层步。数百步长视野、稀疏奖励的牧羊任务,RTX 4090 上 2.5 小时收敛,结构图、训练配置、CEM 伪代码全公开。
2026 年的 HWM 把这层的理论账算清了:长视野规划有两个根本困难——预测误差随 rollout 复利累积、搜索树随视野指数爆炸。它的解法是不学分层策略、做分层规划:两层世界模型共用同一潜空间,高层预测宏动作(由动作编码器把低层动作序列压缩成潜向量)下的长跳转移,子目标在两层间直接可换算。这解决了单层规划器「贪心任务行、需要暂时远离目标的非贪心任务不行」的短板。
产业侧同构:V-JEPA 2-AC 的「AC 出动作、世界模型出想象」、Cosmos-Reason 的「推理层出决策、执行层出动作」都是广义分层。源头是 Options(Sutton 1999)与封建网络。
真实论文锚点
DreamerV3 + CEM 在宏动作上规划、下层固定原语;最清晰的开源入门样例,RTX 4090 2.5 小时收敛。
双时间尺度世界模型 + 学习的宏动作编码;不学分层策略、做分层规划,子目标两层直换。
Dreamer 系官方路线图,分层是明确方向。
时间抽象的源头:宏动作、内部策略、终止条件三件套。
需要的数学基础
| 这里的概念 | 站内落点 | 去哪学 |
|---|---|---|
| 宏动作改变了什么 | MDP 的时间粒度变粗:半马尔可夫决策过程 | /math/mdp/ → |
| 两层各管一个视野怎么分账 | 动态规划的两种迭代 | /math/dp/ → |
| 低层策略的训练机制 | Actor-Critic 与 GAE | /fund/ac/ → |
| 高层没给奖励时低层怎么学 | 目标重标记 HER | /fund/her/ → |
能真跑的入门动作
怎么做
复刻 Shepherd-Dreamer 的结构(宏动作原语可换成自己的):MiniGrid 里做「高层只允许发 4 个子目标 + 低层执行 10 步」的设定,对比扁平策略在 50 步任务上的成功率与样本效率。重点观察冻结下层后高层能否独立收敛、两层同时放开会出什么事。
实跑结果站内已跑:expCD_plan.py 实验D。5 个宏(恒力矩 -2/-1/0/1/2 各 5 步)× 高层视野 6 宏:宏动作 CEM 用 2,880 次想象前向达到回报 4.12,扁平 CEM 要 1,382,400 次才到 4.34。
坑
- 「协同训练」是这条线最难的 open problem,不是默认配置——先冻结一层再谈。
- 两层时间尺度差太大,低层学会「装样子」:子目标达到但任务没推进。
- 高层的信用分配没有干净解:子目标全对但最终失败,功过怎么分是 open 的。