机器人入行指南
前沿层/方向五

前沿层 · 方向五 · 18 分钟

分层控制:宏动作省 480 倍想象计算

长视野任务里,让一个慢而抽象的高层出子目标/宏动作,一个快而具体的低层出原始动作,两层在潜空间对齐。源头是 Sutton 1999 的 Options 框架;世界模型版本=高层在想象中规划宏动作序列。

高层规划器意图 / 子目标慢世界模型预测与评估想象底层控制器连续动作快分层控制的当前主流结构实跑:宏动作 2,880 次想象前向 ≈ 扁平 CEM 1,382,400 次的回报——480 倍差距
18 分钟4 篇论文锚点4 处数学落点3 个坑

剥掉热词的本质

方向真实且是当前主流结构,但原帖说的「协同训练」恰是最难的部分——文献里大量工作选择冻结一层只训另一层,因为联合训练两层极不稳定。原帖把这最难的一步说成了默认选项。

原帖说法

构建高层规划器与底层控制器协同训练机制,精准完成长视野复杂任务的拆解、分步执行。

帖子与真相

最清晰的入门样例是 Shepherd-Dreamer:上层 DreamerV3 世界模型加 CEM 在 12 个离散宏动作上规划,下层是纯几何原语(无学习),每个宏动作 15 个低层步。数百步长视野、稀疏奖励的牧羊任务,RTX 4090 上 2.5 小时收敛,结构图、训练配置、CEM 伪代码全公开。

2026 年的 HWM 把这层的理论账算清了:长视野规划有两个根本困难——预测误差随 rollout 复利累积、搜索树随视野指数爆炸。它的解法是不学分层策略、做分层规划:两层世界模型共用同一潜空间,高层预测宏动作(由动作编码器把低层动作序列压缩成潜向量)下的长跳转移,子目标在两层间直接可换算。这解决了单层规划器「贪心任务行、需要暂时远离目标的非贪心任务不行」的短板。

产业侧同构:V-JEPA 2-AC 的「AC 出动作、世界模型出想象」、Cosmos-Reason 的「推理层出决策、执行层出动作」都是广义分层。源头是 Options(Sutton 1999)与封建网络。

真实论文锚点

Shepherd-Dreamer2025 · 开源

DreamerV3 + CEM 在宏动作上规划、下层固定原语;最清晰的开源入门样例,RTX 4090 2.5 小时收敛。

Hierarchical Planning with Latent World Models (HWM)arXiv 2604.03208 · 2026

双时间尺度世界模型 + 学习的宏动作编码;不学分层策略、做分层规划,子目标两层直换。

Training Agents inside of Scalable World ModelsHafner · arXiv 2509.24527 · 2025

Dreamer 系官方路线图,分层是明确方向。

Options frameworkSutton, Precup & Singh · 1999

时间抽象的源头:宏动作、内部策略、终止条件三件套。

需要的数学基础

这里的概念站内落点去哪学
宏动作改变了什么MDP 的时间粒度变粗:半马尔可夫决策过程/math/mdp/ →
两层各管一个视野怎么分账动态规划的两种迭代/math/dp/ →
低层策略的训练机制Actor-Critic 与 GAE/fund/ac/ →
高层没给奖励时低层怎么学目标重标记 HER/fund/her/ →

能真跑的入门动作

怎么做

复刻 Shepherd-Dreamer 的结构(宏动作原语可换成自己的):MiniGrid 里做「高层只允许发 4 个子目标 + 低层执行 10 步」的设定,对比扁平策略在 50 步任务上的成功率与样本效率。重点观察冻结下层后高层能否独立收敛、两层同时放开会出什么事。

实跑结果站内已跑:expCD_plan.py 实验D。5 个宏(恒力矩 -2/-1/0/1/2 各 5 步)× 高层视野 6 宏:宏动作 CEM 用 2,880 次想象前向达到回报 4.12,扁平 CEM 要 1,382,400 次才到 4.34。

坑

接着看

全系列 6 个方向