前沿层 · 方向四 · 18 分钟
高效推理:规划是花钱买回报
decision-time planning 每步要在潜空间试几百条动作序列(TD-MPC2 默认 512 条 × 6 轮),真机控制频率扛不住;rollout 越长、一步误差乘方复利越大。怎么用更少的搜索换同样的决策质量。
剥掉热词的本质
原帖没说错痛点,但漏了两个关键事实:一半解法就是方向五的分层(时间抽象=减少决策点=省算力),另一半是纯算法工程。而且搜索预算有明确的崩点——站内实验里回报随预算爬升,成功率只在最大预算下才出现。
原帖说法
探究世界模型驱动的状态预测、任务规划机制,打造低计算开销、高样本效率的推理方案。
帖子与真相
TD-MPC2 的 shortcut planning 是代表性思路:先让学好的策略 rollout 出「默认路线」,MPC 只在这个路线附近局部搜索——把搜索量从全空间砍到策略邻域。学出来的策略成了规划先验,这是策略学习和规划的合作而非二选一。
FOCUS 走另一路:高层只输出一个伯努利「偏好提示」选稀疏控制单元子集(人形机器人站起时只关注脚踝手腕),低层在被选维度上出动作,配序列蒙特卡洛规划。Enter the Void 则动态决定「何时重规划、视野多长」——承认每步都重规划是浪费,引入承诺机制。
还有一个文献里反复出现、原帖完全不提的坑:objective mismatch——预测得准的模型不一定是利于控制的模型。搜索越多,可能越自信地错。
真实论文锚点
无解码器潜空间模型 + MPC;shortcut planning——策略作规划先验,连续控制 SOTA,单模型 317 任务。
高层选稀疏控制单元子集 + 低层出动作 + 序列蒙特卡洛规划;高维任务的降维搜索。
分层规划器动态决定重规划时机与视野长度;把「每步重规划」的浪费显式管理起来。
需要的数学基础
| 这里的概念 | 站内落点 | 去哪学 |
|---|---|---|
| MPC 是什么 | 滚动时域的 DP 截断;值函数当终端项补偿视野 | /math/dp/ → |
| CEM / MPPI 是什么 | 随机优化方法的收敛与样本复杂度 | /math/optim/ → |
| 误差复利的形式化 | 马尔可夫链上的误差累积 | /math/markov/ → |
| 「策略当规划先验」的出处 | SAC 的熵与重参数化 | /fund/sac/ → |
能真跑的入门动作
怎么做
拿训好的世界模型,手写 CEM 规划器,扫「候选序列数 × 迭代轮数」的网格,画「每步想象前向次数 vs 回报」曲线。你会看到搜索预算砍到十分之一时回报通常只掉一点,然后在一个明确的点崩掉——高效推理挣的就是崩点之前那段。
实跑结果站内已跑:expCD_plan.py 实验C。14,400 次想象前向回报 1.13,138 万次 4.34;成功率只在最后一档出现(0.05)。另抓到一个坑:不加 receding-horizon warm start 时全预算成功率=0——elite 平均会把反相泵摆的候选平均成零。warm start 是必需品不是优化项。
坑
- 规划质量与延迟之间没有免费午餐:所有方法都在挪权衡位置,不消掉它。
- 长视野 rollout 误差复利:站内模型单步 Δθ 误差 0.058 rad,30 步想象 rollout 已显著走样——模型越糙,搜索越自信地错(objective mismatch)。
- 对比文献数字时先对齐预算口径:每步想象前向次数不同,回报不可直接比。