机器人入行指南
前沿层/方向四

前沿层 · 方向四 · 18 分钟

高效推理:规划是花钱买回报

decision-time planning 每步要在潜空间试几百条动作序列(TD-MPC2 默认 512 条 × 6 轮),真机控制频率扛不住;rollout 越长、一步误差乘方复利越大。怎么用更少的搜索换同样的决策质量。

想象 rollout潜空间预测序列CEM 搜索候选 × 迭代 = 预算warm start必需品不是优化项shortcutTD-MPC2 式省搜索实跑:回报随预算 1.13→4.34 单调爬升,成功率只在最大预算出现——崩点明确
18 分钟3 篇论文锚点4 处数学落点3 个坑

剥掉热词的本质

原帖没说错痛点,但漏了两个关键事实:一半解法就是方向五的分层(时间抽象=减少决策点=省算力),另一半是纯算法工程。而且搜索预算有明确的崩点——站内实验里回报随预算爬升,成功率只在最大预算下才出现。

原帖说法

探究世界模型驱动的状态预测、任务规划机制,打造低计算开销、高样本效率的推理方案。

帖子与真相

TD-MPC2 的 shortcut planning 是代表性思路:先让学好的策略 rollout 出「默认路线」,MPC 只在这个路线附近局部搜索——把搜索量从全空间砍到策略邻域。学出来的策略成了规划先验,这是策略学习和规划的合作而非二选一。

FOCUS 走另一路:高层只输出一个伯努利「偏好提示」选稀疏控制单元子集(人形机器人站起时只关注脚踝手腕),低层在被选维度上出动作,配序列蒙特卡洛规划。Enter the Void 则动态决定「何时重规划、视野多长」——承认每步都重规划是浪费,引入承诺机制。

还有一个文献里反复出现、原帖完全不提的坑:objective mismatch——预测得准的模型不一定是利于控制的模型。搜索越多,可能越自信地错。

真实论文锚点

TD-MPC2Hansen et al. · ICLR 2024

无解码器潜空间模型 + MPC;shortcut planning——策略作规划先验,连续控制 SOTA,单模型 317 任务。

FOCUSOpenReview 2025/2026

高层选稀疏控制单元子集 + 低层出动作 + 序列蒙特卡洛规划;高维任务的降维搜索。

Enter the VoidarXiv 2505.16787

分层规划器动态决定重规划时机与视野长度;把「每步重规划」的浪费显式管理起来。

需要的数学基础

这里的概念站内落点去哪学
MPC 是什么滚动时域的 DP 截断;值函数当终端项补偿视野/math/dp/ →
CEM / MPPI 是什么随机优化方法的收敛与样本复杂度/math/optim/ →
误差复利的形式化马尔可夫链上的误差累积/math/markov/ →
「策略当规划先验」的出处SAC 的熵与重参数化/fund/sac/ →

能真跑的入门动作

怎么做

拿训好的世界模型,手写 CEM 规划器,扫「候选序列数 × 迭代轮数」的网格,画「每步想象前向次数 vs 回报」曲线。你会看到搜索预算砍到十分之一时回报通常只掉一点,然后在一个明确的点崩掉——高效推理挣的就是崩点之前那段。

实跑结果站内已跑:expCD_plan.py 实验C。14,400 次想象前向回报 1.13,138 万次 4.34;成功率只在最后一档出现(0.05)。另抓到一个坑:不加 receding-horizon warm start 时全预算成功率=0——elite 平均会把反相泵摆的候选平均成零。warm start 是必需品不是优化项。

坑

接着看

全系列 6 个方向