机器人入行指南
前沿层/入门实验包

前沿层 · 实验包 · 约 30 分钟读完

四个真跑过的最小实验

配套四个方向的入门动作,全部真跑出数字:纯 numpy(无 PyTorch)、固定种子、几十行一个实验,总运行约 7 分钟。玩具规模,数字只用于看清机制,不与论文对比。每个实验的代码都是独立脚本,给定解释器路径即可复现。

A 不确定性集成收窄 + 概率头 σ=0.0477方向三B 遗忘1.00→0.00 vs 回放保住方向一C 预算回报 1.13→4.34 · 崩点明确方向四D 宏动作2880 vs 1,382,400 次方向五四个最小实验 · 全部真跑出数字纯 numpy 固定种子,总运行 ~7 分钟——每个数字都能亲手复现

跑通这四个实验,六大方向里一、三、四、五的核心机制就都亲手摸过了。二(开放环境)与六(sim2real)的入门实验以更大的框架为前提,站内给了替代路径。

实验A(方向三):集成不确定性——以及一个反转发现

设置 — 2D 平滑非线性系统 + σ=0.05 高斯噪声;5 个独立 MLP(同结构不同种子)在同样数据上训练;在 200 个固定测试输入上量成员间预测标准差(disagreement)随数据量的变化。

n_traindisagreementensemble 均值测试 MSE理论噪声底 σ
250.05310.01520.05
1000.01610.00330.05
4000.01000.00260.05
16000.01000.00240.05
160000.00800.00240.05

数字说明什么

反转发现:常见说法是「分歧会收敛到噪声底」,实跑显示它收敛到 0.008——远低于 σ=0.05。原因:MSE 训练的五个成员都在拟合同一个条件均值 E[y|x],彼此当然一致。证据:ensemble 均值的 MSE 收敛到 0.0024 ≈ σ²=0.0025(条件均值拟合得很好),成员间却几乎无分歧。MSE 集成根本看不见偶然噪声。

补上的对照:给网络加概率头(输出 μ 和 log σ²,高斯 NLL 损失),n=400 时预测 σ 均值 0.0477(真值 0.05),范围 0.040-0.063。概率头把偶然噪声显式补上,与集成分歧互补——PETS 的「概率集成」两个字就是这么来的。

实验B(方向一):灾难性遗忘——1.00 到 0.00 只需换个目标格

设置 — 5×5 网格世界,任务 A 目标 (0,4)、任务 B 目标 (0,3)——相邻两格,最优策略高度冲突。共享 MLP Q 函数(位置 onehot + 目标 onehot,隐层 16),DQN 式训练,每任务 300 回合。

条件训A后 A训B后 B训B后 A遗忘量
naive 顺序训练(buffer 丢弃)1.001.000.001.00
replay(混 25% A 旧样本)1.001.001.000.00
tabular 控制组(无共享参数)1.001.001.000.00

数字说明什么

目标格挪一格,旧任务成功率 1.00→0.00;把 25% 旧样本留在新任务的训练流里就完全保住。遗忘的根源是共享函数逼近的参数被新数据拖走,不是 RL 算法本身——tabular 控制组证明无共享就无遗忘。

论文级方法都是同一原理的放大版:经验回放(存旧样本)、生成式回放(旧世界模型做梦造样本)、任务条件化、干脆不共享(浅层在线重拟合)。

实验C(方向四):CEM 搜索预算——回报曲线与崩点

设置 — 单摆甩摆(θ=0 悬垂、θ=π 倒立,力矩上限 2.0 小于重力项,必须泵摆)。世界模型 = MLP 从 5 万条随机交互学出(单步 RMSE:Δθ 0.058 rad、ω 0.45 rad/s);CEM 全在模型想象里规划,结果一律在真值动力学上验收。扁平 CEM 视野 30 步。

候选C × 迭代I成功率平均回报每步想象前向次数
16 × 10.001.1314,400
16 × 30.001.6643,200
64 × 30.003.60172,800
256 × 30.003.66691,200
256 × 60.054.341,382,400

数字说明什么

回报随预算单调上升(1.13→4.34),但成功率只在最大预算档出现——「高效推理」挣的就是预算-回报曲线上的位置,崩点明确存在。TD-MPC2 的 shortcut planning、FOCUS 的稀疏化,挣的都是把这条曲线整体左移。

调试坑一:角度 wrap 的 ±π 跳变在数学上不可学——直接预测 θ' 时模型 RMSE 0.51 rad,改成预测连续 Δθ 再 wrap 才正常。真机世界模型的角度与接触不连续是同构问题。

调试坑二:不加 receding-horizon warm start 时,全预算成功率都是 0——elite 平均会把「先左摆再右摆」的反相泵摆候选平均成零力矩。warm start 是必需品,不是优化项。

实验D(方向五):宏动作分层——同等回报少 480 倍想象计算

设置 — 同一单摆、同一世界模型。高层 CEM 只在 5 个宏动作上规划(恒力矩 -2/-1/0/1/2 各持续 5 步),视野 6 宏 = 30 步;搜索空间从 30 维连续压到 6 维离散。

候选C × 迭代I成功率平均回报每步想象前向次数
8 × 10.002.20240
8 × 30.002.56720
16 × 30.053.211,440
32 × 30.154.122,880

数字说明什么

核心对比:宏动作 32×3 用 2,880 次想象前向拿到回报 4.12 ≈ 扁平 256×6 用 1,382,400 次的 4.34——同等回报少约 480 倍想象计算。且扁平 CEM 在 240 倍预算下(256×3,691,200 次)成功率仍是 0.00,宏动作却有 0.15:时间抽象买的不只是算力,还有搜索空间本身的难度。

同场加映的模型偏差课:所有实验成功率都上不去(≤0.15),根源不是搜索不够——模型单步 Δθ 还有 0.058 rad 误差,30 步想象 rollout 复利发散,想象里的完美计划到真值动力学上就走样。模型偏差直接兑现成败,这就是方向三(量化它)与方向六(修掉它)存在的理由。

四个实验合起来说了什么

合账

实验A:模型该「知道自己不知道」——但 MSE 集成只看得见 epistemic,aleatoric 要概率头。

实验B:持续学习的病灶 = 共享参数被拖走——replay 一剂就治(玩具版),论文级解法是同一原理。

实验C:规划是花钱买回报——预算-回报曲线有崩点,高效推理 = 左移曲线。

实验D:时间抽象是左移曲线的最狠手段——480 倍计算差。

合起来:世界模型落地 = 学得准(A)+ 记得住(B)+ 搜得起(C)+ 搜得巧(D)——正好对应六大方向里的三、一、四、五;二和六是它们的数据侧前提。

接着看