前沿层 · 实验包 · 约 30 分钟读完
四个真跑过的最小实验
配套四个方向的入门动作,全部真跑出数字:纯 numpy(无 PyTorch)、固定种子、几十行一个实验,总运行约 7 分钟。玩具规模,数字只用于看清机制,不与论文对比。每个实验的代码都是独立脚本,给定解释器路径即可复现。
跑通这四个实验,六大方向里一、三、四、五的核心机制就都亲手摸过了。二(开放环境)与六(sim2real)的入门实验以更大的框架为前提,站内给了替代路径。
实验A(方向三):集成不确定性——以及一个反转发现
设置 — 2D 平滑非线性系统 + σ=0.05 高斯噪声;5 个独立 MLP(同结构不同种子)在同样数据上训练;在 200 个固定测试输入上量成员间预测标准差(disagreement)随数据量的变化。
| n_train | disagreement | ensemble 均值测试 MSE | 理论噪声底 σ |
|---|---|---|---|
| 25 | 0.0531 | 0.0152 | 0.05 |
| 100 | 0.0161 | 0.0033 | 0.05 |
| 400 | 0.0100 | 0.0026 | 0.05 |
| 1600 | 0.0100 | 0.0024 | 0.05 |
| 16000 | 0.0080 | 0.0024 | 0.05 |
数字说明什么
反转发现:常见说法是「分歧会收敛到噪声底」,实跑显示它收敛到 0.008——远低于 σ=0.05。原因:MSE 训练的五个成员都在拟合同一个条件均值 E[y|x],彼此当然一致。证据:ensemble 均值的 MSE 收敛到 0.0024 ≈ σ²=0.0025(条件均值拟合得很好),成员间却几乎无分歧。MSE 集成根本看不见偶然噪声。
补上的对照:给网络加概率头(输出 μ 和 log σ²,高斯 NLL 损失),n=400 时预测 σ 均值 0.0477(真值 0.05),范围 0.040-0.063。概率头把偶然噪声显式补上,与集成分歧互补——PETS 的「概率集成」两个字就是这么来的。
实验B(方向一):灾难性遗忘——1.00 到 0.00 只需换个目标格
设置 — 5×5 网格世界,任务 A 目标 (0,4)、任务 B 目标 (0,3)——相邻两格,最优策略高度冲突。共享 MLP Q 函数(位置 onehot + 目标 onehot,隐层 16),DQN 式训练,每任务 300 回合。
| 条件 | 训A后 A | 训B后 B | 训B后 A | 遗忘量 |
|---|---|---|---|---|
| naive 顺序训练(buffer 丢弃) | 1.00 | 1.00 | 0.00 | 1.00 |
| replay(混 25% A 旧样本) | 1.00 | 1.00 | 1.00 | 0.00 |
| tabular 控制组(无共享参数) | 1.00 | 1.00 | 1.00 | 0.00 |
数字说明什么
目标格挪一格,旧任务成功率 1.00→0.00;把 25% 旧样本留在新任务的训练流里就完全保住。遗忘的根源是共享函数逼近的参数被新数据拖走,不是 RL 算法本身——tabular 控制组证明无共享就无遗忘。
论文级方法都是同一原理的放大版:经验回放(存旧样本)、生成式回放(旧世界模型做梦造样本)、任务条件化、干脆不共享(浅层在线重拟合)。
实验C(方向四):CEM 搜索预算——回报曲线与崩点
设置 — 单摆甩摆(θ=0 悬垂、θ=π 倒立,力矩上限 2.0 小于重力项,必须泵摆)。世界模型 = MLP 从 5 万条随机交互学出(单步 RMSE:Δθ 0.058 rad、ω 0.45 rad/s);CEM 全在模型想象里规划,结果一律在真值动力学上验收。扁平 CEM 视野 30 步。
| 候选C × 迭代I | 成功率 | 平均回报 | 每步想象前向次数 |
|---|---|---|---|
| 16 × 1 | 0.00 | 1.13 | 14,400 |
| 16 × 3 | 0.00 | 1.66 | 43,200 |
| 64 × 3 | 0.00 | 3.60 | 172,800 |
| 256 × 3 | 0.00 | 3.66 | 691,200 |
| 256 × 6 | 0.05 | 4.34 | 1,382,400 |
数字说明什么
回报随预算单调上升(1.13→4.34),但成功率只在最大预算档出现——「高效推理」挣的就是预算-回报曲线上的位置,崩点明确存在。TD-MPC2 的 shortcut planning、FOCUS 的稀疏化,挣的都是把这条曲线整体左移。
调试坑一:角度 wrap 的 ±π 跳变在数学上不可学——直接预测 θ' 时模型 RMSE 0.51 rad,改成预测连续 Δθ 再 wrap 才正常。真机世界模型的角度与接触不连续是同构问题。
调试坑二:不加 receding-horizon warm start 时,全预算成功率都是 0——elite 平均会把「先左摆再右摆」的反相泵摆候选平均成零力矩。warm start 是必需品,不是优化项。
实验D(方向五):宏动作分层——同等回报少 480 倍想象计算
设置 — 同一单摆、同一世界模型。高层 CEM 只在 5 个宏动作上规划(恒力矩 -2/-1/0/1/2 各持续 5 步),视野 6 宏 = 30 步;搜索空间从 30 维连续压到 6 维离散。
| 候选C × 迭代I | 成功率 | 平均回报 | 每步想象前向次数 |
|---|---|---|---|
| 8 × 1 | 0.00 | 2.20 | 240 |
| 8 × 3 | 0.00 | 2.56 | 720 |
| 16 × 3 | 0.05 | 3.21 | 1,440 |
| 32 × 3 | 0.15 | 4.12 | 2,880 |
数字说明什么
核心对比:宏动作 32×3 用 2,880 次想象前向拿到回报 4.12 ≈ 扁平 256×6 用 1,382,400 次的 4.34——同等回报少约 480 倍想象计算。且扁平 CEM 在 240 倍预算下(256×3,691,200 次)成功率仍是 0.00,宏动作却有 0.15:时间抽象买的不只是算力,还有搜索空间本身的难度。
同场加映的模型偏差课:所有实验成功率都上不去(≤0.15),根源不是搜索不够——模型单步 Δθ 还有 0.058 rad 误差,30 步想象 rollout 复利发散,想象里的完美计划到真值动力学上就走样。模型偏差直接兑现成败,这就是方向三(量化它)与方向六(修掉它)存在的理由。
四个实验合起来说了什么
合账
实验A:模型该「知道自己不知道」——但 MSE 集成只看得见 epistemic,aleatoric 要概率头。
实验B:持续学习的病灶 = 共享参数被拖走——replay 一剂就治(玩具版),论文级解法是同一原理。
实验C:规划是花钱买回报——预算-回报曲线有崩点,高效推理 = 左移曲线。
实验D:时间抽象是左移曲线的最狠手段——480 倍计算差。
合起来:世界模型落地 = 学得准(A)+ 记得住(B)+ 搜得起(C)+ 搜得巧(D)——正好对应六大方向里的三、一、四、五;二和六是它们的数据侧前提。