机器人入行指南
底层/不收敛怎么查:把症状映射回公式

底层 11 / 11 · 诊断

不收敛怎么查:把症状映射回公式

十一种常见曲线形状对应公式里的具体一项。附训练前必做的三个体检和两个对照实验

约 45 分钟综合8 段推导4 题自测

一句话结论

训练不收敛不是玄学。每一种曲线形状都对应公式里一个具体的项——把症状映射到项,就能定位,不需要靠网格搜索试运气。这一篇是前十篇的索引,每条都标了回哪一篇看推导。

前十篇是「为什么」,这一篇是「怎么办」。真机上 90% 的时间花在这里,而大部分人的做法是改学习率再跑一遍——那是在用随机搜索代替诊断。

符号表

符号含义
体检训练开始前就能做完的三项检查
对照实验改一个变量、看差异是否超过种子噪声
种子噪声同一份代码换随机种子带来的指标波动,通常 5~20 个点

推导

  1. 训练前的三个体检(不做这三项,后面所有曲线都不可信)
  2. 曲线锯齿、loss 忽大忽小
  3. Q 单调上升、不回落,成功率不涨
  4. 成功率长期为 0、loss 很快降到 0
  5. 策略熵迅速归零、动作变确定
  6. 训练指标好、评测差(泛化裂缝)
  7. 两个必做的对照实验
  8. 一张速查表(把症状和篇号对上)

1. 训练前的三个体检(不做这三项,后面所有曲线都不可信)

这三项都在几分钟内能跑完,且能提前排除掉一半的失败原因。

① 能否对 1 个 batch 过拟合到 loss≈0 ② Q 值范围 ③ 策略熵

为什么能这么写① 用 1 个 batch 反复训 200 步,loss 必须降到接近 0。降不下去 → 模型容量、学习率或标签构造错了,跟算法无关。② Q 应在 0 到 R_max/(1-γ) 之间(第 2 篇)。跑到 1e4 → 奖励尺度错或 target 没同步。③ 熵应该缓慢下降而不是一步到 0(第 9 篇的 α)。

现象:不收敛 / 炸十几种可能分层定位数据 / 目标 / 网络 / 超参抓到根因通常 1 个RL 调试不是调参,是排除法:同一现象的可能来源横跨整条管线

2. 曲线锯齿、loss 忽大忽小

这是梯度的信噪比问题,不是算法问题。三个常见来源按概率排序。

锯齿 ↑ → batch 太小 / 学习率太大 / advantage 没归一化

为什么能这么写先查 advantage 归一化(第 7 篇):不同 batch 的优势尺度可能差几倍,不归一化等于学习率在随机波动。其次看 batch:PPO 的 minibatch 小于 64 时锯齿几乎是必然的。最后才是学习率。

3. Q 单调上升、不回落,成功率不涨

九个里有八个是奖励尺度或 target 的问题。因为 Q 的正反馈只能来自 bootstrap。

Q ↑↑ → 奖励每步都给 / γ 太接近 1 / target 网络未同步

为什么能这么写判断方法:打印一个 batch 的 Q 均值和 target 均值。两者同步上涨且远超 R_max/(1-γ) → 奖励尺度错。若 target 比 Q 高一个固定量 → 奖励符号或多加了一项(比如熵项的符号错,见第 9 篇例题)。

4. 成功率长期为 0、loss 很快降到 0

这是「零信号」的典型特征,不是「学得慢」。加训练步数毫无作用。

loss→0 且 奖励恒 0 → 稀疏奖励且无有效 HER / 容差过小 / 动作被 clip 到无效区

为什么能这么写按顺序查:奖励是否只在终止给(是→正确);HER 是否开启且 ε 大于单步位移(第 10 篇,这是最常错的一处);动作是否被 clip 到 [-1,1] 但环境期望的是别的范围(症状是动作饱和、轨迹完全重复)。

5. 策略熵迅速归零、动作变确定

确定化本身不是问题,过早确定化才是。它意味着「探索停止时还没找到解」。

熵 ↓↓ → α 太小 / 熵系数太小 / log π 算错(漏 tanh 修正会假装熵很高)

为什么能这么写第 9 篇第 5 节的坑:漏掉 log-det 修正会让 log π 偏大,自动 α 调节误以为「已经够随机」,于是把 α 压到 0。查法:打印 log π 的绝对值,应该在动作维数量级(比如 6 维 → 6 左右),明显偏小就是漏了修正。

6. 训练指标好、评测差(泛化裂缝)

这是分布不一致,不是过拟合。RL 里「过拟合」这个词经常被误用。

训练好评测差 → 观测归一化统计不一致 / 域随机化不足 / 评测时的初始状态分布不同

为什么能这么写最隐蔽的一处:训练时用 running mean/std 归一化观测,评测时忘了加载同一份统计量(或用了新的 running 统计)。症状是评测时策略输出完全无意义但代码不报错。第二常见是评测用固定初始状态而训练用随机的。

7. 两个必做的对照实验

它们分别回答两个不同的问题,缺一个就会误判。

① 关掉随机化看能否学会 ② 固定种子重复 3 次看方差

为什么能这么写①分辨「任务太难」还是「算法错」:关掉域随机化还学不会 → 算法/奖励有问题,别再调随机化幅度。②分辨「真提升」还是「种子运气」:RL 的种子方差经常 10~20 个点,比你的改动效果还大。三个种子都提升才算提升。

8. 一张速查表(把症状和篇号对上)

下面是本系列前十篇的索引。查的时候先看症状,再回去看那一篇对应的推导。

Q 过估计 → 第 3 篇;方差大 → 第 4/7 篇;策略不动 → 第 6 篇;更新太猛 → 第 8 篇;探索消失 → 第 9 篇;零信号 → 第 10 篇

为什么能这么写最后一条经验:改一个变量、跑三个种子、记录 baseline。RL 实验最贵的不是算力,是「你以为改了但没改」和「改了两个变量不知道是谁的功」。

手算一遍

一个抓取任务:Q 值稳定在 0.3 附近不动,loss 从 0.8 快速降到 0.001,成功率 0。检查发现奖励是「距离小于 5cm 给 1,否则 0」,HER 已开,ε=0.01,平均每步位移 4cm。诊断并给出修法。

  1. loss 快速降到 0 且 Q 恒定 → 典型的零信号,不是学得慢(第 10 篇第 1 节)
  2. ε=0.01 远小于每步位移 0.04 → future 重标记几乎产不出正样本(第 10 篇第 4 节)
  3. 只剩 j=i 的对角样本可用,它们教的是「停在原地」→ 策略不动、成功率 0
答

修法:把 ε 提到 0.04~0.08(单步位移的 1~2 倍),确认 her_ratio 在 0.8 左右保留真目标,重跑三种子。次要修法:提高控制频率让单步位移变小,这比放宽容差更根本,但会拉长 episode。

跑一遍

一个 20 行的「训练前体检」脚本骨架。它不含训练逻辑,只把你该打印的东西固定下来——这一步能省掉后面几小时。

python · 只要 numpy
import numpy as np

def health_check(q_batch, rew_batch, logp_batch, gamma, r_max, act_dim):
    q = np.asarray(q_batch); r = np.asarray(rew_batch)
    bound = r_max / (1 - gamma)
    print('Q 均值 %.3f  min %.3f  max %.3f' % (q.mean(), q.min(), q.max()))
    print('理论上界 R_max/(1-gamma) = %.2f' % bound)
    if q.max() > 3 * bound:
        print('  [FAIL] Q 远超上界:查奖励是否每步都给 / target 是否同步')
    print('奖励非零比例 %.3f' % (r != 0).mean())
    if (r != 0).mean() < 0.01:
        print('  [WARN] 奖励极稀疏:确认 HER 开启且 eps 大于单步位移')
    lp = np.asarray(logp_batch)
    print('log pi 均值 %.3f  期望量级约 -%d' % (lp.mean(), act_dim))
    if abs(lp.mean()) < 0.3 * act_dim:
        print('  [FAIL] log pi 偏小:可能是漏了 tanh 的 log-det 修正')
    print('done')

health_check([0.3, 0.31, 0.29], [0, 0, 0], [-0.02, -0.03, -0.01], 0.99, 1.0, 2)

看到这个就算过

三行输出会分别命中「奖励极稀疏」和「log pi 偏小」两条告警——这正是上面例题里那个任务的体检结果。在自己项目上跑通这个函数,比跑十次训练有用。

自测 4 题

先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。

01为什么「对 1 个 batch 过拟合」这一项能排除掉一半的故障?

因为它把「能不能学」和「该不该学」分开了。如果连 3 个样本都拟合不了,问题必然在模型、损失或数据管线,不在算法、超参或环境。

02训练三个种子结果分别是 40%、55%、35%,你改了一处得到 50%。这算提升吗?

不算。差异落在种子噪声范围内(±10 点)。至少三个种子、看均值与最小值,或直接增大评测 episode 数降低噪声。

03为什么「训练好评测差」在 RL 里通常不是过拟合?

因为 RL 的样本不是独立同分布的,模型参数量远小于数据量的情况很少见。更常见的原因是训练与评测的观测分布、归一化统计、初始状态分布不一致。

04知道 Q 的理论上界有什么用?

它是唯一能在训练中实时判断「critic 是否已经错」的硬指标。曲线看不出来,但这个数一旦越界 3 倍,一定是奖励尺度或 target 的问题,不用再看别的。

接着看

全系列 11 篇