底层 11 / 11 · 诊断
不收敛怎么查:把症状映射回公式
十一种常见曲线形状对应公式里的具体一项。附训练前必做的三个体检和两个对照实验
一句话结论
训练不收敛不是玄学。每一种曲线形状都对应公式里一个具体的项——把症状映射到项,就能定位,不需要靠网格搜索试运气。这一篇是前十篇的索引,每条都标了回哪一篇看推导。
前十篇是「为什么」,这一篇是「怎么办」。真机上 90% 的时间花在这里,而大部分人的做法是改学习率再跑一遍——那是在用随机搜索代替诊断。
符号表
| 符号 | 含义 |
|---|---|
体检 | 训练开始前就能做完的三项检查 |
对照实验 | 改一个变量、看差异是否超过种子噪声 |
种子噪声 | 同一份代码换随机种子带来的指标波动,通常 5~20 个点 |
推导
- 训练前的三个体检(不做这三项,后面所有曲线都不可信)
- 曲线锯齿、loss 忽大忽小
- Q 单调上升、不回落,成功率不涨
- 成功率长期为 0、loss 很快降到 0
- 策略熵迅速归零、动作变确定
- 训练指标好、评测差(泛化裂缝)
- 两个必做的对照实验
- 一张速查表(把症状和篇号对上)
1. 训练前的三个体检(不做这三项,后面所有曲线都不可信)
这三项都在几分钟内能跑完,且能提前排除掉一半的失败原因。
为什么能这么写① 用 1 个 batch 反复训 200 步,loss 必须降到接近 0。降不下去 → 模型容量、学习率或标签构造错了,跟算法无关。② Q 应在 0 到 R_max/(1-γ) 之间(第 2 篇)。跑到 1e4 → 奖励尺度错或 target 没同步。③ 熵应该缓慢下降而不是一步到 0(第 9 篇的 α)。
2. 曲线锯齿、loss 忽大忽小
这是梯度的信噪比问题,不是算法问题。三个常见来源按概率排序。
为什么能这么写先查 advantage 归一化(第 7 篇):不同 batch 的优势尺度可能差几倍,不归一化等于学习率在随机波动。其次看 batch:PPO 的 minibatch 小于 64 时锯齿几乎是必然的。最后才是学习率。
3. Q 单调上升、不回落,成功率不涨
九个里有八个是奖励尺度或 target 的问题。因为 Q 的正反馈只能来自 bootstrap。
为什么能这么写判断方法:打印一个 batch 的 Q 均值和 target 均值。两者同步上涨且远超 R_max/(1-γ) → 奖励尺度错。若 target 比 Q 高一个固定量 → 奖励符号或多加了一项(比如熵项的符号错,见第 9 篇例题)。
4. 成功率长期为 0、loss 很快降到 0
这是「零信号」的典型特征,不是「学得慢」。加训练步数毫无作用。
为什么能这么写按顺序查:奖励是否只在终止给(是→正确);HER 是否开启且 ε 大于单步位移(第 10 篇,这是最常错的一处);动作是否被 clip 到 [-1,1] 但环境期望的是别的范围(症状是动作饱和、轨迹完全重复)。
5. 策略熵迅速归零、动作变确定
确定化本身不是问题,过早确定化才是。它意味着「探索停止时还没找到解」。
为什么能这么写第 9 篇第 5 节的坑:漏掉 log-det 修正会让 log π 偏大,自动 α 调节误以为「已经够随机」,于是把 α 压到 0。查法:打印 log π 的绝对值,应该在动作维数量级(比如 6 维 → 6 左右),明显偏小就是漏了修正。
6. 训练指标好、评测差(泛化裂缝)
这是分布不一致,不是过拟合。RL 里「过拟合」这个词经常被误用。
为什么能这么写最隐蔽的一处:训练时用 running mean/std 归一化观测,评测时忘了加载同一份统计量(或用了新的 running 统计)。症状是评测时策略输出完全无意义但代码不报错。第二常见是评测用固定初始状态而训练用随机的。
7. 两个必做的对照实验
它们分别回答两个不同的问题,缺一个就会误判。
为什么能这么写①分辨「任务太难」还是「算法错」:关掉域随机化还学不会 → 算法/奖励有问题,别再调随机化幅度。②分辨「真提升」还是「种子运气」:RL 的种子方差经常 10~20 个点,比你的改动效果还大。三个种子都提升才算提升。
8. 一张速查表(把症状和篇号对上)
下面是本系列前十篇的索引。查的时候先看症状,再回去看那一篇对应的推导。
为什么能这么写最后一条经验:改一个变量、跑三个种子、记录 baseline。RL 实验最贵的不是算力,是「你以为改了但没改」和「改了两个变量不知道是谁的功」。
手算一遍
一个抓取任务:Q 值稳定在 0.3 附近不动,loss 从 0.8 快速降到 0.001,成功率 0。检查发现奖励是「距离小于 5cm 给 1,否则 0」,HER 已开,ε=0.01,平均每步位移 4cm。诊断并给出修法。
- loss 快速降到 0 且 Q 恒定 → 典型的零信号,不是学得慢(第 10 篇第 1 节)
- ε=0.01 远小于每步位移 0.04 → future 重标记几乎产不出正样本(第 10 篇第 4 节)
- 只剩 j=i 的对角样本可用,它们教的是「停在原地」→ 策略不动、成功率 0
修法:把 ε 提到 0.04~0.08(单步位移的 1~2 倍),确认 her_ratio 在 0.8 左右保留真目标,重跑三种子。次要修法:提高控制频率让单步位移变小,这比放宽容差更根本,但会拉长 episode。
跑一遍
一个 20 行的「训练前体检」脚本骨架。它不含训练逻辑,只把你该打印的东西固定下来——这一步能省掉后面几小时。
import numpy as np
def health_check(q_batch, rew_batch, logp_batch, gamma, r_max, act_dim):
q = np.asarray(q_batch); r = np.asarray(rew_batch)
bound = r_max / (1 - gamma)
print('Q 均值 %.3f min %.3f max %.3f' % (q.mean(), q.min(), q.max()))
print('理论上界 R_max/(1-gamma) = %.2f' % bound)
if q.max() > 3 * bound:
print(' [FAIL] Q 远超上界:查奖励是否每步都给 / target 是否同步')
print('奖励非零比例 %.3f' % (r != 0).mean())
if (r != 0).mean() < 0.01:
print(' [WARN] 奖励极稀疏:确认 HER 开启且 eps 大于单步位移')
lp = np.asarray(logp_batch)
print('log pi 均值 %.3f 期望量级约 -%d' % (lp.mean(), act_dim))
if abs(lp.mean()) < 0.3 * act_dim:
print(' [FAIL] log pi 偏小:可能是漏了 tanh 的 log-det 修正')
print('done')
health_check([0.3, 0.31, 0.29], [0, 0, 0], [-0.02, -0.03, -0.01], 0.99, 1.0, 2)看到这个就算过
三行输出会分别命中「奖励极稀疏」和「log pi 偏小」两条告警——这正是上面例题里那个任务的体检结果。在自己项目上跑通这个函数,比跑十次训练有用。
自测 4 题
先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。
01为什么「对 1 个 batch 过拟合」这一项能排除掉一半的故障?
因为它把「能不能学」和「该不该学」分开了。如果连 3 个样本都拟合不了,问题必然在模型、损失或数据管线,不在算法、超参或环境。
02训练三个种子结果分别是 40%、55%、35%,你改了一处得到 50%。这算提升吗?
不算。差异落在种子噪声范围内(±10 点)。至少三个种子、看均值与最小值,或直接增大评测 episode 数降低噪声。
03为什么「训练好评测差」在 RL 里通常不是过拟合?
因为 RL 的样本不是独立同分布的,模型参数量远小于数据量的情况很少见。更常见的原因是训练与评测的观测分布、归一化统计、初始状态分布不一致。
04知道 Q 的理论上界有什么用?
它是唯一能在训练中实时判断「critic 是否已经错」的硬指标。曲线看不出来,但这个数一旦越界 3 倍,一定是奖励尺度或 target 的问题,不用再看别的。