底层 10 / 11 · 稀疏奖励
HER:目标重标记为什么在数学上合法
换目标不换动力学——这是全部论证。附「容差必须大于单步位移」这个几乎没人讲的定量条件
一句话结论
稀疏奖励下 Q 恒等于 0,梯度也是 0,不是「学得慢」而是「零信号」。HER 的解法是把失败轨迹的目标换成它实际到达的地方。这在数学上合法,因为目标不改变任何转移概率——只改变奖励。
抓取、装配、开门这类任务几乎都是稀疏奖励,而 HER 是把它们从「训不动」变成「训得动」的那个开关。但它的失效原因很具体,不看这一篇很难调对。
符号表
| 符号 | 含义 |
|---|---|
g | 目标(desired goal),策略的额外输入 |
φ(s) | 从状态里取出的achieved goal,比如夹爪坐标 |
ε | 成功判定的容差 |
r(s,a,g) | 目标条件奖励,通常是 1[||φ(s')-g||≤ε] |
推导
1. 稀疏奖励的数学困难:信号为零,不是信号弱
奖励是 0 或 1 的指示函数。一条轨迹如果没到过目标附近,所有奖励都是 0,于是所有 Q 的回归目标都是 0。
为什么能这么写后果:Q 收敛到恒 0,actor 的梯度是 ∇Q 乘以 0,也是 0。整个过程没有任何「微弱的梯度」可以爬。所以表现是 loss 很快降到 0、成功率一动不动——这跟「学得慢」是两回事,别在那里加训练步数。
2. 目标条件 MDP:把目标放进观测
把 g 作为策略输入的一部分:π(a|s,g)。同一个转移在 g1 下是失败、在 g2 下是成功。
为什么能这么写注意 P 和 R_g 的下标:转移概率不带 g,奖励带 g。这一个下标之差就是 HER 的全部合法性来源——它只允许你换 R 的那个下标。
3. 合法性证明(三行)
重标记做的是:把一条已采样的转移 (s,a,s') 的目标从 g 换成 g',奖励按新目标重算。要证的是这个三元组仍然是从同一个 MDP 里合法采样出来的。
为什么能这么写反过来,如果重标记时把 s' 也改了(比如「假设它到了目标」),就编造了一个环境里不存在的转移,那是错的、而且会让 Q 学到不存在的动力学。这是判断一份 HER 实现对不对的唯一标准:它有没有动 s'。
4. future 策略与一个几乎没人讲的定量条件
future 策略从同一轨迹的后面几步取 achieved goal 当新目标。直觉是「我后来到了那里,那就把那里当目标」。但成功率取决于容差和步长的比例。
为什么能这么写实测:一条 4 步轨迹,相邻步位移 0.42。ε=0.05 或 0.15 时,future(j>i)产生的正样本 0 对;ε=0.35 时 1 对;ε=0.5 时 2 对。含义很直接:容差比一步走得还小,那「后面的步」永远不可能落进「当前步的容差球」里,future 策略就退化成只靠 j=i。所以「HER 不 work」经常不是算法错,是 ε 小了一个量级。
5. j=i 的退化:为什么不能全用重标记
允许 j=i 时,新目标就是当前步的 achieved,距离为 0,一定成功。
为什么能这么写实测:原始目标下 4 步里只有 1 个正样本;重标记后 10 对里有 4 个正样本,全部来自 j=i。这等价于「到达即成功」的自监督信号,能让 Q 有个非零的起点,但全用它策略会学「停在原地不要动」——因为每个状态的目标都是它自己。所以 SB3 用 her_ratio=0.8,保留 20% 真目标,让「真目标」这一支始终有梯度。更重要的是:即使 ε 调对了,future 策略也只能救「接近成功」的那几步,远距离的探索仍然要靠别的手段。
6. 实现的三条纪律
顺序错了不会报错,只会静默失效。这三条建议直接抄进代码注释。
为什么能这么写最常见的 bug 是「先存 r 再换 g」,此时奖励还是针对旧目标算的,Q 的目标和条件不匹配,训练会变成噪声。第二条:奖励重算必须用同一个 φ 和同一个 ε(别在训练时改容差)。第三条:真目标和重标记样本必须混着用,比例是超参不是常量。
手算一遍
一条 4 步轨迹,achieved 依次是 (0.2,0.1)、(0.5,0.4)、(0.8,0.9)、(0.97,0.98),真目标 (1.0,1.0),ε=0.05。列出原始奖励与 future 重标记(j≥i)的奖励矩阵,并统计正样本率。
- 原始:只有第 4 步离目标 0.042 < 0.05,奖励 [0,0,0,1],正样本 1/4
- 重标记矩阵的行 i、列 j≥i:i=0 → j=0:1(距离 0), j=1..3:0;i=1 → j=1:1, 其余 0;i=2 → j=2:1;i=3 → j=3:1
- 总计 10 对里有 4 个正样本,全部落在 j=i 的对角线上
重标记把正样本从 1 个变成 4 个,但增量全来自「目标=自己」。这不是没价值(它给了 Q 一个非零起点),但它说明这条轨迹的 future 策略(j>i)一个正样本都没造出来——因为每步位移 0.42 远大于容差 0.05。真实任务里要么把 ε 提到和单步位移同量级,要么提高控制频率让单步位移变小。
跑一遍
25 行,统计正样本率并扫容差。这段代码可以直接贴进你的 replay buffer 做自检。
import numpy as np
ach = np.array([[0.2,0.1],[0.5,0.4],[0.8,0.9],[0.97,0.98]])
goal = np.array([1.0,1.0])
def rew(a, g, eps):
return float(np.linalg.norm(a - g) <= eps)
eps = 0.05
print('原始奖励:', [rew(a, goal, eps) for a in ach])
for i in range(4):
row = [(j, rew(ach[i], ach[j], eps)) for j in range(i, 4)]
print('t=%d 重标记:' % i, row)
print('--- 容差敏感性(future 即 j>i)---')
for e in (0.05, 0.15, 0.35, 0.5):
n_gt = sum(1 for i in range(4) for j in range(i+1,4) if rew(ach[i], ach[j], e))
n_ge = sum(1 for i in range(4) for j in range(i,4) if rew(ach[i], ach[j], e))
print('eps=%.2f j>i:%d 对 j>=i:%d 对' % (e, n_gt, n_ge))
print('相邻步位移 =', round(float(np.linalg.norm(ach[1]-ach[0])), 2))看到这个就算过
原始奖励 [0,0,0,1];容差 0.05/0.15 时 j>i 都是 0 对,0.35 时 1 对,0.5 时 2 对;相邻位移 0.42。这个对比就是「容差与步长比例」的判据:ε 明显小于 0.42 时,future 策略等于没启用。
自测 4 题
先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。
01HER 重标记时必须重算奖励,为什么不能沿用旧奖励?
因为奖励是目标条件的函数 r(s,a,g)。换了 g 不重算,等于用「旧目标的奖励」去训练「新目标的 Q」,条件与标签不匹配,学出来的是噪声。
02能不能重标记时把 next_state 也改成「假设到达了目标」?
不能。那会编造一个环境里不存在的转移,Q 会学到错误的动力学(以为某个动作能瞬移到目标)。合法性只来自「P 与 g 无关」,一旦动 P 就非法了。
03ε 设得太大会有什么问题?
大量无关的样本被判成成功,Q 到处是 +1,策略学到「随便动动就算成功」。典型表现是成功率指标虚高但真机完全抓不到。经验值:ε 取「单步位移的 1~2 倍」再往上调一档。
04HER 和奖励塑形(reward shaping)是什么关系?
HER 可以看作「目标条件化 + 自动塑形」:它用 hindsight 造出密集的目标,但每个目标都是真实到达过的,所以不会像人工塑形那样引入错误的偏好。代价是它只在你「差一点成功」时有用。