机器人入行指南
底层/HER:目标重标记为什么在数学上合法

底层 10 / 11 · 稀疏奖励

HER:目标重标记为什么在数学上合法

换目标不换动力学——这是全部论证。附「容差必须大于单步位移」这个几乎没人讲的定量条件

约 50 分钟高级6 段推导4 题自测

一句话结论

稀疏奖励下 Q 恒等于 0,梯度也是 0,不是「学得慢」而是「零信号」。HER 的解法是把失败轨迹的目标换成它实际到达的地方。这在数学上合法,因为目标不改变任何转移概率——只改变奖励。

抓取、装配、开门这类任务几乎都是稀疏奖励,而 HER 是把它们从「训不动」变成「训得动」的那个开关。但它的失效原因很具体,不看这一篇很难调对。

符号表

符号含义
g目标(desired goal),策略的额外输入
φ(s)从状态里取出的achieved goal,比如夹爪坐标
ε成功判定的容差
r(s,a,g)目标条件奖励,通常是 1[||φ(s')-g||≤ε]

推导

  1. 稀疏奖励的数学困难:信号为零,不是信号弱
  2. 目标条件 MDP:把目标放进观测
  3. 合法性证明(三行)
  4. future 策略与一个几乎没人讲的定量条件
  5. j=i 的退化:为什么不能全用重标记
  6. 实现的三条纪律

1. 稀疏奖励的数学困难:信号为零,不是信号弱

奖励是 0 或 1 的指示函数。一条轨迹如果没到过目标附近,所有奖励都是 0,于是所有 Q 的回归目标都是 0。

r(s,a,g) = 1[ ||φ(s') - g|| ≤ ε ],未成功时 ≡ 0

为什么能这么写后果:Q 收敛到恒 0,actor 的梯度是 ∇Q 乘以 0,也是 0。整个过程没有任何「微弱的梯度」可以爬。所以表现是 loss 很快降到 0、成功率一动不动——这跟「学得慢」是两回事,别在那里加训练步数。

失败轨迹想抓 A 抓到了 B重标注把目标改写成 B变废为宝失败变成 B 的成功样本采样效率稀疏奖励下数十倍HER 的洞察:稀疏奖励下「失败」只是「目标标错了」——改个标签,垃圾变数据

2. 目标条件 MDP:把目标放进观测

把 g 作为策略输入的一部分:π(a|s,g)。同一个转移在 g1 下是失败、在 g2 下是成功。

M_g = (S, A, P, R_g, γ, G),π(a|s,g)

为什么能这么写注意 P 和 R_g 的下标:转移概率不带 g,奖励带 g。这一个下标之差就是 HER 的全部合法性来源——它只允许你换 R 的那个下标。

3. 合法性证明(三行)

重标记做的是:把一条已采样的转移 (s,a,s') 的目标从 g 换成 g',奖励按新目标重算。要证的是这个三元组仍然是从同一个 MDP 里合法采样出来的。

P(s'|s,a) 与 g 无关 ⟹ 换 g 不改变转移 ⟹ 只需重算 r,样本仍然合法

为什么能这么写反过来,如果重标记时把 s' 也改了(比如「假设它到了目标」),就编造了一个环境里不存在的转移,那是错的、而且会让 Q 学到不存在的动力学。这是判断一份 HER 实现对不对的唯一标准:它有没有动 s'。

4. future 策略与一个几乎没人讲的定量条件

future 策略从同一轨迹的后面几步取 achieved goal 当新目标。直觉是「我后来到了那里,那就把那里当目标」。但成功率取决于容差和步长的比例。

要求 ε ≳ 单步位移量级

为什么能这么写实测:一条 4 步轨迹,相邻步位移 0.42。ε=0.05 或 0.15 时,future(j>i)产生的正样本 0 对;ε=0.35 时 1 对;ε=0.5 时 2 对。含义很直接:容差比一步走得还小,那「后面的步」永远不可能落进「当前步的容差球」里,future 策略就退化成只靠 j=i。所以「HER 不 work」经常不是算法错,是 ε 小了一个量级。

5. j=i 的退化:为什么不能全用重标记

允许 j=i 时,新目标就是当前步的 achieved,距离为 0,一定成功。

r'(i,i) = 1[ ||φ(s_i) - φ(s_i)|| ≤ ε ] ≡ 1

为什么能这么写实测:原始目标下 4 步里只有 1 个正样本;重标记后 10 对里有 4 个正样本,全部来自 j=i。这等价于「到达即成功」的自监督信号,能让 Q 有个非零的起点,但全用它策略会学「停在原地不要动」——因为每个状态的目标都是它自己。所以 SB3 用 her_ratio=0.8,保留 20% 真目标,让「真目标」这一支始终有梯度。更重要的是:即使 ε 调对了,future 策略也只能救「接近成功」的那几步,远距离的探索仍然要靠别的手段。

6. 实现的三条纪律

顺序错了不会报错,只会静默失效。这三条建议直接抄进代码注释。

① 换 goal → ② 重算 reward → ③ 存回 buffer

为什么能这么写最常见的 bug 是「先存 r 再换 g」,此时奖励还是针对旧目标算的,Q 的目标和条件不匹配,训练会变成噪声。第二条:奖励重算必须用同一个 φ 和同一个 ε(别在训练时改容差)。第三条:真目标和重标记样本必须混着用,比例是超参不是常量。

手算一遍

一条 4 步轨迹,achieved 依次是 (0.2,0.1)、(0.5,0.4)、(0.8,0.9)、(0.97,0.98),真目标 (1.0,1.0),ε=0.05。列出原始奖励与 future 重标记(j≥i)的奖励矩阵,并统计正样本率。

  1. 原始:只有第 4 步离目标 0.042 < 0.05,奖励 [0,0,0,1],正样本 1/4
  2. 重标记矩阵的行 i、列 j≥i:i=0 → j=0:1(距离 0), j=1..3:0;i=1 → j=1:1, 其余 0;i=2 → j=2:1;i=3 → j=3:1
  3. 总计 10 对里有 4 个正样本,全部落在 j=i 的对角线上
答

重标记把正样本从 1 个变成 4 个,但增量全来自「目标=自己」。这不是没价值(它给了 Q 一个非零起点),但它说明这条轨迹的 future 策略(j>i)一个正样本都没造出来——因为每步位移 0.42 远大于容差 0.05。真实任务里要么把 ε 提到和单步位移同量级,要么提高控制频率让单步位移变小。

跑一遍

25 行,统计正样本率并扫容差。这段代码可以直接贴进你的 replay buffer 做自检。

python · 只要 numpy
import numpy as np
ach = np.array([[0.2,0.1],[0.5,0.4],[0.8,0.9],[0.97,0.98]])
goal = np.array([1.0,1.0])
def rew(a, g, eps):
    return float(np.linalg.norm(a - g) <= eps)
eps = 0.05
print('原始奖励:', [rew(a, goal, eps) for a in ach])
for i in range(4):
    row = [(j, rew(ach[i], ach[j], eps)) for j in range(i, 4)]
    print('t=%d 重标记:' % i, row)
print('--- 容差敏感性(future 即 j>i)---')
for e in (0.05, 0.15, 0.35, 0.5):
    n_gt = sum(1 for i in range(4) for j in range(i+1,4) if rew(ach[i], ach[j], e))
    n_ge = sum(1 for i in range(4) for j in range(i,4) if rew(ach[i], ach[j], e))
    print('eps=%.2f  j>i:%d 对   j>=i:%d 对' % (e, n_gt, n_ge))
print('相邻步位移 =', round(float(np.linalg.norm(ach[1]-ach[0])), 2))

看到这个就算过

原始奖励 [0,0,0,1];容差 0.05/0.15 时 j>i 都是 0 对,0.35 时 1 对,0.5 时 2 对;相邻位移 0.42。这个对比就是「容差与步长比例」的判据:ε 明显小于 0.42 时,future 策略等于没启用。

自测 4 题

先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。

01HER 重标记时必须重算奖励,为什么不能沿用旧奖励?

因为奖励是目标条件的函数 r(s,a,g)。换了 g 不重算,等于用「旧目标的奖励」去训练「新目标的 Q」,条件与标签不匹配,学出来的是噪声。

02能不能重标记时把 next_state 也改成「假设到达了目标」?

不能。那会编造一个环境里不存在的转移,Q 会学到错误的动力学(以为某个动作能瞬移到目标)。合法性只来自「P 与 g 无关」,一旦动 P 就非法了。

03ε 设得太大会有什么问题?

大量无关的样本被判成成功,Q 到处是 +1,策略学到「随便动动就算成功」。典型表现是成功率指标虚高但真机完全抓不到。经验值:ε 取「单步位移的 1~2 倍」再往上调一档。

04HER 和奖励塑形(reward shaping)是什么关系?

HER 可以看作「目标条件化 + 自动塑形」:它用 hindsight 造出密集的目标,但每个目标都是真实到达过的,所以不会像人工塑形那样引入错误的偏好。代价是它只在你「差一点成功」时有用。

接着看

全系列 11 篇