机器人入行指南
底层/Actor-Critic 与 GAE:把方差旋钮拧到 λ

底层 07 / 11 · 策略梯度

Actor-Critic 与 GAE:把方差旋钮拧到 λ

优势函数是策略梯度唯一的必需品。GAE 给了一个连续的旋钮:λ=0 退化成一步 TD,λ=1 退化成 MC

约 60 分钟进阶6 段推导4 题自测

一句话结论

Actor-Critic 的本质不是「两个网络」,而是「用一个学出来的 V 造出低方差的优势估计」。GAE 则是把「信任自举多远」这件事交给一个介于 0 和 1 之间的数,λ=0.95 是工程上反复验证的默认值。

PPO 的实现里,advantage 怎么算这一行代码决定了成败。这一篇把那一行推出来,并给出一个能自动检验实现对不对的方法(λ=1 时必须和 MC 回报逐位相等)。

符号表

符号含义
A^π(s,a)优势:这个动作比「按策略平均」好多少
δ_tTD 误差 r + γV(s') - V(s)
λGAE 的衰减,控制信任自举的长度
γλ真正起作用的复合折扣,决定权重的衰减速度

推导

  1. 优势:把「绝对值」换成「相对值」
  2. 单步 TD 误差是优势的无偏估计(前提:V 准)
  3. n 步优势,与 GAE 的几何加权
  4. 递推实现:一次反向扫描,O(T)
  5. λ 的两个极端(用实测数字说话)
  6. 手算一遍,确认你真的会了

1. 优势:把「绝对值」换成「相对值」

Q 告诉你这个动作值多少,但它包含「这个状态本身好不好」。状态好时所有动作的 Q 都大,梯度会一起被推高——这正是 baseline 要修的病。

A^π(s,a) = Q^π(s,a) - V^π(s)

为什么能这么写性质:∑_a π(a|s)A^π(s,a) = 0(按策略平均的优势为零)。所以「好动作」和「坏动作」在梯度里自然分开,不需要额外中心化。

Actor策略 π(a|s)出动作与环境交互Critic估值 V(s) 或 Q评优势A = Q − V 反传给 ActorAC两条网络互相喂Actor 管探索、Critic 管打分——优势函数让梯度只奖励「比预期好」的部分

2. 单步 TD 误差是优势的无偏估计(前提:V 准)

这是 Actor-Critic 能成立的支点。把 Q 用贝尔曼展开一次,你会发现 δ 恰好等于 A。

E[δ_t | s_t,a_t] = r + γE[V(st+1)] - V(s_t) = Q^π(s_t,a_t) - V^π(s_t) = A^π(s_t,a_t)

为什么能这么写所以 δ 可以直接当优势用——A2C 就是 δ。但它只用了「一步真实奖励」,偏差大。多走几步真实奖励、少用一点估计,偏差就小。这条谱就是 GAE。

3. n 步优势,与 GAE 的几何加权

把第 4 篇的 n 步回报搬到优势上,得到 n 步优势。GAE 不选某个 n,而是把所有 n 步优势按几何权重加权平均。

AGAE_t = ∑k=0∞ (γλ)^k δt+k

为什么能这么写λ 越接近 1,权重衰减越慢,越像 MC;λ=0 时只剩 δ_t。注意衰减率是 γλ 而不是 λ——γ 已经在 δ 里了,两个折扣叠起来才是有效视野。

4. 递推实现:一次反向扫描,O(T)

上式是无穷和,直接算很慢。写成递推后只需要一次从后往前的循环,这是所有实现里的标准写法。

A_t = δ_t + γλ·At+1(A_T = 0)

为什么能这么写实现时最容易错的是「episode 边界」:一条轨迹结束时 A 要从 0 开始,而不是接着上一条。混在一起会让跨 episode 的优势串味——症状是训练前期还行,后期越来越差。

5. λ 的两个极端(用实测数字说话)

给定 δ=(0.78, 0.39, -0.30, 0),γ=0.9,算 λ=0.95 与 λ=1.0 的结果。

GAE(0.95) = (0.894, 0.134, -0.300);GAE(1.0) = (0.888, 0.120, -0.300)

为什么能这么写λ=1.0 的结果与「MC 回报减 V」逐位相等,残差 2.2e-16(浮点精度)。这条性质是最好的单元测试:把你的 GAE 实现跑 λ=1,和手算的 (G_t - V_t) 比,对不上就是边界处理错了。λ=0.95 更平滑(第二个值 0.134 介于 δ 和 MC 之间),这正是它作为默认值的原因。

6. 手算一遍,确认你真的会了

取 δ=(1, 0.5, -0.2),γ=0.9、λ=0.95,算 A_0。

γλ = 0.855,(γλ)² = 0.731;A_0 = 1 + 0.855×0.5 + 0.731×(-0.2) = 1.281

为什么能这么写三项分别是「这一步」「下一步」「再下一步」的贡献。注意第二项权重 0.855 已经比第一项小了 15%——所以 GAE 天然偏重近处,这就是它降方差的方式。

手算一遍

同一个 batch 里两条轨迹:轨迹 A 奖励 [1,1,1],轨迹 B 奖励 [0,0,0],V 都估成 0.5。用 λ=0 的 GAE(即 δ)算优势,说明「跨轨迹混算」会造成什么错误。

  1. 轨迹 A:δ = 1+0.9×0.5-0.5 = 0.95(三步都近似);轨迹 B:δ = 0+0.9×0.5-0.5 = -0.05
  2. 若不重置边界,A 的最后一步会接到 B 的第一步上,δ_A3 变成 1 + 0.9×V(B0) - V(A3),而 V(B0) 是另一条轨迹的状态估计
  3. 后果:A 的优势被 B 的状态污染,梯度方向错,但不报错
答

正确做法是在 episode 终止处把 A 归零、同时把 next_value 设为 0(终止状态的 V 定义为 0)。这个 bug 的典型症状是「成功率能上去但一直不高,且方差很大」——因为一半的样本优势算错了,只是错得不够离谱。

跑一遍

15 行 GAE,自带断言。这个断言(λ=1 等价于 MC)是判断实现对错的唯一可靠办法。

python · 只要 numpy
import numpy as np
def gae(rew, val, gamma=0.99, lam=0.95, last_val=0.0):
    T = len(rew)
    adv = np.zeros(T)
    gae_run = 0.0
    for t in reversed(range(T)):
        nv = val[t+1] if t+1 < T else last_val
        delta = rew[t] + gamma * nv - val[t]
        gae_run = delta + gamma * lam * gae_run
        adv[t] = gae_run
    return adv
rw = np.array([1.0, 0.5, -0.2, 0.0]); vs = np.array([0.4, 0.2, 0.1, 0.0, 0.0])
a95 = gae(rw, vs, 0.9, 0.95); a100 = gae(rw, vs, 0.9, 1.0)
mc = np.zeros(4); gt = 0.0
for t in reversed(range(4)):
    gt = rw[t] + 0.9 * gt; mc[t] = gt
print('GAE(0.95) =', np.round(a95, 4))
print('GAE(1.0)  =', np.round(a100, 4), ' MC-V =', np.round(mc - vs[:-1], 4))
assert np.abs(a100 - (mc - vs[:-1])).max() < 1e-9, '边界处理错了'
print('断言通过:lambda=1 与 MC 回报逐位相等')

看到这个就算过

输出 GAE(0.95)=[0.894 0.134 -0.3 0],GAE(1.0)=[0.888 0.12 -0.3 0],断言通过。如果断言失败,99% 是最后一个状态没有用 last_val=0,而是用了 V[T]。

自测 4 题

先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。

01优势函数为什么按策略的期望是 0?这个性质有什么用?

因为 ∑π(a|s)Q(s,a) = V(s),减掉 V 后加权和为零。它保证梯度不会被「这个状态本身好不好」污染,也让优势天然中心化、数值更稳。

02GAE 里为什么是 γλ 而不是 λ?

δ 里已经含了一次 γ(未来值的折扣),再乘 λ 得到几何权重 (γλ)^k。若写成 λ 而丢掉 γ,λ=1 时就不等于 MC 回报了,直接用断言能查出来。

03λ=0.95 为什么是默认值?

它在「偏差」和「方差」之间取了一个实测上对多数连续控制任务都好的位置:比 λ=0 平滑很多,又不像 λ=1 那样把长程噪声全吃进来。任务 horizon 很长时可以升到 0.98。

04critic 学不准会怎样?会不会让 actor 完全学不动?

会让优势估计偏(δ 的偏差直接来自 V 的误差),但通常不会完全学不动,因为 δ 里还有真实奖励那一项。真正致命的是 critic 的尺度错(比如输出 1e3),会让梯度爆炸。所以实现里常对 advantage 做归一化。

接着看

全系列 11 篇