底层 07 / 11 · 策略梯度
Actor-Critic 与 GAE:把方差旋钮拧到 λ
优势函数是策略梯度唯一的必需品。GAE 给了一个连续的旋钮:λ=0 退化成一步 TD,λ=1 退化成 MC
一句话结论
Actor-Critic 的本质不是「两个网络」,而是「用一个学出来的 V 造出低方差的优势估计」。GAE 则是把「信任自举多远」这件事交给一个介于 0 和 1 之间的数,λ=0.95 是工程上反复验证的默认值。
PPO 的实现里,advantage 怎么算这一行代码决定了成败。这一篇把那一行推出来,并给出一个能自动检验实现对不对的方法(λ=1 时必须和 MC 回报逐位相等)。
符号表
| 符号 | 含义 |
|---|---|
A^π(s,a) | 优势:这个动作比「按策略平均」好多少 |
δ_t | TD 误差 r + γV(s') - V(s) |
λ | GAE 的衰减,控制信任自举的长度 |
γλ | 真正起作用的复合折扣,决定权重的衰减速度 |
推导
- 优势:把「绝对值」换成「相对值」
- 单步 TD 误差是优势的无偏估计(前提:V 准)
- n 步优势,与 GAE 的几何加权
- 递推实现:一次反向扫描,O(T)
- λ 的两个极端(用实测数字说话)
- 手算一遍,确认你真的会了
1. 优势:把「绝对值」换成「相对值」
Q 告诉你这个动作值多少,但它包含「这个状态本身好不好」。状态好时所有动作的 Q 都大,梯度会一起被推高——这正是 baseline 要修的病。
为什么能这么写性质:∑_a π(a|s)A^π(s,a) = 0(按策略平均的优势为零)。所以「好动作」和「坏动作」在梯度里自然分开,不需要额外中心化。
2. 单步 TD 误差是优势的无偏估计(前提:V 准)
这是 Actor-Critic 能成立的支点。把 Q 用贝尔曼展开一次,你会发现 δ 恰好等于 A。
为什么能这么写所以 δ 可以直接当优势用——A2C 就是 δ。但它只用了「一步真实奖励」,偏差大。多走几步真实奖励、少用一点估计,偏差就小。这条谱就是 GAE。
3. n 步优势,与 GAE 的几何加权
把第 4 篇的 n 步回报搬到优势上,得到 n 步优势。GAE 不选某个 n,而是把所有 n 步优势按几何权重加权平均。
为什么能这么写λ 越接近 1,权重衰减越慢,越像 MC;λ=0 时只剩 δ_t。注意衰减率是 γλ 而不是 λ——γ 已经在 δ 里了,两个折扣叠起来才是有效视野。
4. 递推实现:一次反向扫描,O(T)
上式是无穷和,直接算很慢。写成递推后只需要一次从后往前的循环,这是所有实现里的标准写法。
为什么能这么写实现时最容易错的是「episode 边界」:一条轨迹结束时 A 要从 0 开始,而不是接着上一条。混在一起会让跨 episode 的优势串味——症状是训练前期还行,后期越来越差。
5. λ 的两个极端(用实测数字说话)
给定 δ=(0.78, 0.39, -0.30, 0),γ=0.9,算 λ=0.95 与 λ=1.0 的结果。
为什么能这么写λ=1.0 的结果与「MC 回报减 V」逐位相等,残差 2.2e-16(浮点精度)。这条性质是最好的单元测试:把你的 GAE 实现跑 λ=1,和手算的 (G_t - V_t) 比,对不上就是边界处理错了。λ=0.95 更平滑(第二个值 0.134 介于 δ 和 MC 之间),这正是它作为默认值的原因。
6. 手算一遍,确认你真的会了
取 δ=(1, 0.5, -0.2),γ=0.9、λ=0.95,算 A_0。
为什么能这么写三项分别是「这一步」「下一步」「再下一步」的贡献。注意第二项权重 0.855 已经比第一项小了 15%——所以 GAE 天然偏重近处,这就是它降方差的方式。
手算一遍
同一个 batch 里两条轨迹:轨迹 A 奖励 [1,1,1],轨迹 B 奖励 [0,0,0],V 都估成 0.5。用 λ=0 的 GAE(即 δ)算优势,说明「跨轨迹混算」会造成什么错误。
- 轨迹 A:δ = 1+0.9×0.5-0.5 = 0.95(三步都近似);轨迹 B:δ = 0+0.9×0.5-0.5 = -0.05
- 若不重置边界,A 的最后一步会接到 B 的第一步上,δ_A3 变成 1 + 0.9×V(B0) - V(A3),而 V(B0) 是另一条轨迹的状态估计
- 后果:A 的优势被 B 的状态污染,梯度方向错,但不报错
正确做法是在 episode 终止处把 A 归零、同时把 next_value 设为 0(终止状态的 V 定义为 0)。这个 bug 的典型症状是「成功率能上去但一直不高,且方差很大」——因为一半的样本优势算错了,只是错得不够离谱。
跑一遍
15 行 GAE,自带断言。这个断言(λ=1 等价于 MC)是判断实现对错的唯一可靠办法。
import numpy as np
def gae(rew, val, gamma=0.99, lam=0.95, last_val=0.0):
T = len(rew)
adv = np.zeros(T)
gae_run = 0.0
for t in reversed(range(T)):
nv = val[t+1] if t+1 < T else last_val
delta = rew[t] + gamma * nv - val[t]
gae_run = delta + gamma * lam * gae_run
adv[t] = gae_run
return adv
rw = np.array([1.0, 0.5, -0.2, 0.0]); vs = np.array([0.4, 0.2, 0.1, 0.0, 0.0])
a95 = gae(rw, vs, 0.9, 0.95); a100 = gae(rw, vs, 0.9, 1.0)
mc = np.zeros(4); gt = 0.0
for t in reversed(range(4)):
gt = rw[t] + 0.9 * gt; mc[t] = gt
print('GAE(0.95) =', np.round(a95, 4))
print('GAE(1.0) =', np.round(a100, 4), ' MC-V =', np.round(mc - vs[:-1], 4))
assert np.abs(a100 - (mc - vs[:-1])).max() < 1e-9, '边界处理错了'
print('断言通过:lambda=1 与 MC 回报逐位相等')看到这个就算过
输出 GAE(0.95)=[0.894 0.134 -0.3 0],GAE(1.0)=[0.888 0.12 -0.3 0],断言通过。如果断言失败,99% 是最后一个状态没有用 last_val=0,而是用了 V[T]。
自测 4 题
先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。
01优势函数为什么按策略的期望是 0?这个性质有什么用?
因为 ∑π(a|s)Q(s,a) = V(s),减掉 V 后加权和为零。它保证梯度不会被「这个状态本身好不好」污染,也让优势天然中心化、数值更稳。
02GAE 里为什么是 γλ 而不是 λ?
δ 里已经含了一次 γ(未来值的折扣),再乘 λ 得到几何权重 (γλ)^k。若写成 λ 而丢掉 γ,λ=1 时就不等于 MC 回报了,直接用断言能查出来。
03λ=0.95 为什么是默认值?
它在「偏差」和「方差」之间取了一个实测上对多数连续控制任务都好的位置:比 λ=0 平滑很多,又不像 λ=1 那样把长程噪声全吃进来。任务 horizon 很长时可以升到 0.98。
04critic 学不准会怎样?会不会让 actor 完全学不动?
会让优势估计偏(δ 的偏差直接来自 V 的误差),但通常不会完全学不动,因为 δ 里还有真实奖励那一项。真正致命的是 critic 的尺度错(比如输出 1e3),会让梯度爆炸。所以实现里常对 advantage 做归一化。