底层 06 / 11 · 策略梯度
策略梯度:REINFORCE 逐行推出来
整条推导只有一个技巧,但用到了三次。推完之后你会知道为什么「不需要知道环境模型」不是巧合而是必然
一句话结论
策略梯度做的事情只有一件:把「好动作的对数概率」调高,把「坏动作的」调低。而「好」的标准是这一步之后的回报。整条推导里没有任何一步需要知道环境的转移概率——这是它能在真机上用的根本原因。
这是整个深度 RL 的分水岭。前面四篇都是「先学值,再按值选动作」;从这一篇开始,参数直接长在策略上。PPO、SAC、A3C 全都是这篇的变体,区别只在「用什么代替 G_t」和「怎么限制步长」。
符号表
| 符号 | 含义 |
|---|---|
τ | 一条轨迹 (s0,a0,r1,s1,a1,...),是随机的 |
p_θ(τ) | 在策略 π_θ 下,这条轨迹出现的概率 |
J(θ) | 目标:期望回报,越大越好 |
∇_θ log π_θ(a|s) | score 函数,第 1 篇第 3 节那个 |
b(s) | baseline,只依赖状态、不依赖动作 |
推导
- 目标函数:期望回报,写成积分
- 梯度进积分,然后把 p 变成 p·∇log p
- 轨迹概率分解,环境项自动消失
- 得到最终形式,并把回报换成「之后的」
- baseline:减掉任何只依赖状态的量,期望不变
- 为什么必须用 log,而不能直接对 π 求导
1. 目标函数:期望回报,写成积分
把目标写成「所有轨迹的回报按概率加权」。这一步只是定义,但它把问题变成了「对一个含参数的概率分布求梯度」。
为什么能这么写关键观察:R(τ) 不依赖 θ。奖励是环境给的,你改策略不会改环境的规则。这个「不依赖」是下一步能把梯度移进积分的前提。
2. 梯度进积分,然后把 p 变成 p·∇log p
梯度只作用在 p_θ 上(因为 R 不含 θ)。然后用第 1 篇第 3 节的 score 恒等式,把 ∇p 换成 p·∇log p。
为什么能这么写这一步是全篇的核心变换。它的意义:左边是「对分布求导」,右边是「对采样出来的轨迹求导再平均」——右边可以直接用样本估。整个无模型 RL 的可行性都建立在这一步上。
3. 轨迹概率分解,环境项自动消失
一条轨迹的概率 = 初始状态分布 × 每步的策略概率 × 每步的转移概率。取 log 之后变成三项相加,再求梯度,只有中间那项存活。
为什么能这么写log 之后:∇log p_θ(τ) = ∑_t ∇log π_θ(a_t|s_t),因为 ρ 和 P 都不含 θ,梯度为 0。这就是「策略梯度不需要环境模型」的全部原因,也是这一篇最值得记住的一行。
4. 得到最终形式,并把回报换成「之后的」
把第 3 条代回第 2 条,得到逐步求和的形式。然后做一个化简:t 之前的奖励与 a_t 无关(因为动作不能影响过去),可以省掉。
为什么能这么写省掉「过去的奖励」不只是省计算:它显著降方差。直觉:同一条轨迹里,a_0 的好坏不该被 r_0(它还没执行动作前的奖励)影响。把 G_t 换成 Q^π(s_t,a_t) 在期望意义上等价,但 G_t 可以直接采样、Q 不能。
5. baseline:减掉任何只依赖状态的量,期望不变
G_t 通常都是正的(比如每步都有小奖励),这会让所有动作的概率都被调高,只是幅度不同。减掉一个平均值,让「好于平均」和「差于平均」分开。
为什么能这么写所以 b(s) 可以是任何东西:常数、V(s)、一个 batch 的平均回报。最常用的是 V(s),这时 G_t - V(s) 就变成了优势 A(第 7 篇)。实测(三臂老虎机,4000 次采样):梯度标准差从 0.362 降到 0.137,方差降到原来的 14%,而梯度均值几乎不变(0.171 → 0.168)。
6. 为什么必须用 log,而不能直接对 π 求导
直接对 π 求导会得到 ∇π,它不是一个期望的形式——你没法用样本估它(你不知道「概率的梯度」对应哪个可观测的量)。
为什么能这么写这一个等式把「概率的梯度」变成「概率 × 一个可以对样本求的量」。有了它,梯度变成「在采样到的动作上算一个数,然后平均」。没有它,策略梯度只能停留在理论里。这也是为什么实践中的实现永远是 log_prob(a).backward(),而不是对概率本身求导。
手算一遍
三臂老虎机,初始 θ=(0,0,0) 即三个动作等概率。执行一次动作 a1 得到奖励 1,另外两个动作没被执行(奖励未知)。用 REINFORCE 无 baseline 和有 baseline(b=0.5)分别写出一次更新后的 θ 方向,并说明两者的差别。
- 等概率 → p=(1/3,1/3,1/3);执行 a1 时 score = onehot(a1) - p = (2/3, -1/3, -1/3)
- 无 baseline:梯度估计 = (2/3, -1/3, -1/3) × 1.0
- 有 baseline:梯度估计 = (2/3, -1/3, -1/3) × (1.0 - 0.5) = 上面的 0.5 倍
- 两者方向完全相同,因为「整体缩放」不改变方向——baseline 的作用在多次采样上,而不是单次
单次更新时两者只是长度不同(0.5 倍),方向一样。baseline 的价值在期望方差:不加 baseline 时,如果这条轨迹的奖励全是正的(很常见),所有动作的概率都会被推高,只有相对幅度不同;加了 baseline 后,低于平均的动作会被明确压低。实测方差比 14% 来自 4000 次采样,单次看不出差别是正常的。
跑一遍
30 行,直接测「baseline 降方差」这件事。改 use_base 开关就能对比,不需要装 gym。
import numpy as np
rng = np.random.default_rng(1)
R = np.array([1.0, 0.5, 0.0]) # 三个动作的真实期望奖励
def grads(use_base, trials=4000):
out = []
for _ in range(trials):
th = np.zeros(3); p = np.exp(th)/np.exp(th).sum()
a = rng.choice(3, p=p)
b = R.mean() if use_base else 0.0
out.append((np.eye(3)[a] - p) * (R[a] - b))
return np.array(out)
for use in (False, True):
g = grads(use)
print('baseline' if use else 'no base ', 'std =', np.round(g.std(0), 3), ' mean =', np.round(g.mean(0), 3))看到这个就算过
无 baseline 的标准差约 [0.362 0.273 0.136],有 baseline 约 [0.137 0.136 0.136]。均值两者都接近 [0.17, 0, -0.17](即该动作比平均好多少)——方差降了约 7 倍,均值不变,这就是 baseline 的全部效果。
自测 4 题
先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。
01策略梯度的推导里,哪一步用到了「奖励不依赖 θ」这个事实?
第一步:∇只作用在 p_θ 上,R 被当常数。如果奖励反过来依赖策略(比如奖励里带动作幅度惩罚且幅度由 θ 决定),这一步就不成立,要额外加一项。
02为什么环境转移概率 P 在最终式子里完全消失了?
因为 log 把乘积变成求和,而 P 不含 θ,求梯度为 0。所以策略梯度是「无模型」的——你不需要知道机器人动力学就能算梯度。
03REINFORCE 在实际机器人任务上几乎不可用的原因是什么?
方差。G_t 是一整条轨迹的回报,维度高、噪声大,而且必须等 episode 结束。真机上一条 episode 可能几十秒,样本效率完全不够,所以要用 critic 把 G_t 换成优势估计。
04如果把 baseline 设成一个很大的正数,会发生什么?
期望不变、方向不变,但信噪比变差:所有优势都变成负数、幅度接近,梯度估计的方差反而上升。baseline 要贴近 V(s),不是越大越好。