机器人入行指南
底层/策略梯度:REINFORCE 逐行推出来

底层 06 / 11 · 策略梯度

策略梯度:REINFORCE 逐行推出来

整条推导只有一个技巧,但用到了三次。推完之后你会知道为什么「不需要知道环境模型」不是巧合而是必然

约 70 分钟进阶6 段推导4 题自测

一句话结论

策略梯度做的事情只有一件:把「好动作的对数概率」调高,把「坏动作的」调低。而「好」的标准是这一步之后的回报。整条推导里没有任何一步需要知道环境的转移概率——这是它能在真机上用的根本原因。

这是整个深度 RL 的分水岭。前面四篇都是「先学值,再按值选动作」;从这一篇开始,参数直接长在策略上。PPO、SAC、A3C 全都是这篇的变体,区别只在「用什么代替 G_t」和「怎么限制步长」。

符号表

符号含义
τ一条轨迹 (s0,a0,r1,s1,a1,...),是随机的
p_θ(τ)在策略 π_θ 下,这条轨迹出现的概率
J(θ)目标:期望回报,越大越好
∇_θ log π_θ(a|s)score 函数,第 1 篇第 3 节那个
b(s)baseline,只依赖状态、不依赖动作

推导

  1. 目标函数:期望回报,写成积分
  2. 梯度进积分,然后把 p 变成 p·∇log p
  3. 轨迹概率分解,环境项自动消失
  4. 得到最终形式,并把回报换成「之后的」
  5. baseline:减掉任何只依赖状态的量,期望不变
  6. 为什么必须用 log,而不能直接对 π 求导

1. 目标函数:期望回报,写成积分

把目标写成「所有轨迹的回报按概率加权」。这一步只是定义,但它把问题变成了「对一个含参数的概率分布求梯度」。

J(θ) = Eτ~p_θ[ R(τ) ] = ∫ p_θ(τ) R(τ) dτ

为什么能这么写关键观察:R(τ) 不依赖 θ。奖励是环境给的,你改策略不会改环境的规则。这个「不依赖」是下一步能把梯度移进积分的前提。

采样轨迹按当前策略 rollout算回报折扣累计奖励估梯度∇log π × 回报更新沿梯度上上市策略梯度的全部 trick 都在降方差:baseline、GAE、critic——REINFORCE 本身几乎不可用

2. 梯度进积分,然后把 p 变成 p·∇log p

梯度只作用在 p_θ 上(因为 R 不含 θ)。然后用第 1 篇第 3 节的 score 恒等式,把 ∇p 换成 p·∇log p。

∇J = ∫ ∇p_θ(τ)·R(τ) dτ = ∫ p_θ(τ)·∇log p_θ(τ)·R(τ) dτ = E[ ∇log p_θ(τ)·R(τ) ]

为什么能这么写这一步是全篇的核心变换。它的意义:左边是「对分布求导」,右边是「对采样出来的轨迹求导再平均」——右边可以直接用样本估。整个无模型 RL 的可行性都建立在这一步上。

3. 轨迹概率分解,环境项自动消失

一条轨迹的概率 = 初始状态分布 × 每步的策略概率 × 每步的转移概率。取 log 之后变成三项相加,再求梯度,只有中间那项存活。

p_θ(τ) = ρ(s_0) ∏_t π_θ(a_t|s_t) P(st+1|s_t,a_t)

为什么能这么写log 之后:∇log p_θ(τ) = ∑_t ∇log π_θ(a_t|s_t),因为 ρ 和 P 都不含 θ,梯度为 0。这就是「策略梯度不需要环境模型」的全部原因,也是这一篇最值得记住的一行。

4. 得到最终形式,并把回报换成「之后的」

把第 3 条代回第 2 条,得到逐步求和的形式。然后做一个化简:t 之前的奖励与 a_t 无关(因为动作不能影响过去),可以省掉。

∇J = E[ ∑_t ∇log π_θ(a_t|s_t)·G_t ],其中 G_t = ∑k≥t γk-t rk+1

为什么能这么写省掉「过去的奖励」不只是省计算:它显著降方差。直觉:同一条轨迹里,a_0 的好坏不该被 r_0(它还没执行动作前的奖励)影响。把 G_t 换成 Q^π(s_t,a_t) 在期望意义上等价,但 G_t 可以直接采样、Q 不能。

5. baseline:减掉任何只依赖状态的量,期望不变

G_t 通常都是正的(比如每步都有小奖励),这会让所有动作的概率都被调高,只是幅度不同。减掉一个平均值,让「好于平均」和「差于平均」分开。

E[ ∇log π(a|s)·b(s) ] = b(s)∑_a ∇π(a|s) = b(s)·∇1 = 0

为什么能这么写所以 b(s) 可以是任何东西:常数、V(s)、一个 batch 的平均回报。最常用的是 V(s),这时 G_t - V(s) 就变成了优势 A(第 7 篇)。实测(三臂老虎机,4000 次采样):梯度标准差从 0.362 降到 0.137,方差降到原来的 14%,而梯度均值几乎不变(0.171 → 0.168)。

6. 为什么必须用 log,而不能直接对 π 求导

直接对 π 求导会得到 ∇π,它不是一个期望的形式——你没法用样本估它(你不知道「概率的梯度」对应哪个可观测的量)。

∇π = π·∇log π

为什么能这么写这一个等式把「概率的梯度」变成「概率 × 一个可以对样本求的量」。有了它,梯度变成「在采样到的动作上算一个数,然后平均」。没有它,策略梯度只能停留在理论里。这也是为什么实践中的实现永远是 log_prob(a).backward(),而不是对概率本身求导。

手算一遍

三臂老虎机,初始 θ=(0,0,0) 即三个动作等概率。执行一次动作 a1 得到奖励 1,另外两个动作没被执行(奖励未知)。用 REINFORCE 无 baseline 和有 baseline(b=0.5)分别写出一次更新后的 θ 方向,并说明两者的差别。

  1. 等概率 → p=(1/3,1/3,1/3);执行 a1 时 score = onehot(a1) - p = (2/3, -1/3, -1/3)
  2. 无 baseline:梯度估计 = (2/3, -1/3, -1/3) × 1.0
  3. 有 baseline:梯度估计 = (2/3, -1/3, -1/3) × (1.0 - 0.5) = 上面的 0.5 倍
  4. 两者方向完全相同,因为「整体缩放」不改变方向——baseline 的作用在多次采样上,而不是单次
答

单次更新时两者只是长度不同(0.5 倍),方向一样。baseline 的价值在期望方差:不加 baseline 时,如果这条轨迹的奖励全是正的(很常见),所有动作的概率都会被推高,只有相对幅度不同;加了 baseline 后,低于平均的动作会被明确压低。实测方差比 14% 来自 4000 次采样,单次看不出差别是正常的。

跑一遍

30 行,直接测「baseline 降方差」这件事。改 use_base 开关就能对比,不需要装 gym。

python · 只要 numpy
import numpy as np
rng = np.random.default_rng(1)
R = np.array([1.0, 0.5, 0.0])      # 三个动作的真实期望奖励
def grads(use_base, trials=4000):
    out = []
    for _ in range(trials):
        th = np.zeros(3); p = np.exp(th)/np.exp(th).sum()
        a = rng.choice(3, p=p)
        b = R.mean() if use_base else 0.0
        out.append((np.eye(3)[a] - p) * (R[a] - b))
    return np.array(out)
for use in (False, True):
    g = grads(use)
    print('baseline' if use else 'no base ', 'std =', np.round(g.std(0), 3), ' mean =', np.round(g.mean(0), 3))

看到这个就算过

无 baseline 的标准差约 [0.362 0.273 0.136],有 baseline 约 [0.137 0.136 0.136]。均值两者都接近 [0.17, 0, -0.17](即该动作比平均好多少)——方差降了约 7 倍,均值不变,这就是 baseline 的全部效果。

自测 4 题

先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。

01策略梯度的推导里,哪一步用到了「奖励不依赖 θ」这个事实?

第一步:∇只作用在 p_θ 上,R 被当常数。如果奖励反过来依赖策略(比如奖励里带动作幅度惩罚且幅度由 θ 决定),这一步就不成立,要额外加一项。

02为什么环境转移概率 P 在最终式子里完全消失了?

因为 log 把乘积变成求和,而 P 不含 θ,求梯度为 0。所以策略梯度是「无模型」的——你不需要知道机器人动力学就能算梯度。

03REINFORCE 在实际机器人任务上几乎不可用的原因是什么?

方差。G_t 是一整条轨迹的回报,维度高、噪声大,而且必须等 episode 结束。真机上一条 episode 可能几十秒,样本效率完全不够,所以要用 critic 把 G_t 换成优势估计。

04如果把 baseline 设成一个很大的正数,会发生什么?

期望不变、方向不变,但信噪比变差:所有优势都变成负数、幅度接近,梯度估计的方差反而上升。baseline 要贴近 V(s),不是越大越好。

接着看

全系列 11 篇