底层 08 / 11 · 策略梯度
PPO:clip 到底在 clip 什么
从重要性采样比值,到 TRPO 的 KL 约束,再到那条 min-clip 的分段函数。附四种情况的梯度表
一句话结论
PPO 的 clip 是一段分段函数,不是一个「限制更新幅度」的口号。它在两种情况下把梯度置零:动作比旧策略好很多(已经够了,别再推)和差很多(已经避开了,别再压)。理解这两点,超参 ε 就没有神秘感了。
PPO 是工业界用得最多的算法,也是最容易被「调包式使用」的。这一篇的目的是让你看到 loss 曲线异常时,能立刻说出是 clip 的哪一支出了问题。
符号表
| 符号 | 含义 |
|---|---|
r_t(θ) | 重要性采样比值 π_θ(a|s)/π_old(a|s),r=1 表示没变 |
A_t | 优势,第 7 篇算出来的 |
ε | clip 范围,默认 0.2 |
L^CPI | 无约束的重要性采样目标 r·A |
推导
1. 为什么需要比值:数据是旧策略采的
on-policy 算法每更新一次策略,之前的数据就「过期」了。想多利用几轮,就必须用重要性采样把旧数据折算到新策略上。
为什么能这么写r 是可算的(两个策略对同一个动作的概率之比),不需要环境。这就是 PPO 能在同一批数据上更新多轮的基础。比值对每个动作单独算,不是一个全局标量。
2. 无约束目标,以及它为什么必然崩
最直接的目标就是把回报乘上比值。数学上没错,但它在优化时会走到数据覆盖不到的地方。
为什么能这么写崩的机制:r 没有上界。某个动作的优势估得偏高时,优化器会把它的概率推到接近 1,此时 r 变成 10、100,目标跟着涨——但那些概率对应的状态在新策略下根本没被采样过,估计完全不可信。下一步就是策略坍塌到单一动作。
3. TRPO:用一个硬约束换理论保证
既然问题出在「走太远」,那就限制走多远。TRPO 用平均 KL 散度做信任域,在这个域内最大化目标。
为什么能这么写有单调改进的理论保证,但要算 Fisher 矩阵向量积 + 共轭梯度,实现复杂、每步开销大。工程上「保证」没那么值钱,简单才是。
4. PPO 的替代:把约束变成一个分段函数
不加约束,而是把目标改成「比原来更差的那个」。这一改就得到了一个不需要二阶优化的下界。
为什么能这么写为什么是 min:保证 L^CLIP ≤ r·A,也就是「永远不高估这次更新的收益」。如果直接用 clip(不套 min),当 A<0 且 r 很小时,clip 会把惩罚变小,等于鼓励「变得更差」——这是很多人自己实现 PPO 时踩的坑。
5. 四种情况:哪两种梯度为零
把 A 的正负和 r 是否越界组合起来,只有四种情况。实测(ε=0.2,A=±2):
为什么能这么写完整结果:A=2 时 r=0.5/0.9/1.0/1.15 梯度都是 2,r=1.5 时梯度变 0;A=-2 时 r=1.15/1.5 梯度仍是 -2(继续惩罚),r=0.5 时梯度变 0。规律是:好动作被推过头 → 停;坏动作被压过头 → 停;其余情况照常更新。所以 ε 的本质是「允许多大的概率变化」,0.2 意味着概率最多变 ±20% 的比值。
6. 完整 loss 里三个常被忽略的项
真正的实现是三部分相加。前两项大家都知道,第三项经常被漏掉或多乘。
为什么能这么写三个细节:① advantage 必须归一化(减均值除标准差),否则小 batch 上梯度尺度不稳;② 值损失有时也做 clip(和旧值比不能变太多),防止 critic 崩带动 actor;③ 熵系数太小会让策略过早确定,太大则学不到确定性策略——0.01 是连续控制的常用值,离散动作任务常用 0.01~0.05。
手算一遍
ε=0.2,A=2、r=1.3 时 L^CLIP 是多少?对 θ 的梯度是正、负还是零?再算 A=-2、r=1.3 的情况。
- A=2, r=1.3:未裁剪项 = 2.6,裁剪项 = 2×1.2 = 2.4,min 取 2.4 → 且因为 r 已超上界,这一支是常数,梯度为 0
- A=-2, r=1.3:未裁剪项 = -2.6,裁剪项 = -2×1.2 = -2.4,min 取 -2.6 → 未裁剪项胜出,梯度按 A=-2 计算(仍在把概率压下去)
前者 2.4、梯度 0;后者 -2.6、梯度 -2(继续压低这个动作)。同一处 r>1(概率变大了),对好动作是「够了,停」,对坏动作是「变大了更要压」——这就是 min 的不对称性,也是 PPO 比「直接截断」更稳的原因。
跑一遍
20 行验证上面的表。这段代码不需要 torch,纯 numpy 就能把四种情况和梯度符号说清。
import numpy as np
EPS = 0.2
def lclip(A, r):
return min(r * A, np.clip(r, 1-EPS, 1+EPS) * A)
for A in (2.0, -2.0):
for r in (0.5, 0.9, 1.0, 1.15, 1.5):
# 数值梯度:对 r 求导,判断这一支是否还在生效
h = 1e-6
g = (lclip(A, r+h) - lclip(A, r-h)) / (2*h)
print('A=%+.0f r=%.2f L=%+.3f dL/dr=%+.3f %s' % (A, r, lclip(A, r), g, '←梯度被裁掉' if abs(g) < 1e-9 else ''))看到这个就算过
A=+2 的 r=1.5 那一行、A=-2 的 r=0.5 那一行会出现「梯度被裁掉」。其余四行梯度分别是 +2 或 -2。如果你的实现里这两行梯度不是 0,检查 min 是不是写成了 max,或者 clip 的参数写反了。
自测 4 题
先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。
01PPO 的 clip 和梯度裁剪(grad clip)是同一件事吗?
不是。PPO 的 clip 作用在「重要性采样比值」上,改变的是目标函数形状;grad clip 作用在梯度范数上,是优化器层面的保护。两者经常同时开,但解决的是不同问题。
02为什么 PPO 要更新多轮(epoch>1)?多轮会不会破坏 on-policy 假设?
多轮是为了提高样本效率,代价是确实偏离 on-policy。clip 就是用来限制这个偏离的。所以 epoch 通常 3~10,再多 clip 会频繁触发、更新几乎停滞(表现为 policy loss 不动)。
03policy loss 变成 0 且不再变化,可能是什么原因?
两种:① 优势全被归一化成接近 0(critic 崩了或奖励全相同);② 大量样本触发 clip,梯度被裁光。查法:打印 clip 触发比例,正常应在 0.1~0.3 之间,长期 >0.6 就是学得太猛或旧数据太旧。
04ε=0.2 具体约束了什么?
约束同一动作的新旧概率比在 [0.8, 1.2] 内。因为是对每个 (s,a) 单独算的比值,实际约束的是「每个动作的概率最多变化约 20%」,不是策略整体的 KL。