机器人入行指南
底层/PPO:clip 到底在 clip 什么

底层 08 / 11 · 策略梯度

PPO:clip 到底在 clip 什么

从重要性采样比值,到 TRPO 的 KL 约束,再到那条 min-clip 的分段函数。附四种情况的梯度表

约 70 分钟进阶6 段推导4 题自测

一句话结论

PPO 的 clip 是一段分段函数,不是一个「限制更新幅度」的口号。它在两种情况下把梯度置零:动作比旧策略好很多(已经够了,别再推)和差很多(已经避开了,别再压)。理解这两点,超参 ε 就没有神秘感了。

PPO 是工业界用得最多的算法,也是最容易被「调包式使用」的。这一篇的目的是让你看到 loss 曲线异常时,能立刻说出是 clip 的哪一支出了问题。

符号表

符号含义
r_t(θ)重要性采样比值 π_θ(a|s)/π_old(a|s),r=1 表示没变
A_t优势,第 7 篇算出来的
εclip 范围,默认 0.2
L^CPI无约束的重要性采样目标 r·A

推导

  1. 为什么需要比值:数据是旧策略采的
  2. 无约束目标,以及它为什么必然崩
  3. TRPO:用一个硬约束换理论保证
  4. PPO 的替代:把约束变成一个分段函数
  5. 四种情况:哪两种梯度为零
  6. 完整 loss 里三个常被忽略的项

1. 为什么需要比值:数据是旧策略采的

on-policy 算法每更新一次策略,之前的数据就「过期」了。想多利用几轮,就必须用重要性采样把旧数据折算到新策略上。

r_t(θ) = π_θ(a_t|s_t) / π_θold(a_t|s_t)

为什么能这么写r 是可算的(两个策略对同一个动作的概率之比),不需要环境。这就是 PPO 能在同一批数据上更新多轮的基础。比值对每个动作单独算,不是一个全局标量。

无 clip 的策略梯度·一步更新把策略推太远·采样分布瞬间失效·训练崩塌PPO 的 clip·限制新旧策略比值·数据可以复用几轮·训练稳到无聊vsPPO 赢的不是性能上限,是把训练从玄学变成流程

2. 无约束目标,以及它为什么必然崩

最直接的目标就是把回报乘上比值。数学上没错,但它在优化时会走到数据覆盖不到的地方。

LCPI(θ) = E_t[ r_t(θ)·A_t ]

为什么能这么写崩的机制:r 没有上界。某个动作的优势估得偏高时,优化器会把它的概率推到接近 1,此时 r 变成 10、100,目标跟着涨——但那些概率对应的状态在新策略下根本没被采样过,估计完全不可信。下一步就是策略坍塌到单一动作。

3. TRPO:用一个硬约束换理论保证

既然问题出在「走太远」,那就限制走多远。TRPO 用平均 KL 散度做信任域,在这个域内最大化目标。

max_θ E[ r_t(θ)A_t ] s.t. E[ KL(π_old || π_θ) ] ≤ δ

为什么能这么写有单调改进的理论保证,但要算 Fisher 矩阵向量积 + 共轭梯度,实现复杂、每步开销大。工程上「保证」没那么值钱,简单才是。

4. PPO 的替代:把约束变成一个分段函数

不加约束,而是把目标改成「比原来更差的那个」。这一改就得到了一个不需要二阶优化的下界。

LCLIP = E_t[ min( r_t A_t , clip(r_t, 1-ε, 1+ε)·A_t ) ]

为什么能这么写为什么是 min:保证 L^CLIP ≤ r·A,也就是「永远不高估这次更新的收益」。如果直接用 clip(不套 min),当 A<0 且 r 很小时,clip 会把惩罚变小,等于鼓励「变得更差」——这是很多人自己实现 PPO 时踩的坑。

5. 四种情况:哪两种梯度为零

把 A 的正负和 r 是否越界组合起来,只有四种情况。实测(ε=0.2,A=±2):

A>0, r=0.5 → L=1.0(梯度按 A=2);A>0, r=1.5 → L=2.4(梯度 0)

为什么能这么写完整结果:A=2 时 r=0.5/0.9/1.0/1.15 梯度都是 2,r=1.5 时梯度变 0;A=-2 时 r=1.15/1.5 梯度仍是 -2(继续惩罚),r=0.5 时梯度变 0。规律是:好动作被推过头 → 停;坏动作被压过头 → 停;其余情况照常更新。所以 ε 的本质是「允许多大的概率变化」,0.2 意味着概率最多变 ±20% 的比值。

6. 完整 loss 里三个常被忽略的项

真正的实现是三部分相加。前两项大家都知道,第三项经常被漏掉或多乘。

L = -LCLIP + c1·MSE(V, R) - c2·H(π),常用 c1=0.5、c2=0.01

为什么能这么写三个细节:① advantage 必须归一化(减均值除标准差),否则小 batch 上梯度尺度不稳;② 值损失有时也做 clip(和旧值比不能变太多),防止 critic 崩带动 actor;③ 熵系数太小会让策略过早确定,太大则学不到确定性策略——0.01 是连续控制的常用值,离散动作任务常用 0.01~0.05。

手算一遍

ε=0.2,A=2、r=1.3 时 L^CLIP 是多少?对 θ 的梯度是正、负还是零?再算 A=-2、r=1.3 的情况。

  1. A=2, r=1.3:未裁剪项 = 2.6,裁剪项 = 2×1.2 = 2.4,min 取 2.4 → 且因为 r 已超上界,这一支是常数,梯度为 0
  2. A=-2, r=1.3:未裁剪项 = -2.6,裁剪项 = -2×1.2 = -2.4,min 取 -2.6 → 未裁剪项胜出,梯度按 A=-2 计算(仍在把概率压下去)
答

前者 2.4、梯度 0;后者 -2.6、梯度 -2(继续压低这个动作)。同一处 r>1(概率变大了),对好动作是「够了,停」,对坏动作是「变大了更要压」——这就是 min 的不对称性,也是 PPO 比「直接截断」更稳的原因。

跑一遍

20 行验证上面的表。这段代码不需要 torch,纯 numpy 就能把四种情况和梯度符号说清。

python · 只要 numpy
import numpy as np
EPS = 0.2
def lclip(A, r):
    return min(r * A, np.clip(r, 1-EPS, 1+EPS) * A)
for A in (2.0, -2.0):
    for r in (0.5, 0.9, 1.0, 1.15, 1.5):
        # 数值梯度:对 r 求导,判断这一支是否还在生效
        h = 1e-6
        g = (lclip(A, r+h) - lclip(A, r-h)) / (2*h)
        print('A=%+.0f r=%.2f L=%+.3f dL/dr=%+.3f %s' % (A, r, lclip(A, r), g, '←梯度被裁掉' if abs(g) < 1e-9 else ''))

看到这个就算过

A=+2 的 r=1.5 那一行、A=-2 的 r=0.5 那一行会出现「梯度被裁掉」。其余四行梯度分别是 +2 或 -2。如果你的实现里这两行梯度不是 0,检查 min 是不是写成了 max,或者 clip 的参数写反了。

自测 4 题

先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。

01PPO 的 clip 和梯度裁剪(grad clip)是同一件事吗?

不是。PPO 的 clip 作用在「重要性采样比值」上,改变的是目标函数形状;grad clip 作用在梯度范数上,是优化器层面的保护。两者经常同时开,但解决的是不同问题。

02为什么 PPO 要更新多轮(epoch>1)?多轮会不会破坏 on-policy 假设?

多轮是为了提高样本效率,代价是确实偏离 on-policy。clip 就是用来限制这个偏离的。所以 epoch 通常 3~10,再多 clip 会频繁触发、更新几乎停滞(表现为 policy loss 不动)。

03policy loss 变成 0 且不再变化,可能是什么原因?

两种:① 优势全被归一化成接近 0(critic 崩了或奖励全相同);② 大量样本触发 clip,梯度被裁光。查法:打印 clip 触发比例,正常应在 0.1~0.3 之间,长期 >0.6 就是学得太猛或旧数据太旧。

04ε=0.2 具体约束了什么?

约束同一动作的新旧概率比在 [0.8, 1.2] 内。因为是对每个 (s,a) 单独算的比值,实际约束的是「每个动作的概率最多变化约 20%」,不是策略整体的 KL。

接着看

全系列 11 篇