机器人入行指南
底层/只用得到的四个数学工具

底层 01 / 11 · 工具

只用得到的四个数学工具

期望的线性、条件期望的塔性质、score 函数、重要性采样。后面十一篇的所有推导都是这四个的排列组合

约 40 分钟先修6 段推导4 题自测

一句话结论

强化学习的推导没有用到任何「高级」数学。真正被反复使用的只有四个工具,其中最关键的一个叫 score 函数——它把「对一个概率分布求导」变成「对一个采样出来的样本求导」。

这一篇的作用是把恐惧提前消掉。你在后面会看到大量带 ∇ 和 E 的式子,但每一个都只会用到下面四条里的一条,而且我会标出用的是哪一条。如果你时间很紧,只看第 3 节和第 4 节也能跟下去。

符号表

符号含义
E_{x~p}[f(x)]对分布 p 采样出来的 x 求 f 的平均值,就是「样本平均」的极限
∇_θ对参数 θ 求梯度,是一个和 θ 同维的向量
p_θ(a|s)策略:在状态 s 下选动作 a 的概率,由 θ 决定
H(p)熵,衡量分布有多不确定,均匀分布时最大
KL(p||q)两个分布的差异,非负、不对称、p=q 时为 0

推导

  1. 期望是线性的,而且不需要独立
  2. 塔性质:先分支求期望,再对分支求期望
  3. score 函数:log 一下再求导,概率就变成了样本
  4. score 的期望是零(baseline 不引入偏差的根)
  5. 重要性采样:用旧数据估新目标,代价是方差
  6. 熵与 KL:SAC 的整篇都在用这两个

1. 期望是线性的,而且不需要独立

这一条太基础,以至于大部分教材不写,但它是「把总回报拆成每一步」的全部依据。很多人在推导时会下意识地以为要独立才能拆,其实不用。

E[aX + bY] = a·E[X] + b·E[Y]

为什么能这么写只要是同一组样本上的和,系数可以随便提出来。后面贝尔曼方程能把「无穷项和」写成「一项 + 剩下的期望」,靠的就是这一条。

线性代数矩阵=变换 · 特征值=主轴L1概率不确定性的语言L2优化在误差面上下山L3一点信息论熵 = 平均惊讶程度L4推导层用到的四件数学工具这一篇是推导层的字典:后面每篇的数学符号在这里定义

2. 塔性质:先分支求期望,再对分支求期望

这是贝尔曼方程的发动机。它的意思是:如果你想求 X 的平均,可以先按 Y 的取值分组,每组算平均,再把这些平均按 Y 的概率加权。

E[X] = E_Y[ E[X | Y] ]

为什么能这么写把「未来」当成 Y,把「当前这一步」当成外面的期望,你就得到了贝尔曼方程。整本书里最常被忽略的一步就是这里:能这么拆的前提是 Y 的分布不依赖你正在求的东西。

3. score 函数:log 一下再求导,概率就变成了样本

这是全篇唯一需要记住的公式。左边是「对一个概率求梯度」,右边是「梯度除以概率」。它来自链式法则,没有任何近似。

∇_θ log p_θ(x) = ∇_θ p_θ(x) / p_θ(x)

为什么能这么写这个量叫 score。它的用处在于:等你把它乘上 p 再求和时,p 会被约掉,于是「对分布的积分」变成了「对样本的平均」——你不需要知道分布长什么样,只要能从里面采样。

4. score 的期望是零(baseline 不引入偏差的根)

把第 3 条的式子两边同乘 p 再对 x 求和,会得到一个漂亮的结果。这个结果是后面「减 baseline 不改期望、只降方差」的全部依据。

Ex~p_θ[∇log p_θ(x)] = ∑_x ∇p_θ(x) = ∇∑_x p_θ(x) = ∇1 = 0

为什么能这么写注意第三步:所有概率加起来恒等于 1,1 是常数,梯度是 0。所以任何「只依赖状态、不依赖动作」的东西乘上 score,期望都还是 0——这就是 baseline 的合法性证明。

5. 重要性采样:用旧数据估新目标,代价是方差

PPO、DQN 的经验回放、离线 RL 全都建在这一条上。你想用分布 q 采的样本来估分布 p 下的期望,就在每个样本上乘一个比值。

Ex~p[f(x)] = Ex~q[ (p(x)/q(x))·f(x) ]

为什么能这么写前提是 q 在 p 非零的地方也非零(覆盖)。代价是方差:比值大的样本权重极大,几个样本就能主导整个估计。PPO 的 clip 就是在限制这个比值的活动范围,见第 8 篇。

6. 熵与 KL:SAC 的整篇都在用这两个

熵衡量「有多不确定」,KL 衡量「两个分布差多远」。它们不是可选的修饰,SAC 的目标函数里熵是直接加进去的一项。

H(p) = -∑_a p(a) log p(a),KL(p||q) = ∑_a p(a) log(p(a)/q(a))

为什么能这么写两个动作各 0.5 时 H=0.693(就是 ln2),两个动作概率越悬殊熵越小。KL 不是距离:KL(p||q) ≠ KL(q||p),这一点在 PPO 的早停判据里会咬人。

手算一遍

两动作策略,θ=(0.2, -0.1),用 softmax 得到概率。求 score:∇log π(a1) 和 ∇log π(a2),并验证加权和为 0。

  1. p1 = e^0.2/(e^0.2+e^-0.1) = 1.2214/2.1262 = 0.5744,p2 = 0.4256
  2. score(a1) = (1,0) - p = (0.4256, -0.4256)
  3. score(a2) = (0,1) - p = (-0.5744, 0.5744)
  4. 加权和 = 0.5744×(0.4256,-0.4256) + 0.4256×(-0.5744,0.5744) = (0.2445-0.2445, -0.2445+0.2445) = (0, 0)
答

两个 score 分别是 (0.4256, -0.4256) 与 (-0.5744, 0.5744),加权和精确为 (0,0)。这就是「score 期望为零」在两动作情况下的手算版本——不用采样,代进去就消了。

跑一遍

用两万次采样验证「score 期望为零」。如果这一步对不上,后面所有策略梯度的实现都会错,而且不会报错。

python · 只要 numpy
import numpy as np
rng = np.random.default_rng(0)
th = np.array([0.2, -0.1])
p = np.exp(th); p = p / p.sum()
N = 200000
a = rng.choice(2, size=N, p=p)
score = np.eye(2)[a] - p        # onehot(a) - p 就是 score
print('E[score] =', score.mean(0), ' 标准误 =', score.std(0)/np.sqrt(N))
print('理论值 = [0, 0],若均值落在 ±3 倍标准误内即通过')

看到这个就算过

输出类似 [0.0014 -0.0014],标准误 0.0011,比值约 1.3 倍——在噪声范围内。若你的实现写成 1-p(对所有维度都用 1-p),第二维会稳定偏到 -0.42 左右,一眼就能看出错。

自测 4 题

先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。

01为什么减掉一个只依赖状态的 baseline 不会让策略梯度变成有偏?

因为 score 的期望是 0:E[∇log π(a|s)·b(s)] = b(s)·∑_a ∇π(a|s) = b(s)·∇1 = 0。乘进去的那一项整体消失,剩下的是原来的梯度。

02重要性采样的比值 p/q 在什么情况下会把估计毁掉?

q 在 p 有质量的地方几乎没有样本(覆盖不足)时,比值会极大,方差发散。工程上表现为「训练突然跳变」或「loss 出现 inf」。

03熵的最大值是多少?SAC 里目标熵为什么取 -动作维数?

n 个动作时最大熵是 log n。SAC 用连续动作,目标熵取 -dim(A),等价于「每个维度都接近单位高斯的不确定度」,是一个和动作尺度无关的常数。

04塔性质 E[X]=E[E[X|Y]] 需要 X 与 Y 独立吗?

不需要。它只要求 Y 的分布不依赖你在内层求的那个条件。贝尔曼方程里 Y 是「下一状态」,内层是「从下一状态开始的一切」,所以可以直接拆。

接着看

全系列 11 篇