底层 05 / 11 · 值函数
函数逼近:从「一定收敛」到「会崩」的三要素
半梯度、致命三要素、分布决定答案、目标网络。这一篇解释为什么深度 RL 的训练曲线经常不是「收敛慢」而是「炸了」
一句话结论
表格法的收敛保证在换成函数逼近的那一刻就失效了。失效不是随机的:它要求三件事同时成立——函数逼近、自举、离策略。少任何一个都还安全,三个同时出现就会发散。
这一篇是理解 DQN/TD3/SAC 里那些「看起来很奇怪的设计」的唯一入口:为什么要有目标网络、为什么要经验回放、为什么 replay buffer 越大越好又越容易偏。
符号表
| 符号 | 含义 |
|---|---|
v̂(s;w) | 用参数 w 的近似值函数,输入状态输出值 |
∇_w v̂ | 近似函数对参数的梯度,也就是「改这个状态的值,要动哪些权重」 |
d(s) | 采样分布:你的数据到底从哪些状态来 |
A, b | 线性情况下固定点方程的两个量,A 依赖采样分布 d |
推导
1. 半梯度:为什么叫「半」
TD 的目标里含 w,严格求全梯度要把它也求导。实现里把目标当常数——这叫半梯度。这不是偷懒,是刻意的。
为什么能这么写如果把目标也求导(residual gradient),得到的是真梯度,但它收敛极慢,而且容易被「让相邻状态的值一起塌下去」这种平凡解困住。半梯度虽然理论上不保证收敛,实践上快得多——这是工程与理论的经典分歧点。
2. 致命三要素:三个一起才致命
函数逼近 + 自举 + 离策略。这三个分别在做什么,为什么会叠加成发散?
为什么能这么写直觉:函数逼近让一次更新影响一大片状态(参数共享);自举让误差沿状态链回传;离策略让「被更新的分布」和「数据来的分布」不一致,于是某些状态被反复朝一个方向推、却永远得不到纠正自己的样本。三者任一去掉都安全:表格法(不共享)、MC(不自举)、on-policy(分布一致)。
3. 采样分布决定答案(这一点比「发散」更常咬人)
线性逼近下,固定点由 A w = b 决定,而 A、b 都带采样分布的期望。所以「换一批数据,解就变了」——哪怕算法完全正确。
为什么能这么写更极端的例子:如果采样只覆盖一个状态,A 变成秩 1 矩阵,直接奇异,方程无解。实测用 numpy 求解会抛 LinAlgError。所以「replay buffer 里全是早期失败数据」不是效率问题,是数学上解不出来。
4. max 的过估计:为什么必须取两个 Q 的 min
第 3 篇已经推过方向,这里给数量级。它解释了 DQN 之后所有算法的「双 Q」设计。
为什么能这么写实测:σ=0.5→0.769,σ=1→1.539,σ=2→3.087。偏差与 σ 成正比,与动作数的平方根近似成正比。取两个独立估计的最小值,可以把正偏压成轻微负偏——代价小、收益大,所以成了标配。
5. 目标网络:把移动靶临时钉住
既然目标是「自己算出来的」,那就用一份旧参数算目标,隔一段时间再同步。这就是目标网络。
为什么能这么写代价是滞后:τ 越小越稳越慢,target 落后策略太多时会出现「学不进去」。硬更新(每 N 步整体复制,N=1000)和软更新(每步 0.5%)等价,后者更平滑。诊断「target 是不是太慢」的方法:看 Q 的均值是否长期落在 0 附近不动。
6. 经验回放:既是解药也是病因
回放打破样本相关性(让梯度不那么抖),同时让你能用少量数据反复学。但它把 on-policy 变成了 off-policy——恰好是致命三要素的第三条。
为什么能这么写这就是为什么 PPO 只敢在同一批数据上更新几轮(通常 4 轮)就必须重新采样,而 DQN 敢用 100 万步的 buffer:DQN 有目标网络 + 双 Q 兜着,PPO 没有。所以 PPO 的 clip 是它对抗 off-policy 偏差的手段。
手算一遍
三状态链 0→1→2(2 终止,进 2 得 1),用线性特征 x(s)=(1, s) 和 γ=0.9。分别用均匀分布和偏斜分布 [0.7,0.2,0.1] 求线性 TD 的固定点,比较结果。
- 真值是 [0.81, 0.90, 1.00],而线性形式 w0+w1·s 只能表达等差,本身就有逼近误差
- 均匀分布下解 A w = b:w=(0.810, 0.0935),对应 V=[0.810, 0.903, 0.997]
- 偏斜分布 [0.7,0.2,0.1] 下:w=(0.8096, 0.0912),V=[0.810, 0.901, 0.992]
- 若只采 s=2:A = x(2)x(2)^T 秩 1,奇异,numpy 抛 LinAlgError
两个分布给出的解不同(0.903 vs 0.901),差别不大是因为这个例子的特征本身够好;但「只采一个状态就无解」是硬的——这说明 off-policy 覆盖不足会让方程失去解,而不是「解得差一点」。实践含义:replay buffer 里必须持续灌入新策略的数据,别指望旧数据能一直用。
跑一遍
25 行,算出上面的数字,并验证「只采一个状态」时矩阵奇异。第二段可以注释掉 try,看它真的抛异常。
import numpy as np
G, n = 0.9, 3
def fixed_point(dist):
A, b = np.zeros((2,2)), np.zeros(2)
for s, d in enumerate(dist):
x = np.array([1.0, float(s)])
if s == n - 1:
A += d * np.outer(x, x); b += d * x
else:
xn = np.array([1.0, float(s+1)])
A += d * np.outer(x, x - G * xn)
return np.linalg.solve(A, b)
for d in ([1/3,1/3,1/3], [0.7,0.2,0.1]):
w = fixed_point(d)
print(d, 'w =', np.round(w,4), 'V =', np.round([w[0]+w[1]*s for s in range(3)],3))
try:
fixed_point([0.0, 0.0, 1.0])
except np.linalg.LinAlgError:
print('只采终止状态 -> A 奇异,无解')看到这个就算过
两次输出 w 略有差别(第二分量 0.0935 vs 0.0912),最后一行打印「A 奇异」。若第二组解和第一组完全相同,检查你有没有真的把 d 乘进 A(漏乘 d 是最常见的实现错)。
自测 4 题
先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。
01致命三要素里去掉哪一个最容易?工程上通常去掉哪个?
去掉自举最容易:用 MC 或 n 步回报。但代价是方差大、样本效率低。工程上多数选择「去掉离策略」或「用目标网络 + 双 Q 硬扛」——PPO 选前者,DQN/SAC 选后者。
02为什么 PPO 只敢在同一批数据上更新 4 轮左右?
因为它是 on-policy 算法,多轮更新会让策略偏离采样分布越来越远(重要性采样比值失控)。clip 只是把这个偏离限制在 ±20%,不能根本解决。
03Q 值突然从 100 涨到 1e4,最可能的两处错误?
① 奖励每步都给而不是只在终止给(尺度错);② target 网络没有同步或 τ 太大(自举在自我放大)。先查这两处,别急着调学习率。
04线性 TD 的固定点依赖采样分布,这意味着「算法错了」吗?
不是。这是最小二乘投影的固有性质:你在加权最小化「在分布 d 下的贝尔曼误差」,权重变了答案就变。要改变答案只能改特征或改分布。