机器人入行指南
底层/函数逼近:从「一定收敛」到「会崩」的三要素

底层 05 / 11 · 值函数

函数逼近:从「一定收敛」到「会崩」的三要素

半梯度、致命三要素、分布决定答案、目标网络。这一篇解释为什么深度 RL 的训练曲线经常不是「收敛慢」而是「炸了」

约 55 分钟进阶6 段推导4 题自测

一句话结论

表格法的收敛保证在换成函数逼近的那一刻就失效了。失效不是随机的:它要求三件事同时成立——函数逼近、自举、离策略。少任何一个都还安全,三个同时出现就会发散。

这一篇是理解 DQN/TD3/SAC 里那些「看起来很奇怪的设计」的唯一入口:为什么要有目标网络、为什么要经验回放、为什么 replay buffer 越大越好又越容易偏。

符号表

符号含义
v̂(s;w)用参数 w 的近似值函数,输入状态输出值
∇_w v̂近似函数对参数的梯度,也就是「改这个状态的值,要动哪些权重」
d(s)采样分布:你的数据到底从哪些状态来
A, b线性情况下固定点方程的两个量,A 依赖采样分布 d

推导

  1. 半梯度:为什么叫「半」
  2. 致命三要素:三个一起才致命
  3. 采样分布决定答案(这一点比「发散」更常咬人)
  4. max 的过估计:为什么必须取两个 Q 的 min
  5. 目标网络:把移动靶临时钉住
  6. 经验回放:既是解药也是病因

1. 半梯度:为什么叫「半」

TD 的目标里含 w,严格求全梯度要把它也求导。实现里把目标当常数——这叫半梯度。这不是偷懒,是刻意的。

w ← w + α[ r + γ v̂(s';w) - v̂(s;w) ] ∇_w v̂(s;w)

为什么能这么写如果把目标也求导(residual gradient),得到的是真梯度,但它收敛极慢,而且容易被「让相邻状态的值一起塌下去」这种平凡解困住。半梯度虽然理论上不保证收敛,实践上快得多——这是工程与理论的经典分歧点。

函数族线性 or 神经网络表达力目标MSE on bootstrap 目标偏差算法半梯度 off-policy不稳定函数逼近的致命三要素三者组合可能致命(deadly triad):表格法没有这三个问题,一换成逼近全来了

2. 致命三要素:三个一起才致命

函数逼近 + 自举 + 离策略。这三个分别在做什么,为什么会叠加成发散?

函数逼近(共享参数)+ bootstrap(目标是估计)+ off-policy(数据分布 ≠ 策略分布)⟹ 可能发散

为什么能这么写直觉:函数逼近让一次更新影响一大片状态(参数共享);自举让误差沿状态链回传;离策略让「被更新的分布」和「数据来的分布」不一致,于是某些状态被反复朝一个方向推、却永远得不到纠正自己的样本。三者任一去掉都安全:表格法(不共享)、MC(不自举)、on-policy(分布一致)。

3. 采样分布决定答案(这一点比「发散」更常咬人)

线性逼近下,固定点由 A w = b 决定,而 A、b 都带采样分布的期望。所以「换一批数据,解就变了」——哪怕算法完全正确。

A = E_d[ x(s)(x(s) - γx(s'))^T ],b = E_d[ r·x(s) ]

为什么能这么写更极端的例子:如果采样只覆盖一个状态,A 变成秩 1 矩阵,直接奇异,方程无解。实测用 numpy 求解会抛 LinAlgError。所以「replay buffer 里全是早期失败数据」不是效率问题,是数学上解不出来。

4. max 的过估计:为什么必须取两个 Q 的 min

第 3 篇已经推过方向,这里给数量级。它解释了 DQN 之后所有算法的「双 Q」设计。

真值全 0、10 个动作、噪声 σ=1 时:E[max Q̂] = 1.54

为什么能这么写实测:σ=0.5→0.769,σ=1→1.539,σ=2→3.087。偏差与 σ 成正比,与动作数的平方根近似成正比。取两个独立估计的最小值,可以把正偏压成轻微负偏——代价小、收益大,所以成了标配。

5. 目标网络:把移动靶临时钉住

既然目标是「自己算出来的」,那就用一份旧参数算目标,隔一段时间再同步。这就是目标网络。

θ⁻ ← τθ + (1-τ)θ⁻,常用 τ=0.005(约 200 步更新一次等效)

为什么能这么写代价是滞后:τ 越小越稳越慢,target 落后策略太多时会出现「学不进去」。硬更新(每 N 步整体复制,N=1000)和软更新(每步 0.5%)等价,后者更平滑。诊断「target 是不是太慢」的方法:看 Q 的均值是否长期落在 0 附近不动。

6. 经验回放:既是解药也是病因

回放打破样本相关性(让梯度不那么抖),同时让你能用少量数据反复学。但它把 on-policy 变成了 off-policy——恰好是致命三要素的第三条。

on-policy:数据分布 = 当前策略;回放:数据分布 = 过去所有策略的混合

为什么能这么写这就是为什么 PPO 只敢在同一批数据上更新几轮(通常 4 轮)就必须重新采样,而 DQN 敢用 100 万步的 buffer:DQN 有目标网络 + 双 Q 兜着,PPO 没有。所以 PPO 的 clip 是它对抗 off-policy 偏差的手段。

手算一遍

三状态链 0→1→2(2 终止,进 2 得 1),用线性特征 x(s)=(1, s) 和 γ=0.9。分别用均匀分布和偏斜分布 [0.7,0.2,0.1] 求线性 TD 的固定点,比较结果。

  1. 真值是 [0.81, 0.90, 1.00],而线性形式 w0+w1·s 只能表达等差,本身就有逼近误差
  2. 均匀分布下解 A w = b:w=(0.810, 0.0935),对应 V=[0.810, 0.903, 0.997]
  3. 偏斜分布 [0.7,0.2,0.1] 下:w=(0.8096, 0.0912),V=[0.810, 0.901, 0.992]
  4. 若只采 s=2:A = x(2)x(2)^T 秩 1,奇异,numpy 抛 LinAlgError
答

两个分布给出的解不同(0.903 vs 0.901),差别不大是因为这个例子的特征本身够好;但「只采一个状态就无解」是硬的——这说明 off-policy 覆盖不足会让方程失去解,而不是「解得差一点」。实践含义:replay buffer 里必须持续灌入新策略的数据,别指望旧数据能一直用。

跑一遍

25 行,算出上面的数字,并验证「只采一个状态」时矩阵奇异。第二段可以注释掉 try,看它真的抛异常。

python · 只要 numpy
import numpy as np
G, n = 0.9, 3
def fixed_point(dist):
    A, b = np.zeros((2,2)), np.zeros(2)
    for s, d in enumerate(dist):
        x = np.array([1.0, float(s)])
        if s == n - 1:
            A += d * np.outer(x, x); b += d * x
        else:
            xn = np.array([1.0, float(s+1)])
            A += d * np.outer(x, x - G * xn)
    return np.linalg.solve(A, b)
for d in ([1/3,1/3,1/3], [0.7,0.2,0.1]):
    w = fixed_point(d)
    print(d, 'w =', np.round(w,4), 'V =', np.round([w[0]+w[1]*s for s in range(3)],3))
try:
    fixed_point([0.0, 0.0, 1.0])
except np.linalg.LinAlgError:
    print('只采终止状态 -> A 奇异,无解')

看到这个就算过

两次输出 w 略有差别(第二分量 0.0935 vs 0.0912),最后一行打印「A 奇异」。若第二组解和第一组完全相同,检查你有没有真的把 d 乘进 A(漏乘 d 是最常见的实现错)。

自测 4 题

先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。

01致命三要素里去掉哪一个最容易?工程上通常去掉哪个?

去掉自举最容易:用 MC 或 n 步回报。但代价是方差大、样本效率低。工程上多数选择「去掉离策略」或「用目标网络 + 双 Q 硬扛」——PPO 选前者,DQN/SAC 选后者。

02为什么 PPO 只敢在同一批数据上更新 4 轮左右?

因为它是 on-policy 算法,多轮更新会让策略偏离采样分布越来越远(重要性采样比值失控)。clip 只是把这个偏离限制在 ±20%,不能根本解决。

03Q 值突然从 100 涨到 1e4,最可能的两处错误?

① 奖励每步都给而不是只在终止给(尺度错);② target 网络没有同步或 τ 太大(自举在自我放大)。先查这两处,别急着调学习率。

04线性 TD 的固定点依赖采样分布,这意味着「算法错了」吗?

不是。这是最小二乘投影的固有性质:你在加权最小化「在分布 d 下的贝尔曼误差」,权重变了答案就变。要改变答案只能改特征或改分布。

接着看

全系列 11 篇