底层 04 / 11 · 值函数
无模型:MC 与 TD 的偏差方差账
回报当目标还是自举当目标,这一处选择决定了后面所有算法的形态。附一份可复现的实测对比
一句话结论
MC 用真实回报当目标,无偏但方差随步数线性增长;TD 用「一步奖励 + 自己的估计」当目标,有偏但方差小得多。同一份样本预算下,TD 的误差可以是 MC 的三分之一。
这是「为什么 TD 是默认选择」的定量回答。也是理解 GAE 的前提——GAE 就是在这两个极端之间做了一个可调的插值。
符号表
| 符号 | 含义 |
|---|---|
α | 学习率。表格法里它直接决定「新样本占多少权重」 |
δ_t | TD 误差 = r + γV(s') - V(s),后面所有算法都在围着它转 |
G_t^{(n)} | n 步回报:n 步真实奖励 + 第 n 步的估计值 |
λ | 资格迹的衰减系数,控制「信任自举到多远」 |
推导
- MC 的更新:把真实回报当成监督信号
- TD 的更新:用一个估计去修正另一个估计
- n 步:把两个极端连成一条线
- 实测:同一份预算下 TD 好多少
- 收敛条件,以及为什么实践里没人用它
- 为什么这两个的差别在深度 RL 里变成了「要不要目标网络」
1. MC 的更新:把真实回报当成监督信号
跑完一个 episode,把每一步的真实折扣回报算出来,然后朝它挪一步。形式上就是「监督学习」,标签是 G_t。
为什么能这么写无偏:G_t 是从环境里真实采到的,它的期望就是 V^π(S_t)。但方差大:若奖励独立、方差为 σ²,T 步回报的方差约是 σ²(1-γ^{2T})/(1-γ²),随步数增长。一条 100 步的轨迹,G_0 的噪声可以比信号大一个量级。
2. TD 的更新:用一个估计去修正另一个估计
不等 episode 结束,每走一步就更新。目标是「这一步的奖励 + 下一状态的当前估计」。这叫自举(bootstrap)。
为什么能这么写括号里就是 TD 误差 δ_t。目标里有 V(S_{t+1}),它是估计值,所以目标是「有偏」的。但要分清两种偏差:① 训练过程中因为 V 还不准而偏;② 收敛到极限时,E[δ_t]=0,偏差消失。很多人把这两件事混成一句「TD 有偏」,然后在调参时找错了方向。
3. n 步:把两个极端连成一条线
走 n 步真实奖励,再接上第 n 步的估计。n=1 是 TD,n=∞ 是 MC。n 就是「信任真实奖励多久」。
为什么能这么写TD(λ) 更进一步,把所有 n 步回报按 (1-λ)λ^{n-1} 的几何权重加权平均。λ=0 退化成 TD(0),λ=1 退化成 MC。这个「λ 插值」的思想,在策略梯度里会以 GAE 的名字原样出现。
4. 实测:同一份预算下 TD 好多少
5 状态随机游走(经典测试件),γ=1,每 episode 从中间出发随机走,走到右端得 1、左端得 0。1000 个 episode,30 个种子取平均。
为什么能这么写TD 的误差约为 MC 的三分之一。原因不是「TD 更聪明」,而是样本利用率:一条 9 步轨迹,TD 更新 9 次,MC 只更新 1 次(且每次要等 episode 结束)。α 再大,MC 的方差会迅速吃掉收益:α=0.15 时 MC 的 RMSE 升到 0.21,而 TD 只到 0.071。
5. 收敛条件,以及为什么实践里没人用它
表格法的收敛要求学习率满足两个条件:总和发散(保证能走到任意远),平方和收敛(保证最终安静下来)。
为什么能这么写实践里用的是常数 α 或缓慢衰减。常数 α 下 TD 收敛到「最近这段数据的解」而不是全局解——这在非平稳环境里是优点(能跟踪变化),代价是训练后期永远在抖。看到 loss 曲线尾部抖,先确认这是不是常数 α 的正常表现,别急着换算法。
6. 为什么这两个的差别在深度 RL 里变成了「要不要目标网络」
TD 的目标里有你正在更新的参数。表格法里这没事(每次只改一个格子),但函数逼近时,一次更新会同时改变所有状态上的估计,目标跟着动——这就是「移动靶」。
为什么能这么写目标网络、软更新、延迟更新,全都是为了把这个移动靶暂时固定住。第 5 篇讲函数逼近时会展开。
手算一遍
一条 4 步轨迹:s0 →(r=0)→ s1 →(r=0)→ s2 →(r=1)→ 终止。设所有 V 初值 0.5,α=0.5,γ=1。分别用 MC 和 TD(0) 更新一遍,写出更新后的 V。
- MC:G_2 = 1,G_1 = 0+1×1 = 1,G_0 = 1。三个状态都朝 1 挪一半:V = 0.75(s0、s1、s2 全一样)
- TD 从后往前:V(s2) ← 0.5 + 0.5×(1 + 0 - 0.5) = 0.75
- V(s1) ← 0.5 + 0.5×(0 + 0.75 - 0.5) = 0.625
- V(s0) ← 0.5 + 0.5×(0 + 0.625 - 0.5) = 0.5625
MC 给 [0.75, 0.75, 0.75],TD 给 [0.5625, 0.625, 0.75]。TD 的答案「看起来更保守」,但它的梯度结构是对的:越靠近终点的状态值越高,离得越远越低。MC 把三步之外的信息一次性等权灌进来,短期内噪声更大——这就是偏差与方差在一条轨迹上的样子。
跑一遍
40 行,跑出上面那张表。建议你自己改 α 和 episode 数,观察 MC 对 α 有多敏感——这一条比任何文字解释都直观。
import numpy as np
G = 1.0
def run(alpha, episodes, mode, seed):
r = np.random.default_rng(seed)
V = np.full(7, 0.5); V[0] = 0.0; V[6] = 0.0 # 两端终止,值都是 0
for _ in range(episodes):
s, traj = 3, []
while True:
s2 = s + (1 if r.random() < 0.5 else -1)
rw = 1.0 if s2 == 6 else 0.0
traj.append((s, rw, s2)); s = s2
if s in (0, 6): break
if mode == 'mc':
gt = 0.0
for (st, rt, sn) in reversed(traj):
gt = rt + G * gt
V[st] += alpha * (gt - V[st])
else:
for (st, rt, sn) in traj:
V[st] += alpha * (rt + G * V[sn] - V[st])
return V
truth = np.arange(7) / 6.0
for mode in ['mc', 'td']:
e = [np.sqrt(((run(0.005, 1000, mode, s)[1:6] - truth[1:6])**2).mean()) for s in range(30)]
print(mode, 'RMSE = %.3f' % np.mean(e))看到这个就算过
td RMSE ≈ 0.014,mc RMSE ≈ 0.044。若你的 mc 反而更好,检查终止状态的值:右端终止状态的 V 必须是 0(奖励在进入它的那一步给),写成 1 会让 TD 的目标虚高 1,全盘错。
自测 4 题
先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。
01TD 的「偏差」到什么程度会消失?到什么程度不会?
因 V 不准引起的偏差在收敛时消失(E[δ]=0)。但因为「用估计当目标」这件事本身的偏差不会消失——它体现在固定点上:解的是贝尔曼方程,方程的解就是 V^π,所以极限是准的。真正不会消失的偏差来自函数逼近(第 5 篇)。
02一条 200 步的 episode,γ=0.99,MC 的回报方差大概是什么量级?
大约是单步奖励方差的 1/(1-γ²) ≈ 50 倍(若奖励近似独立)。所以长 episode 上 MC 基本不可用,必须用 TD 或 n 步。
03为什么实践里几乎不用 1/t 衰减学习率?
因为环境通常非平稳(策略在变、数据分布在变),1/t 会让学习率过早趋零,无法跟踪。常数 α + target 网络是更常见的组合。
04n 步回报里的 n 该取多少?
常用 3~5(PPO 默认 n=2048 步的 rollout 里再切 1 步 TD,DQN 用 1)。n 大→更接近 MC、无偏但方差大;n 小→更快但偏差大。稀疏奖励任务适当加大。