机器人入行指南
底层/无模型:MC 与 TD 的偏差方差账

底层 04 / 11 · 值函数

无模型:MC 与 TD 的偏差方差账

回报当目标还是自举当目标,这一处选择决定了后面所有算法的形态。附一份可复现的实测对比

约 60 分钟基础6 段推导4 题自测

一句话结论

MC 用真实回报当目标,无偏但方差随步数线性增长;TD 用「一步奖励 + 自己的估计」当目标,有偏但方差小得多。同一份样本预算下,TD 的误差可以是 MC 的三分之一。

这是「为什么 TD 是默认选择」的定量回答。也是理解 GAE 的前提——GAE 就是在这两个极端之间做了一个可调的插值。

符号表

符号含义
α学习率。表格法里它直接决定「新样本占多少权重」
δ_tTD 误差 = r + γV(s') - V(s),后面所有算法都在围着它转
G_t^{(n)}n 步回报:n 步真实奖励 + 第 n 步的估计值
λ资格迹的衰减系数,控制「信任自举到多远」

推导

  1. MC 的更新:把真实回报当成监督信号
  2. TD 的更新:用一个估计去修正另一个估计
  3. n 步:把两个极端连成一条线
  4. 实测:同一份预算下 TD 好多少
  5. 收敛条件,以及为什么实践里没人用它
  6. 为什么这两个的差别在深度 RL 里变成了「要不要目标网络」

1. MC 的更新:把真实回报当成监督信号

跑完一个 episode,把每一步的真实折扣回报算出来,然后朝它挪一步。形式上就是「监督学习」,标签是 G_t。

V(S_t) ← V(S_t) + α[ G_t - V(S_t) ]

为什么能这么写无偏:G_t 是从环境里真实采到的,它的期望就是 V^π(S_t)。但方差大:若奖励独立、方差为 σ²,T 步回报的方差约是 σ²(1-γ^{2T})/(1-γ²),随步数增长。一条 100 步的轨迹,G_0 的噪声可以比信号大一个量级。

状态格子世界 · 表格一行一格查表Q(s,a) 直接读更新MC 或 TD 一步修正收敛状态数少时精确解表格法是一切值函数方法的基准:状态一多就爆表,函数逼近才登场

2. TD 的更新:用一个估计去修正另一个估计

不等 episode 结束,每走一步就更新。目标是「这一步的奖励 + 下一状态的当前估计」。这叫自举(bootstrap)。

V(S_t) ← V(S_t) + α[ rt+1 + γV(St+1) - V(S_t) ]

为什么能这么写括号里就是 TD 误差 δ_t。目标里有 V(S_{t+1}),它是估计值,所以目标是「有偏」的。但要分清两种偏差:① 训练过程中因为 V 还不准而偏;② 收敛到极限时,E[δ_t]=0,偏差消失。很多人把这两件事混成一句「TD 有偏」,然后在调参时找错了方向。

3. n 步:把两个极端连成一条线

走 n 步真实奖励,再接上第 n 步的估计。n=1 是 TD,n=∞ 是 MC。n 就是「信任真实奖励多久」。

G_t(n) = rt+1 + γrt+2 + … + γn-1rt+n + γ^n V(St+n)

为什么能这么写TD(λ) 更进一步,把所有 n 步回报按 (1-λ)λ^{n-1} 的几何权重加权平均。λ=0 退化成 TD(0),λ=1 退化成 MC。这个「λ 插值」的思想,在策略梯度里会以 GAE 的名字原样出现。

4. 实测:同一份预算下 TD 好多少

5 状态随机游走(经典测试件),γ=1,每 episode 从中间出发随机走,走到右端得 1、左端得 0。1000 个 episode,30 个种子取平均。

α=0.005 时:TD 的 RMSE 0.014,MC 的 RMSE 0.044

为什么能这么写TD 的误差约为 MC 的三分之一。原因不是「TD 更聪明」,而是样本利用率:一条 9 步轨迹,TD 更新 9 次,MC 只更新 1 次(且每次要等 episode 结束)。α 再大,MC 的方差会迅速吃掉收益:α=0.15 时 MC 的 RMSE 升到 0.21,而 TD 只到 0.071。

5. 收敛条件,以及为什么实践里没人用它

表格法的收敛要求学习率满足两个条件:总和发散(保证能走到任意远),平方和收敛(保证最终安静下来)。

∑_t α_t = ∞ 且 ∑_t α_t² < ∞(例如 α_t = 1/t)

为什么能这么写实践里用的是常数 α 或缓慢衰减。常数 α 下 TD 收敛到「最近这段数据的解」而不是全局解——这在非平稳环境里是优点(能跟踪变化),代价是训练后期永远在抖。看到 loss 曲线尾部抖,先确认这是不是常数 α 的正常表现,别急着换算法。

6. 为什么这两个的差别在深度 RL 里变成了「要不要目标网络」

TD 的目标里有你正在更新的参数。表格法里这没事(每次只改一个格子),但函数逼近时,一次更新会同时改变所有状态上的估计,目标跟着动——这就是「移动靶」。

表格:更新 V(s) 只影响 s;函数逼近:更新 w 影响所有 v̂(s;w)

为什么能这么写目标网络、软更新、延迟更新,全都是为了把这个移动靶暂时固定住。第 5 篇讲函数逼近时会展开。

手算一遍

一条 4 步轨迹:s0 →(r=0)→ s1 →(r=0)→ s2 →(r=1)→ 终止。设所有 V 初值 0.5,α=0.5,γ=1。分别用 MC 和 TD(0) 更新一遍,写出更新后的 V。

  1. MC:G_2 = 1,G_1 = 0+1×1 = 1,G_0 = 1。三个状态都朝 1 挪一半:V = 0.75(s0、s1、s2 全一样)
  2. TD 从后往前:V(s2) ← 0.5 + 0.5×(1 + 0 - 0.5) = 0.75
  3. V(s1) ← 0.5 + 0.5×(0 + 0.75 - 0.5) = 0.625
  4. V(s0) ← 0.5 + 0.5×(0 + 0.625 - 0.5) = 0.5625
答

MC 给 [0.75, 0.75, 0.75],TD 给 [0.5625, 0.625, 0.75]。TD 的答案「看起来更保守」,但它的梯度结构是对的:越靠近终点的状态值越高,离得越远越低。MC 把三步之外的信息一次性等权灌进来,短期内噪声更大——这就是偏差与方差在一条轨迹上的样子。

跑一遍

40 行,跑出上面那张表。建议你自己改 α 和 episode 数,观察 MC 对 α 有多敏感——这一条比任何文字解释都直观。

python · 只要 numpy
import numpy as np
G = 1.0
def run(alpha, episodes, mode, seed):
    r = np.random.default_rng(seed)
    V = np.full(7, 0.5); V[0] = 0.0; V[6] = 0.0   # 两端终止,值都是 0
    for _ in range(episodes):
        s, traj = 3, []
        while True:
            s2 = s + (1 if r.random() < 0.5 else -1)
            rw = 1.0 if s2 == 6 else 0.0
            traj.append((s, rw, s2)); s = s2
            if s in (0, 6): break
        if mode == 'mc':
            gt = 0.0
            for (st, rt, sn) in reversed(traj):
                gt = rt + G * gt
                V[st] += alpha * (gt - V[st])
        else:
            for (st, rt, sn) in traj:
                V[st] += alpha * (rt + G * V[sn] - V[st])
    return V
truth = np.arange(7) / 6.0
for mode in ['mc', 'td']:
    e = [np.sqrt(((run(0.005, 1000, mode, s)[1:6] - truth[1:6])**2).mean()) for s in range(30)]
    print(mode, 'RMSE = %.3f' % np.mean(e))

看到这个就算过

td RMSE ≈ 0.014,mc RMSE ≈ 0.044。若你的 mc 反而更好,检查终止状态的值:右端终止状态的 V 必须是 0(奖励在进入它的那一步给),写成 1 会让 TD 的目标虚高 1,全盘错。

自测 4 题

先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。

01TD 的「偏差」到什么程度会消失?到什么程度不会?

因 V 不准引起的偏差在收敛时消失(E[δ]=0)。但因为「用估计当目标」这件事本身的偏差不会消失——它体现在固定点上:解的是贝尔曼方程,方程的解就是 V^π,所以极限是准的。真正不会消失的偏差来自函数逼近(第 5 篇)。

02一条 200 步的 episode,γ=0.99,MC 的回报方差大概是什么量级?

大约是单步奖励方差的 1/(1-γ²) ≈ 50 倍(若奖励近似独立)。所以长 episode 上 MC 基本不可用,必须用 TD 或 n 步。

03为什么实践里几乎不用 1/t 衰减学习率?

因为环境通常非平稳(策略在变、数据分布在变),1/t 会让学习率过早趋零,无法跟踪。常数 α + target 网络是更常见的组合。

04n 步回报里的 n 该取多少?

常用 3~5(PPO 默认 n=2048 步的 rollout 里再切 1 步 TD,DQN 用 1)。n 大→更接近 MC、无偏但方差大;n 小→更快但偏差大。稀疏奖励任务适当加大。

接着看

全系列 11 篇