原理层 T15 / 27 · 概率与期望
条件期望:竖线的真正含义
E[Y|X] 不是数,是随机变量——是「用 X 能解释的那部分 Y」。塔性质与投影性质是 TD、GAE、最小二乘值函数逼近全部合法性的出处。
一句话结论
条件期望的正确读法:E[Y|X] 是 X 的函数,且它是对 Y 的所有「只依赖 X 的预测」中均方误差最小的那个。塔性质 E[E[Y|X]]=E[Y] 两行可证,但它是整个强化学习「分两步取期望」写法的地基。
V(s) = E[G_t | S_t = s] 里的竖线,很多人读了几年论文也没想清楚它到底做了什么运算。想不清楚的代价是具体的:GAE 里 advantage 的定义、n-step return 的取期望顺序、最小二乘拟合的目标——每一处都在悄悄使用本篇的两条定理。
为什么需要它
从直觉开始:已知 X 时对 Y 的最好猜测是什么?如果 X 是今天的气温、Y 是明天的气温,E[Y|X] 就是「在历史数据里,所有今天气温和今天相同的日子里,明天气温的平均」。
第一层歧义马上出现:E[Y|X=x](给定 X 等于具体值 x)是一个数;E[Y|X](不给定值,让 X 自己随机)是 X 的函数,是一个随机变量。混用这两者是初学最常见的错误,后面的证明会精确展示两者的关系。
第二层歧义更深:连续情形 P(X=x)=0,「今天气温恰好等于 x」的日子可能一天都没有,加权平均的公式 0/0。严格的定义必须绕开「按值取平均」,改成「按块检验」——这就是部分平均的动机。
定义
定义 3.1 条件期望(直观版)
E[Y|X=x] 是在「X=x」的条件下 Y 的平均值(用条件概率加权)。E[Y|X] 是把 x 换回随机变量 X 后得到的函数——它随 X 的取值而变,所以是随机变量,且只通过 X 依赖样本。
为什么这样定直观版在离散情形完全正确:P(X=x)>0 时按条件概率公式算就行。它的问题是连续情形失效(P=0),所以需要严格版。
定义 3.1 条件期望(严格版:部分平均)
E[Y|X] 定义为满足以下两条的随机变量 Z:(1) Z 是 X 的函数(关于 X 可测);(2) 对一切「可由 X 判定」的事件 A,部分平均相等:E[Y·1_A] = E[Z·1_A]。
为什么这样定条件 (2) 就是「按块检验」:不看单点,看每一块上 Z 与 Y 的平均表现是否一致。条件 (1) 保证 Z 不偷看 X 之外的信息。这个定义存在且唯一(存在性靠 Radon-Nikodym 定理,本篇不证;唯一性两行可证,见定理 3.1 的注)。
定义 3.2 投影的几何读法
把所有「X 的函数」看作一个平面,Y 是平面外一点。E[Y|X] 是 Y 在这个平面上的正交投影——垂足。残差 Y − E[Y|X] 与平面内一切向量垂直。
为什么这样定这个几何图像不是比喻,是定理 3.2 的内容。它在函数逼近里原样重现:最小二乘拟合值函数 = 把回报投影到「参数化函数族」上,残差正交条件就是正规方程。
定理与证明
定理 3.1 塔性质
E[ E[Y|X] ] = E[Y]。
证
在定义 3.1 的条件 (2) 中取 A = Ω(全空间,当然可由 X 判定——它对一切都可测):
注两行就完了——定义取得好,定理就是白送的。唯一性顺带说明:若 Z₁、Z₂ 都满足定义 3.1,则 E[(Z₁−Z₂)·1_A]=0 对一切块成立,取 A={Z₁−Z₂>ε} 这类集合可推出 Z₁=Z₂ 几乎处处成立。塔性质的一般形式(先对细 σ-域条件、再对粗 σ-域取期望,结果等于直接对粗的取)是同一件事的叠罗汉。
定理 3.2 投影/正交性质
对任何 X 的函数 Z(可积性合适),E[(Y − E[Y|X])·Z] = 0。特别地,E[Y|X] 是所有 X 的函数中对 Y 的均方误差最小者。
证
第一部分:E[(Y−E[Y|X])Z] = E[YZ] − E[E[Y|X]·Z]。第二个期望里 E[Y|X]·Z 仍是 X 的函数,对它使用定义 3.1 条件 (2)(取 A 按 Z 的取值切):E[E[Y|X]·Z] = E[Y·Z]。两项相减为 0。∎
第二部分(最优性):对任意 X 的函数 f(X),比较其误差与投影误差:
交叉项里 (Z−f(X)) 是 X 的函数,由第一部分 E[(Y−Z)(Z−f(X))] = 0。剩下平方项之和 ≥ E[(Y−Z)²],等号当且仅当 f = Z(几乎处处)。∎
注这就是「条件期望是最佳预测」的严格版。它在值函数逼近里原样出现:用函数族 {V_w} 拟合回报,最优参数满足正规方程 Σ(残差)·∂V_w/∂w = 0——正是「残差与特征正交」的样本版。
手算一遍
X 等概率取 ±1,Y = X + ε,其中 ε~N(0,1) 与 X 独立。手算 E[Y]、E[E[Y|X]]、E[(Y−E[Y|X])²],并验证方差被解释了一半。
- E[Y] = E[X] + E[ε] = 0 + 0 = 0(线性,T2 定理 2.1)。
- 条件期望:E[Y|X] = E[X+ε|X] = X + E[ε] = X(线性用在条件世界里,ε 与 X 独立所以条件期望就是无条件期望 0)。
- 塔性质:E[E[Y|X]] = E[X] = 0 = E[Y] ✓(与 X 的取值无关地成立,这是定理 3.1 的内容)。
- [object Object]
- [object Object]
- 解释掉的方差 = 2 − 1 = 1,恰好是 Var(X)。「X 解释了 Y 一半的方差」这句话的严格含义就是这两行平方期望之差。
E[Y]=0,E[E[Y|X]]=0,残差方差=1,总方差=2。这道题的 RL 对应:V(s) 只能解释回报中「状态能解释的部分」,剩下的部分是环境的随机性——critic 的方差下界不是零,不是你训练得不够。
实跑一遍
数字出处
Y = X² + ε,X~N(0,1),ε~N(0,1) 独立(40 万样本)。理论值:E[Y|X]=X²,E[Y]=E[X²]=1:
- 塔性质:E[Y] = 1.0001,E[E[Y|X]](分箱加权平均)= 1.0001 —— 逐位一致
- 投影:用特征 [1, x] 做最小二乘拟合 Y,残差与两个特征的内积 = 0.000000 / 0.000000(正交)
- 线性投影权重 w = [1.0001, 0.0016],理论最优 [1, 0](正规方程:E[XY]=E[X³]+E[Xε]=0)
- 抽查分箱:x∈[2.0, 2.5] 箱内 E[Y|bin] = 4.89,该箱 x² 的均值 ≈ 5.0 —— 条件期望跟着 x² 走,而不是跟着 x 走
映射回强化学习
| 这里的对象 | RL 里的对应物 | 站内用法 |
|---|---|---|
| E[Y|X] 是 X 的函数 | V(s)=E[G_t|S_t=s] 是状态到数的映射,不是「每个状态一个独立的数」 | 用法 → |
| 塔性质 | GAE 的 λ-return 拆两步取期望;n-step return 的期望顺序 | 用法 → |
| 投影+正交 | 最小二乘值函数逼近的正规方程;残差与特征正交 | 用法 → |
| 最佳预测 | critic 的 MSE 下界由环境噪声决定,不是零 | 用法 → |
边界:这一篇停在哪里
本篇停在哪里:一般 σ-域的条件期望(对「信息」而非「变量」条件)、正则条件分布的存在性、条件分布的版本问题,都不讲。连续情形我们默认条件期望以密度路径存在——这在所有常规 RL 场景成立。
自测 4 题
全是手算和「找证明错在哪」类题目,不出背诵题。答不上来回到对应小节。
01E[Y|X] 和 E[Y|X=x] 的区别是什么?
E[Y|X=x] 是数(X 固定在 x 时的条件平均值);E[Y|X] 是随机变量(X 的函数,随 X 波动)。定理 3.1 说前者的期望(对 x 加权)等于后者——这是塔性质的内容。写出 E[E[Y|X=x]] 这种式子是符号错误,因为对 x 求期望前必须先把 x 还原成随机变量。
02塔性质的证明为什么这么短?它「应该」证明什么?
因为定义 3.1 的条件 (2) 在 A=Ω 时直接就是结论。它应该证明的是:定义 3.1 规定的 Z 存在且唯一(存在性靠 Radon-Nikodym,超出边界)。推导课和原理课的分界就在这类地方。
03用「最佳预测」定理解释:为什么 critic 的损失用 MSE 而不用绝对误差?
条件期望 E[Y|X] 恰是 MSE 准则下的最优预测(定理 3.2 第二部分)。用绝对误差的最优预测变成条件中位数——也是合理的统计量,但「V(s)=E[G|s]」的定义对应的是 MSE。两者选哪个取决于你要均值还是中位数,不是哪个「更好」。
04残差与特征正交,样本版对应什么方程?写出线性特征下的正规方程。
对应最小二乘的正规方程:A^T(Y−Aw)=0,即 Σ_i (y_i − w·φ_i)φ_i = 0。定理 3.2 的 E[(Y−E[Y|X])Z]=0 在样本均值的层面就是这个式子。残差里不再含有特征的信息——信息被投影「用完了」。