机器人入行指南
原理层/条件期望:竖线的真正含义

原理层 T15 / 27 · 概率与期望

条件期望:竖线的真正含义

E[Y|X] 不是数,是随机变量——是「用 X 能解释的那部分 Y」。塔性质与投影性质是 TD、GAE、最小二乘值函数逼近全部合法性的出处。

定义在 σ-代数上的投影E[X|G]塔性质E[E[X|G,H]|G]=E[X|G]剥洋葱取条件信息越多偏差越小鞅性最优预测MSE 最小的预测就是 E[Y|X]RL 的值函数条件期望的四个面孔值函数 = 回报对状态的条件期望——学透这一篇,TD 的每一步都在用塔性质
约 60 分钟2 定理6 步证明4 题自测

一句话结论

条件期望的正确读法:E[Y|X] 是 X 的函数,且它是对 Y 的所有「只依赖 X 的预测」中均方误差最小的那个。塔性质 E[E[Y|X]]=E[Y] 两行可证,但它是整个强化学习「分两步取期望」写法的地基。

V(s) = E[G_t | S_t = s] 里的竖线,很多人读了几年论文也没想清楚它到底做了什么运算。想不清楚的代价是具体的:GAE 里 advantage 的定义、n-step return 的取期望顺序、最小二乘拟合的目标——每一处都在悄悄使用本篇的两条定理。

为什么需要它

从直觉开始:已知 X 时对 Y 的最好猜测是什么?如果 X 是今天的气温、Y 是明天的气温,E[Y|X] 就是「在历史数据里,所有今天气温和今天相同的日子里,明天气温的平均」。

第一层歧义马上出现:E[Y|X=x](给定 X 等于具体值 x)是一个数;E[Y|X](不给定值,让 X 自己随机)是 X 的函数,是一个随机变量。混用这两者是初学最常见的错误,后面的证明会精确展示两者的关系。

第二层歧义更深:连续情形 P(X=x)=0,「今天气温恰好等于 x」的日子可能一天都没有,加权平均的公式 0/0。严格的定义必须绕开「按值取平均」,改成「按块检验」——这就是部分平均的动机。

定义

定义 3.1 条件期望(直观版)

E[Y|X=x] 是在「X=x」的条件下 Y 的平均值(用条件概率加权)。E[Y|X] 是把 x 换回随机变量 X 后得到的函数——它随 X 的取值而变,所以是随机变量,且只通过 X 依赖样本。

为什么这样定直观版在离散情形完全正确:P(X=x)>0 时按条件概率公式算就行。它的问题是连续情形失效(P=0),所以需要严格版。

定义 3.1 条件期望(严格版:部分平均)

E[Y|X] 定义为满足以下两条的随机变量 Z:(1) Z 是 X 的函数(关于 X 可测);(2) 对一切「可由 X 判定」的事件 A,部分平均相等:E[Y·1_A] = E[Z·1_A]。

为什么这样定条件 (2) 就是「按块检验」:不看单点,看每一块上 Z 与 Y 的平均表现是否一致。条件 (1) 保证 Z 不偷看 X 之外的信息。这个定义存在且唯一(存在性靠 Radon-Nikodym 定理,本篇不证;唯一性两行可证,见定理 3.1 的注)。

定义 3.2 投影的几何读法

把所有「X 的函数」看作一个平面,Y 是平面外一点。E[Y|X] 是 Y 在这个平面上的正交投影——垂足。残差 Y − E[Y|X] 与平面内一切向量垂直。

为什么这样定这个几何图像不是比喻,是定理 3.2 的内容。它在函数逼近里原样重现:最小二乘拟合值函数 = 把回报投影到「参数化函数族」上,残差正交条件就是正规方程。

定理与证明

定理 3.1 塔性质

E[ E[Y|X] ] = E[Y]。

证

在定义 3.1 的条件 (2) 中取 A = Ω(全空间,当然可由 X 判定——它对一切都可测):

E[Y·1_Ω] = E[E[Y|X]·1_Ω] 即 E[Y] = E[E[Y|X]]。∎

注两行就完了——定义取得好,定理就是白送的。唯一性顺带说明:若 Z₁、Z₂ 都满足定义 3.1,则 E[(Z₁−Z₂)·1_A]=0 对一切块成立,取 A={Z₁−Z₂>ε} 这类集合可推出 Z₁=Z₂ 几乎处处成立。塔性质的一般形式(先对细 σ-域条件、再对粗 σ-域取期望,结果等于直接对粗的取)是同一件事的叠罗汉。

定理 3.2 投影/正交性质

对任何 X 的函数 Z(可积性合适),E[(Y − E[Y|X])·Z] = 0。特别地,E[Y|X] 是所有 X 的函数中对 Y 的均方误差最小者。

证

第一部分:E[(Y−E[Y|X])Z] = E[YZ] − E[E[Y|X]·Z]。第二个期望里 E[Y|X]·Z 仍是 X 的函数,对它使用定义 3.1 条件 (2)(取 A 按 Z 的取值切):E[E[Y|X]·Z] = E[Y·Z]。两项相减为 0。∎

第二部分(最优性):对任意 X 的函数 f(X),比较其误差与投影误差:

E[(Y−f(X))²] = E[(Y−Z+Z−f(X))²] = E[(Y−Z)²] + E[(Z−f(X))²] + 2E[(Y−Z)(Z−f(X))]

交叉项里 (Z−f(X)) 是 X 的函数,由第一部分 E[(Y−Z)(Z−f(X))] = 0。剩下平方项之和 ≥ E[(Y−Z)²],等号当且仅当 f = Z(几乎处处)。∎

注这就是「条件期望是最佳预测」的严格版。它在值函数逼近里原样出现:用函数族 {V_w} 拟合回报,最优参数满足正规方程 Σ(残差)·∂V_w/∂w = 0——正是「残差与特征正交」的样本版。

手算一遍

X 等概率取 ±1,Y = X + ε,其中 ε~N(0,1) 与 X 独立。手算 E[Y]、E[E[Y|X]]、E[(Y−E[Y|X])²],并验证方差被解释了一半。

  1. E[Y] = E[X] + E[ε] = 0 + 0 = 0(线性,T2 定理 2.1)。
  2. 条件期望:E[Y|X] = E[X+ε|X] = X + E[ε] = X(线性用在条件世界里,ε 与 X 独立所以条件期望就是无条件期望 0)。
  3. 塔性质:E[E[Y|X]] = E[X] = 0 = E[Y] ✓(与 X 的取值无关地成立,这是定理 3.1 的内容)。
  4. [object Object]
  5. [object Object]
  6. 解释掉的方差 = 2 − 1 = 1,恰好是 Var(X)。「X 解释了 Y 一半的方差」这句话的严格含义就是这两行平方期望之差。
答

E[Y]=0,E[E[Y|X]]=0,残差方差=1,总方差=2。这道题的 RL 对应:V(s) 只能解释回报中「状态能解释的部分」,剩下的部分是环境的随机性——critic 的方差下界不是零,不是你训练得不够。

实跑一遍

数字出处

Y = X² + ε,X~N(0,1),ε~N(0,1) 独立(40 万样本)。理论值:E[Y|X]=X²,E[Y]=E[X²]=1:

  • 塔性质:E[Y] = 1.0001,E[E[Y|X]](分箱加权平均)= 1.0001 —— 逐位一致
  • 投影:用特征 [1, x] 做最小二乘拟合 Y,残差与两个特征的内积 = 0.000000 / 0.000000(正交)
  • 线性投影权重 w = [1.0001, 0.0016],理论最优 [1, 0](正规方程:E[XY]=E[X³]+E[Xε]=0)
  • 抽查分箱:x∈[2.0, 2.5] 箱内 E[Y|bin] = 4.89,该箱 x² 的均值 ≈ 5.0 —— 条件期望跟着 x² 走,而不是跟着 x 走

映射回强化学习

这里的对象RL 里的对应物站内用法
E[Y|X] 是 X 的函数V(s)=E[G_t|S_t=s] 是状态到数的映射,不是「每个状态一个独立的数」用法 →
塔性质GAE 的 λ-return 拆两步取期望;n-step return 的期望顺序用法 →
投影+正交最小二乘值函数逼近的正规方程;残差与特征正交用法 →
最佳预测critic 的 MSE 下界由环境噪声决定,不是零用法 →

边界:这一篇停在哪里

本篇停在哪里:一般 σ-域的条件期望(对「信息」而非「变量」条件)、正则条件分布的存在性、条件分布的版本问题,都不讲。连续情形我们默认条件期望以密度路径存在——这在所有常规 RL 场景成立。

自测 4 题

全是手算和「找证明错在哪」类题目,不出背诵题。答不上来回到对应小节。

01E[Y|X] 和 E[Y|X=x] 的区别是什么?

E[Y|X=x] 是数(X 固定在 x 时的条件平均值);E[Y|X] 是随机变量(X 的函数,随 X 波动)。定理 3.1 说前者的期望(对 x 加权)等于后者——这是塔性质的内容。写出 E[E[Y|X=x]] 这种式子是符号错误,因为对 x 求期望前必须先把 x 还原成随机变量。

02塔性质的证明为什么这么短?它「应该」证明什么?

因为定义 3.1 的条件 (2) 在 A=Ω 时直接就是结论。它应该证明的是:定义 3.1 规定的 Z 存在且唯一(存在性靠 Radon-Nikodym,超出边界)。推导课和原理课的分界就在这类地方。

03用「最佳预测」定理解释:为什么 critic 的损失用 MSE 而不用绝对误差?

条件期望 E[Y|X] 恰是 MSE 准则下的最优预测(定理 3.2 第二部分)。用绝对误差的最优预测变成条件中位数——也是合理的统计量,但「V(s)=E[G|s]」的定义对应的是 MSE。两者选哪个取决于你要均值还是中位数,不是哪个「更好」。

04残差与特征正交,样本版对应什么方程?写出线性特征下的正规方程。

对应最小二乘的正规方程:A^T(Y−Aw)=0,即 Σ_i (y_i − w·φ_i)φ_i = 0。定理 3.2 的 E[(Y−E[Y|X])Z]=0 在样本均值的层面就是这个式子。残差里不再含有特征的信息——信息被投影「用完了」。

接着看

全系列 27 篇

T1矩阵就是旋转的记账本约 25 分钟T2从斜率到梯度:机器人学习算法的第一行约 25 分钟T3向量与受力:点积的物理读法约 20 分钟T4两把尺子和一把更好的尺子约 25 分钟T5电机转一圈的账:弧度、转速与功率约 20 分钟T6复数乘法就是旋转:四元数的一维版约 20 分钟T7基与坐标:为什么机器人什么都用矩阵约 45 分钟T8矩阵乘法:变换的串联,不是表格运算约 40 分钟T9雅可比:关节转一度,末端动多少约 45 分钟T10特征向量:矩阵不敢动的方向约 45 分钟T11SVD 与伪逆:没有精确解时,找最近的解约 50 分钟T12泰勒展开:用直线替曲线打工约 40 分钟T13概率空间:为什么「随机」需要公理约 50 分钟T14期望:「平均」的严格构造约 55 分钟T15条件期望:竖线的真正含义约 60 分钟T16四个不等式:「多少样本才够」的定量答案约 45 分钟T17范数与不动点:「一定收敛」的出处约 55 分钟T18马尔可夫链:时间平均何时等于集合平均约 55 分钟T19MDP 的数学构造:一条公理值多少钱约 50 分钟T20动态规划:两种迭代的账约 50 分钟T21优化:约束为什么不能只靠罚约 55 分钟T22随机逼近:学习率公式里的每一条约 55 分钟T23接触的数学:Hertz 理论约 45 分钟T24摩擦与摩擦锥:约束的几何形状约 40 分钟T25力封闭与抓取度量:ε 是一个线性规划约 50 分钟T26接触运动学:滚动为什么不是「贴着滑」约 45 分钟T27滑移检测:从「感觉到了」到「算出来了」约 50 分钟