机器人入行指南
原理层/期望:「平均」的严格构造

原理层 T14 / 27 · 概率与期望

期望:「平均」的严格构造

「平均回报」在离散有限时人人会算,连续或无穷时必须有构造。勒贝格三步构造给出期望的严格定义,并顺带解释线性为什么不需要独立。

离散定义Σ x·p(x)加权平均连续定义∫ x·f(x) dxLebesgue线性性E[aX+bY]=aEX+bEY最常用大数定律均值→期望蒙特卡洛的地基期望:从加权平均到积分线性性无条件成立(不需要独立)——这条性质撑起了后面所有推导
约 55 分钟3 定理6 步证明4 题自测

一句话结论

期望不是「加权平均」这句口诀,而是从简单函数逐层构造出来的积分。线性 E[X+Y]=E[X]+E[Y] 不需要独立——这一条撑起了强化学习里所有贝尔曼型的拆解。

J(θ) = Eτ~π[R(τ)] 这类式子,离散有限情形用加权平均就能糊弄过去;但状态空间连续、episode 无穷时,「加权平均」没有定义。这一篇的构造是让期望在一般情形下有意义的唯一路径,而构造的过程恰好免费送出最重要的性质:线性。

为什么需要它

先看没有歧义的情形:X 取有限个值 x_1, …, x_m,概率 p_1, …, p_m,期望 E[X] = Σ x_i p_i。这是小学水平的加权平均。

麻烦从两处进来:X 的取值变成无穷多个(几何分布、连续时间);或者 X 本身是连续的(温度、力矩、策略梯度里的 score)。这时候 Σ 写不出来了,积分号 ∫ 出现——但 ∫E[X] 里的积分到底定义成什么?

黎曼积分(切竖条求和)在「按 x 轴切」;勒贝格的做法是「按 y 轴切」:先把函数分层,数每层有多少概率质量。这个顺序调换在病态函数上差别巨大,在正常函数上给出相同答案,但勒贝格的构造对极限运算友好得多——这正是概率论选它的原因。

定义

定义 2.1 简单函数

只取有限个值的可测函数叫简单函数。它天然长成阶梯形状:φ(x) = Σi=1m c_i · 1A_i(x),其中 A_i 是互不相交的事件、1A 是指示函数。它的期望按定义就是 Σ c_i P(A_i)——退回加权平均。

为什么这样定简单函数是整个构造的砖块:它的期望不需要任何新定义,加权平均就是定义。后面两步只是「把复杂函数用简单函数垫起来」。

定义 2.2 非负随机变量的期望

X≥0 时,E[X] 定义为所有满足 φ≤X 的简单函数 φ 的期望的上确界:E[X] = sup{ E[φ] : φ 简单, 0 ≤ φ ≤ X }。允许取 +∞。

为什么这样定从下方用阶梯逼近。「上确界」这个词意味着:任何一层垫得不够高都没关系,极限会把它们全收进来。

定义 2.3 一般随机变量的期望

任意 X 拆成正部负部:X⁺ = max(X,0),X⁻ = max(−X,0),两者都非负且 X = X⁺ − X⁻。若 E[X⁺] 和 E[X⁻] 至少一个有限,定义 E[X] = E[X⁺] − E[X⁻];两者都有限时称 X 可积。

为什么这样定「至少一个有限」排除的是 ∞−∞ 型未定式——柯西分布没有期望,就是因为正负两块都无穷。RL 里回报有界或折扣 γ<1 时一般可积,但写论文时检查可积性是审稿人真会挑的点。

定理与证明

定理 2.1 期望的线性(简单函数版,完整证明)

对简单函数 φ, ψ 和实数 a, b:E[aφ + bψ] = a·E[φ] + b·E[ψ]。不需要任何独立假设。

证

φ = Σ_i c_i 1A_i,ψ = Σ_j d_j 1B_j。把空间按 (A_i, B_j) 的交切成互不相交的块 Eij = A_i ∩ B_j,则 aφ+bψ 在每块 Eij 上取常数值 a·c_i + b·d_j。

按定义 2.1 的加权平均公式展开:

E[aφ+bψ] = Σi,j (a·c_i + b·d_j)·P(Eij) = a·Σi,j c_i P(Eij) + b·Σi,j d_j P(Eij)

关键一步:Σ_j P(Eij) = P(A_i)(把 B_j 那一维加掉,用的是互不相交事件的可加性——公理 A3)。于是第一项 = a·Σ_i c_i P(A_i) = a·E[φ]。第二项同理 = b·E[ψ]。∎

注证明里唯一用到的概率性质是「不相交则相加」,完全没有用到联合分布、没有用到独立。一般的 X, Y 情形:用简单函数从下方逼近(单调收敛定理把 sup 提进去),结论保持。本篇不证单调收敛定理,但明确告诉你依赖在哪。

推论 2.2 E[X+X] = 2E[X]

取 Y=X 代入定理 2.1。X 与自己相关性是满分(相关系数为 1),线性照样成立。

证

直接代入。∎

注单独立一条是因为它太好用了:把总回报 R(τ) 拆成 R_1 + R_2 + … 时,各项高度相关(同一轨迹),线性依然保证 E[ΣR_t] = ΣE[R_t]。贝尔曼方程把无穷项和写成「一项 + 剩余」,合法性就在这里。

定理 2.3 单调收敛(陈述,不证)

若 0 ≤ X_1 ≤ X_2 ≤ … 且 X_n → X,则 E[X_n] → E[X]。这个定理是「简单函数版结论升级到一般函数」的桥。

证

证明见任意测度论教材(需要先证引理:非负可测函数是简单函数的递增极限)。原理层的边界:我们只陈述并使用它。

注诚实标注:这是全系列唯一一处「陈述不证」的基础定理。它不影响理解后面任何推导的逻辑链条,只影响完整性。想补全请查 Rudin《Real and Complex Analysis》第 1 章。

手算一遍

X 服从几何分布:P(X=k) = (1/2)^k, k=1,2,3,…(首次成功所需的试验次数)。求 E[X],并指出每一步用的是定义的哪一层。

  1. X 取可列个值,直接套「离散加权平均」:E[X] = Σk=1∞ k·(1/2)^k。
  2. k·(1/2)^k 的和不是有限项——这里的求和合法性来自公理 A3(可列可加):正项级数的部分和单调递增且有上界(下面算出是 2)。
  3. 标准技巧:对几何级数逐项求导。已知 Σk=0∞ x^k = 1/(1−x),两边对 x 求导:Σ k·xk−1 = 1/(1−x)²。
  4. [object Object]
  5. 合规检查(对应定义 2.3):E[X⁺] = 2 < ∞,X ≥ 0 无负部,可积。
答

E[X] = 2。用的层次:可列求和 = 公理 A3;级数收敛 = 部分和有界;可积性检查 = 定义 2.3。RL 对应:episode 长度服从几何分布时,期望回合数 1/p;无终止环境(p=0)对应 Σ 发散——期望不存在,这就是 γ<1 折扣要解决的第一个问题。

实跑一遍

数字出处

两个实跑验证。其一:X~N(2,1),E[X+X] 与 2E[X](40 万样本,X 与自身完全相关):

  • E[X+X] = 3.9964,E[X]+E[X] = 3.9964 —— 完全相关时线性依然成立
  • 其二:勒贝格构造实跑。对 X~N(0,1),取 y 值分层的简单函数 φ_m(x) = ⌊m·x⌋/m(截断 |x|≤L),数值积分 E[φ_m(X)]:
  • m=2: −0.2386 → m=4: −0.1193 → m=8: −0.0597 → 极限应为 E[X] = 0(每加密一倍误差减半)
  • 同法算 E[φ(X²)] (m=8, L=3) = 0.9157 → 极限 E[X²] = 1

映射回强化学习

这里的对象RL 里的对应物站内用法
期望 E[X]目标函数 J(θ) = Eτ~π[Σ γ^t r_t]用法 →
线性(定理 2.1)E[Σγ^t r_t] = Σγ^t E[r_t]:贝尔曼拆解的第一步用法 →
简单函数逼近用有限个 episode 的样本均值估计 J(θ)——蒙特卡洛积分用法 →
可积性γ<1 保证折扣回报有界,期望存在用法 →

边界:这一篇停在哪里

本篇停在哪里:单调收敛定理的证明、控制收敛定理、可积函数空间的完备性(L¹)都不讲。够用的判据:回报有界(或 γ<1 折扣)时,本篇所有运算合法。

自测 4 题

全是手算和「找证明错在哪」类题目,不出背诵题。答不上来回到对应小节。

01「E[X+Y]=E[X]+E[Y] 需要 X 与 Y 独立」——这句话错在哪?

线性在简单函数层面只用不相交可加性(定理 2.1 证明),与联合分布无关。需要独立的是 E[XY]=E[X]E[Y](乘积期望),不是和的期望。混淆这两条是策略梯度推导里最常见的暗伤。

02柯西分布没有期望,用定义 2.3 的语言说明为什么。

柯西分布的密度 f(x)=1/(π(1+x²)),正部积分 E[X⁺]=+∞,负部积分 E[X⁻]=+∞,代入定义 2.3 得 ∞−∞ 未定义。主值积分虽然存在(=0),但那不是期望——顺带解释了为什么「柯西分布的样本均值还是柯西分布」,大数定律对它失效。

03把回报写成 E[Σt=0∞ γ^t r_t],拆成 Σγ^t E[r_t] 用了什么?合法性前提是什么?

用了线性(定理 2.1 + 单调收敛升级到无穷级数)。前提:每一项 E[|r_t|] 有限且 Σγ^t·sup|r| < ∞——γ<1 且奖励有界时成立。γ=1 且奖励不衰减时级数可能发散(T7 的实测数字就是这个)。

04勒贝格「按 y 分层」和黎曼「按 x 切条」,对正常连续函数给出相同答案吗?为什么概率论选勒贝格?

连续函数在闭区间上两者相同。选勒贝格是因为它的极限定理(单调收敛、控制收敛)成立条件宽得多——概率论的核心操作是取极限(大数定律、中心极限),黎曼积分的极限定理要求苛刻(比如一致收敛),撑不住概率论的需求。

接着看

全系列 27 篇

T1矩阵就是旋转的记账本约 25 分钟T2从斜率到梯度:机器人学习算法的第一行约 25 分钟T3向量与受力:点积的物理读法约 20 分钟T4两把尺子和一把更好的尺子约 25 分钟T5电机转一圈的账:弧度、转速与功率约 20 分钟T6复数乘法就是旋转:四元数的一维版约 20 分钟T7基与坐标:为什么机器人什么都用矩阵约 45 分钟T8矩阵乘法:变换的串联,不是表格运算约 40 分钟T9雅可比:关节转一度,末端动多少约 45 分钟T10特征向量:矩阵不敢动的方向约 45 分钟T11SVD 与伪逆:没有精确解时,找最近的解约 50 分钟T12泰勒展开:用直线替曲线打工约 40 分钟T13概率空间:为什么「随机」需要公理约 50 分钟T14期望:「平均」的严格构造约 55 分钟T15条件期望:竖线的真正含义约 60 分钟T16四个不等式:「多少样本才够」的定量答案约 45 分钟T17范数与不动点:「一定收敛」的出处约 55 分钟T18马尔可夫链:时间平均何时等于集合平均约 55 分钟T19MDP 的数学构造:一条公理值多少钱约 50 分钟T20动态规划:两种迭代的账约 50 分钟T21优化:约束为什么不能只靠罚约 55 分钟T22随机逼近:学习率公式里的每一条约 55 分钟T23接触的数学:Hertz 理论约 45 分钟T24摩擦与摩擦锥:约束的几何形状约 40 分钟T25力封闭与抓取度量:ε 是一个线性规划约 50 分钟T26接触运动学:滚动为什么不是「贴着滑」约 45 分钟T27滑移检测:从「感觉到了」到「算出来了」约 50 分钟