原理层 T14 / 27 · 概率与期望
期望:「平均」的严格构造
「平均回报」在离散有限时人人会算,连续或无穷时必须有构造。勒贝格三步构造给出期望的严格定义,并顺带解释线性为什么不需要独立。
一句话结论
期望不是「加权平均」这句口诀,而是从简单函数逐层构造出来的积分。线性 E[X+Y]=E[X]+E[Y] 不需要独立——这一条撑起了强化学习里所有贝尔曼型的拆解。
J(θ) = Eτ~π[R(τ)] 这类式子,离散有限情形用加权平均就能糊弄过去;但状态空间连续、episode 无穷时,「加权平均」没有定义。这一篇的构造是让期望在一般情形下有意义的唯一路径,而构造的过程恰好免费送出最重要的性质:线性。
为什么需要它
先看没有歧义的情形:X 取有限个值 x_1, …, x_m,概率 p_1, …, p_m,期望 E[X] = Σ x_i p_i。这是小学水平的加权平均。
麻烦从两处进来:X 的取值变成无穷多个(几何分布、连续时间);或者 X 本身是连续的(温度、力矩、策略梯度里的 score)。这时候 Σ 写不出来了,积分号 ∫ 出现——但 ∫E[X] 里的积分到底定义成什么?
黎曼积分(切竖条求和)在「按 x 轴切」;勒贝格的做法是「按 y 轴切」:先把函数分层,数每层有多少概率质量。这个顺序调换在病态函数上差别巨大,在正常函数上给出相同答案,但勒贝格的构造对极限运算友好得多——这正是概率论选它的原因。
定义
定义 2.1 简单函数
只取有限个值的可测函数叫简单函数。它天然长成阶梯形状:φ(x) = Σi=1m c_i · 1A_i(x),其中 A_i 是互不相交的事件、1A 是指示函数。它的期望按定义就是 Σ c_i P(A_i)——退回加权平均。
为什么这样定简单函数是整个构造的砖块:它的期望不需要任何新定义,加权平均就是定义。后面两步只是「把复杂函数用简单函数垫起来」。
定义 2.2 非负随机变量的期望
X≥0 时,E[X] 定义为所有满足 φ≤X 的简单函数 φ 的期望的上确界:E[X] = sup{ E[φ] : φ 简单, 0 ≤ φ ≤ X }。允许取 +∞。
为什么这样定从下方用阶梯逼近。「上确界」这个词意味着:任何一层垫得不够高都没关系,极限会把它们全收进来。
定义 2.3 一般随机变量的期望
任意 X 拆成正部负部:X⁺ = max(X,0),X⁻ = max(−X,0),两者都非负且 X = X⁺ − X⁻。若 E[X⁺] 和 E[X⁻] 至少一个有限,定义 E[X] = E[X⁺] − E[X⁻];两者都有限时称 X 可积。
为什么这样定「至少一个有限」排除的是 ∞−∞ 型未定式——柯西分布没有期望,就是因为正负两块都无穷。RL 里回报有界或折扣 γ<1 时一般可积,但写论文时检查可积性是审稿人真会挑的点。
定理与证明
定理 2.1 期望的线性(简单函数版,完整证明)
对简单函数 φ, ψ 和实数 a, b:E[aφ + bψ] = a·E[φ] + b·E[ψ]。不需要任何独立假设。
证
φ = Σ_i c_i 1A_i,ψ = Σ_j d_j 1B_j。把空间按 (A_i, B_j) 的交切成互不相交的块 Eij = A_i ∩ B_j,则 aφ+bψ 在每块 Eij 上取常数值 a·c_i + b·d_j。
按定义 2.1 的加权平均公式展开:
关键一步:Σ_j P(Eij) = P(A_i)(把 B_j 那一维加掉,用的是互不相交事件的可加性——公理 A3)。于是第一项 = a·Σ_i c_i P(A_i) = a·E[φ]。第二项同理 = b·E[ψ]。∎
注证明里唯一用到的概率性质是「不相交则相加」,完全没有用到联合分布、没有用到独立。一般的 X, Y 情形:用简单函数从下方逼近(单调收敛定理把 sup 提进去),结论保持。本篇不证单调收敛定理,但明确告诉你依赖在哪。
推论 2.2 E[X+X] = 2E[X]
取 Y=X 代入定理 2.1。X 与自己相关性是满分(相关系数为 1),线性照样成立。
证
直接代入。∎
注单独立一条是因为它太好用了:把总回报 R(τ) 拆成 R_1 + R_2 + … 时,各项高度相关(同一轨迹),线性依然保证 E[ΣR_t] = ΣE[R_t]。贝尔曼方程把无穷项和写成「一项 + 剩余」,合法性就在这里。
定理 2.3 单调收敛(陈述,不证)
若 0 ≤ X_1 ≤ X_2 ≤ … 且 X_n → X,则 E[X_n] → E[X]。这个定理是「简单函数版结论升级到一般函数」的桥。
证
证明见任意测度论教材(需要先证引理:非负可测函数是简单函数的递增极限)。原理层的边界:我们只陈述并使用它。
注诚实标注:这是全系列唯一一处「陈述不证」的基础定理。它不影响理解后面任何推导的逻辑链条,只影响完整性。想补全请查 Rudin《Real and Complex Analysis》第 1 章。
手算一遍
X 服从几何分布:P(X=k) = (1/2)^k, k=1,2,3,…(首次成功所需的试验次数)。求 E[X],并指出每一步用的是定义的哪一层。
- X 取可列个值,直接套「离散加权平均」:E[X] = Σk=1∞ k·(1/2)^k。
- k·(1/2)^k 的和不是有限项——这里的求和合法性来自公理 A3(可列可加):正项级数的部分和单调递增且有上界(下面算出是 2)。
- 标准技巧:对几何级数逐项求导。已知 Σk=0∞ x^k = 1/(1−x),两边对 x 求导:Σ k·xk−1 = 1/(1−x)²。
- [object Object]
- 合规检查(对应定义 2.3):E[X⁺] = 2 < ∞,X ≥ 0 无负部,可积。
E[X] = 2。用的层次:可列求和 = 公理 A3;级数收敛 = 部分和有界;可积性检查 = 定义 2.3。RL 对应:episode 长度服从几何分布时,期望回合数 1/p;无终止环境(p=0)对应 Σ 发散——期望不存在,这就是 γ<1 折扣要解决的第一个问题。
实跑一遍
数字出处
两个实跑验证。其一:X~N(2,1),E[X+X] 与 2E[X](40 万样本,X 与自身完全相关):
- E[X+X] = 3.9964,E[X]+E[X] = 3.9964 —— 完全相关时线性依然成立
- 其二:勒贝格构造实跑。对 X~N(0,1),取 y 值分层的简单函数 φ_m(x) = ⌊m·x⌋/m(截断 |x|≤L),数值积分 E[φ_m(X)]:
- m=2: −0.2386 → m=4: −0.1193 → m=8: −0.0597 → 极限应为 E[X] = 0(每加密一倍误差减半)
- 同法算 E[φ(X²)] (m=8, L=3) = 0.9157 → 极限 E[X²] = 1
映射回强化学习
| 这里的对象 | RL 里的对应物 | 站内用法 |
|---|---|---|
| 期望 E[X] | 目标函数 J(θ) = Eτ~π[Σ γ^t r_t] | 用法 → |
| 线性(定理 2.1) | E[Σγ^t r_t] = Σγ^t E[r_t]:贝尔曼拆解的第一步 | 用法 → |
| 简单函数逼近 | 用有限个 episode 的样本均值估计 J(θ)——蒙特卡洛积分 | 用法 → |
| 可积性 | γ<1 保证折扣回报有界,期望存在 | 用法 → |
边界:这一篇停在哪里
本篇停在哪里:单调收敛定理的证明、控制收敛定理、可积函数空间的完备性(L¹)都不讲。够用的判据:回报有界(或 γ<1 折扣)时,本篇所有运算合法。
自测 4 题
全是手算和「找证明错在哪」类题目,不出背诵题。答不上来回到对应小节。
01「E[X+Y]=E[X]+E[Y] 需要 X 与 Y 独立」——这句话错在哪?
线性在简单函数层面只用不相交可加性(定理 2.1 证明),与联合分布无关。需要独立的是 E[XY]=E[X]E[Y](乘积期望),不是和的期望。混淆这两条是策略梯度推导里最常见的暗伤。
02柯西分布没有期望,用定义 2.3 的语言说明为什么。
柯西分布的密度 f(x)=1/(π(1+x²)),正部积分 E[X⁺]=+∞,负部积分 E[X⁻]=+∞,代入定义 2.3 得 ∞−∞ 未定义。主值积分虽然存在(=0),但那不是期望——顺带解释了为什么「柯西分布的样本均值还是柯西分布」,大数定律对它失效。
03把回报写成 E[Σt=0∞ γ^t r_t],拆成 Σγ^t E[r_t] 用了什么?合法性前提是什么?
用了线性(定理 2.1 + 单调收敛升级到无穷级数)。前提:每一项 E[|r_t|] 有限且 Σγ^t·sup|r| < ∞——γ<1 且奖励有界时成立。γ=1 且奖励不衰减时级数可能发散(T7 的实测数字就是这个)。
04勒贝格「按 y 分层」和黎曼「按 x 切条」,对正常连续函数给出相同答案吗?为什么概率论选勒贝格?
连续函数在闭区间上两者相同。选勒贝格是因为它的极限定理(单调收敛、控制收敛)成立条件宽得多——概率论的核心操作是取极限(大数定律、中心极限),黎曼积分的极限定理要求苛刻(比如一致收敛),撑不住概率论的需求。