机器人入行指南
原理层/概率空间:为什么「随机」需要公理

原理层 T13 / 27 · 概率与期望

概率空间:为什么「随机」需要公理

同一个问题算出三个答案,不是数学失效,是「随机」没有定义。这一篇从贝特朗悖论出发,把样本空间、事件、概率测度三样东西建起来。

样本空间所有可能结果Ω事件结果的集合 · 可加σ-代数概率测度赋 0–1 的数P随机变量把结果变成数X概率的四层构造三层构造(Ω, F, P)不是数学洁癖——连续情形下「每个点概率为 0」必须靠它解释
约 50 分钟3 定理11 步证明4 题自测

一句话结论

概率公理不是为了严谨而严谨——它存在的唯一理由,是让「随机选一根弦」这类日常语言有唯一含义,并保证极限运算不出错。

强化学习里到处是「期望回报」「策略诱导的分布」这类说法。如果你说不清这些分布定义在什么空间上、测度是什么,后面每一个推导你都无法确认自己没有偷换概念。这一篇不引入任何 RL 内容,只把地基打平。

为什么需要它

1889 年,法国数学家贝特朗提出了一道题:在圆内随机作一条弦,弦长大于内接正三角形边长的概率是多少?他给出三种同样「自然」的解法:答案是 1/2、1/3、1/4。三个答案都用了无懈可击的计算,互相矛盾。

问题不在计算,在题面。「随机作一条弦」没有说清楚随机的是什么:随机的是弦的两个端点?是弦到圆心的距离?还是弦的中点在圆内的位置?三种解读对应三个不同的随机实验,所以有三个不同的答案。

这道题逼出了 20 世纪概率论的现代化:Kolmogorov 在 1933 年提出,谈概率之前必须先说清三样东西——样本空间、事件集合、概率测度。这三样东西合称概率空间。下面我们逐个建起来,每一步都说清它防的是什么病。

定义

定义 1.1 样本空间与事件(直观版)

样本空间 Ω 是随机实验所有可能结果的集合。事件是「能问是否发生」的结果集合,也就是 Ω 的一个子集。掷骰子时 Ω={1,2,3,4,5,6},「点数是偶数」={2,4,6} 是一个事件。

定义 1.1 样本空间与事件(严格版)

事件集 F 是 Ω 的一个子集族,要求满足两条封闭性:(1) 若 A∈F 则补集 Ω\A∈F;(2) 若 A_1, A_2, … 可列多个都在 F 里,则并集 ∪A_n∈F。满足这两条的 F 叫 σ-代数。

为什么这样定补集封闭让你能问「没发生」,可列并封闭让你能问「无穷多次里至少发生一次」——后者是极限讨论的前提,比如「episode 永不终止」这类事件。只要求有限并的代数做不到这件事。

定义 1.2 概率测度

P 是定义在 F 上取值于 [0,1] 的函数,满足三条公理:(A1) P(A)≥0;(A2) P(Ω)=1;(A3) 可列可加性——若 A_1, A_2, … 两两不相交,则 P(∪A_n) = Σ P(A_n)。

为什么这样定A3 是全公理体系的心脏,也是最强的一条。它同时管辖有限和(取 A_2=A_3=…=∅)与极限运算(下面定理 1.3 会看到)。历史上它不能被降级成「有限可加」,贝特朗悖论式的歧义正是靠明确 Ω 和 F 才消除的。

定理与证明

定理 1.1 容斥公式

对任意 A, B∈F:P(A∪B) = P(A) + P(B) − P(A∩B)。

证

把 A∪B 拆成三个两两不相交的部分:A\B、A∩B、B\A。由可列可加性的有限特例(定理前的公理 A3 取其余集合为空):

P(A∪B) = P(A\B) + P(A∩B) + P(B\A)

而 P(A) = P(A\B) + P(A∩B),P(B) = P(B\A) + P(A∩B)。两式相加:P(A)+P(B) = P(A\B) + P(B\A) + 2P(A∩B)。

把第一行的式子代进去,恰好 P(A∪B) = P(A)+P(B) − P(A∩B)。∎

注证明只用了「拆成不相交部分再相加」一件事。这个手法在概率论里出现的频率高到无聊——包括后面第 6 篇解平稳分布方程。

定理 1.2 单调性

若 A⊂B,则 P(A) ≤ P(B),且 P(B\A) = P(B) − P(A)。

证

B = A ∪ (B\A),两部分不相交。由有限可加:P(B) = P(A) + P(B\A)。

由公理 A1,P(B\A) ≥ 0,所以 P(B) ≥ P(A)。移项即得第二式。∎

注「概率越大集合越大」这件直觉上显然的事,严格说是 A1+A3 的推论。直觉显然的部分也要有出处——这是原理层和推导层的分界线。

定理 1.3 概率的连续性

若 A_1 ⊃ A_2 ⊃ … 递减且 A = ∩A_n,则 P(A_n) ↓ P(A)。递增版本对称成立。

证

关键一步:把递减序列改写成不相交序列。令 B_1 = A_1,B_n = A_n \ An+1(n≥2)。每个 B_n 是「在这一层掉出去」的部分,两两不相交,且 ∪B_n = A_1。

P(A_1) = Σn=1∞ P(B_n) = P(A_k) + Σn=k+1∞ P(B_n)

其中第二个等号是把前 k 项单独拎出来。对 n>k 有 B_n ⊂ Ak+1 ⊂ A_k,且 B_n 互不相交地填满 Ak+1\A,于是 Σn=k+1∞ P(B_n) = P(Ak+1) − P(A)。

P(A_1) = P(A_k) + P(Ak+1) − P(A) − (P(Ak+1) − P(A)) = P(A_k) + P(Ak+1) − P(Ak+1) − P(A) + P(A)

整理得 P(A_k) = P(A_1) − [P(A_1) − P(A)]。令 k→∞ 时需要 Σn=k+1∞ P(B_n) → 0:这是正项级数收敛的余项性质,而级数收敛由 P(A_1) ≤ 1 保证(所有部分和 ≤ P(A_1) ≤ 1)。所以 P(A_k) ↓ P(A)。∎

注注意证明里真正干活的公理是 A3(可列可加)——只假设有限可加时,这个定理不成立,存在反例。这就是为什么公理要写成可列的形式:概率论要处理极限,有限可加不够用。

手算一遍

反复掷一枚均匀硬币,直到出现第一次正面为止。用公理体系求「掷的次数是奇数」的概率 P_odd。

  1. 样本空间 Ω = {1, 2, 3, …}(次数),事件「奇数次」= {1, 3, 5, …},是可列个单点集的并。
  2. 第 k 次才首次正面的概率:前 k−1 次反面且第 k 次正面 = (1/2)k-1 · (1/2) = (1/2)^k。
  3. 「奇数次」是两两不相交的事件 {1}, {3}, {5}, … 的并。由公理 A3 可列可加:
  4. [object Object]
  5. 检查公理合规性:Σ 全体 (1/2)^k = 1,即 P(Ω)=1(公理 A2 成立)——这个检查不是形式主义,几何分布求和时漏掉「永不终止」的事件是常见错误,公理逼你查它。
答

P_odd = 2/3 ≈ 0.6667。注意每一步用到的公理:拆不相交事件用了 A3,级数求和用了等比级数公式,最后的合规检查用了 A2。这道题在 RL 里的对应物:episode 长度是随机的,凡是对「按回合取平均」的做法,合法性都来自这类可列拆解。

实跑一遍

数字出处

贝特朗悖论的三种解法,各跑 20 万次蒙特卡洛模拟(圆半径 1,内接正三角形边长 √3,判据:弦长 > √3):

  • 解法一(端点在圆周上均匀独立)→ 概率 0.3322 ≈ 1/3
  • 解法二(弦心距在 [0,1] 上均匀)→ 概率 0.4995 ≈ 1/2
  • 解法三(弦的中点在圆内均匀)→ 概率 0.2505 ≈ 1/4

映射回强化学习

这里的对象RL 里的对应物站内用法
样本空间 Ω一条完整轨迹 τ = (s_0, a_0, r_1, s_1, a_1, …, s_T)用法 →
事件 A ⊂ Ω「回报超过阈值」「episode 在 100 步内终止」这类命题—
概率测度 P策略 π 和环境动力学 p(s'|s,a) 共同诱导的轨迹分布 P_τ用法 →
可列可加性对轨迹按长度、按首次到达某状态的时间拆解求和用法 →

边界:这一篇停在哪里

本篇停在哪里:σ-代数怎么生成(由开集生成的 Borel σ-代数)、测度扩张定理(Carathéodory)、以及不可测集的存在性,都不讲。连续状态空间的概率全部走「密度函数」路径绕过这些构造——够用,但要诚实知道这是绕过而不是不存在。

自测 4 题

全是手算和「找证明错在哪」类题目,不出背诵题。答不上来回到对应小节。

01贝特朗悖论里三个答案互相矛盾,错的是哪一个?

都不是。三个计算都对,错的是题面——「随机作弦」没有指定随机机制,三种机制对应三个不同的概率空间 (Ω, F, P)。消除矛盾的方法不是选一个对的,而是把空间说清楚。

02为什么公理 A3 要可列可加,有限可加不够吗?

不够。定理 1.3(概率的连续性)的证明直接用了可列可加——它是处理「无穷次试验」类问题的根基。只假设有限可加时连续性有反例,而 RL 里「episode 终于终止」「回报的极限」全是这类问题。

03P(A∪B) = P(A) + P(B) 什么时候成立?

当 A∩B = ∅(互斥)时,由容斥公式退化而来。面试里的经典陷阱:策略改进前后两个事件的概率相加时,先确认互斥,否则要减 P(A∩B)。

04掷硬币直到首次正面,「次数为偶数」的概率是多少?用公理说明你的加法合法。

P_even = Σj≥1 (1/2)2j = (1/4)/(1−1/4) = 1/3。合法性:事件 {2},{4},… 两两不相交,公理 A3 允许把概率相加;检查 P_odd + P_even = 2/3 + 1/3 = 1 = P(Ω)(A2),无遗漏。

接着看

全系列 27 篇

T1矩阵就是旋转的记账本约 25 分钟T2从斜率到梯度:机器人学习算法的第一行约 25 分钟T3向量与受力:点积的物理读法约 20 分钟T4两把尺子和一把更好的尺子约 25 分钟T5电机转一圈的账:弧度、转速与功率约 20 分钟T6复数乘法就是旋转:四元数的一维版约 20 分钟T7基与坐标:为什么机器人什么都用矩阵约 45 分钟T8矩阵乘法:变换的串联,不是表格运算约 40 分钟T9雅可比:关节转一度,末端动多少约 45 分钟T10特征向量:矩阵不敢动的方向约 45 分钟T11SVD 与伪逆:没有精确解时,找最近的解约 50 分钟T12泰勒展开:用直线替曲线打工约 40 分钟T13概率空间:为什么「随机」需要公理约 50 分钟T14期望:「平均」的严格构造约 55 分钟T15条件期望:竖线的真正含义约 60 分钟T16四个不等式:「多少样本才够」的定量答案约 45 分钟T17范数与不动点:「一定收敛」的出处约 55 分钟T18马尔可夫链:时间平均何时等于集合平均约 55 分钟T19MDP 的数学构造:一条公理值多少钱约 50 分钟T20动态规划:两种迭代的账约 50 分钟T21优化:约束为什么不能只靠罚约 55 分钟T22随机逼近:学习率公式里的每一条约 55 分钟T23接触的数学:Hertz 理论约 45 分钟T24摩擦与摩擦锥:约束的几何形状约 40 分钟T25力封闭与抓取度量:ε 是一个线性规划约 50 分钟T26接触运动学:滚动为什么不是「贴着滑」约 45 分钟T27滑移检测:从「感觉到了」到「算出来了」约 50 分钟