机器人入行指南
前沿层/方向三

前沿层 · 方向三 · 16 分钟

不确定性量化:让模型知道自己不知道

模型错的时候自己得知道错。把「我不确定」变成一个可计算的数,规划时避开高不确定区,探索时主动去高不确定区。

深度集成成员分歧 = 认知不确定性概率头高斯 NLL · 分开 aleatoric风险规避悲观规划边界PILCO 2011 就在做实跑提醒:MSE 集成的 disagreement 收敛到 ~0 而非噪声底——aleatoric 它看不见
16 分钟4 篇论文锚点5 处数学落点3 个坑

剥掉热词的本质

这是六个方向里最老的一条:PILCO 在 2011 年就把不确定性传播进了规划,PETS 在 2018 年定下了「概率集成 + MPC」的标准做法。当「前沿」介绍是误导;它的真价值是作为其他方向的基础组件。另外注意:MSE 集成看不见偶然噪声,这是实跑可以证明的。

原帖说法

引入贝叶斯深度学习、集成学习方法,显性建模预测不确定性,应用于智能体安全探索、风险规避场景。

帖子与真相

实践里九成九用的是深度集成加概率回归头,没人真的做完整贝叶斯推断。原帖把「贝叶斯深度学习」放在方法位是学术装饰。

这条线真正的历史脉络:PILCO(2011,高斯过程动力学,不确定性一路传播进规划)→ PETS(2018,概率集成 + MPC,至今仍是少样本机器人控制的标准基线)→ Plan2Explore(2020,集成成员间的分歧作内在奖励,不确定的地方主动去,之后零样本适配)→ MBPO(2019,用集成不确定性定 rollout 长度,短 rollout 缓解模型偏差复利)。

前沿增量在视频世界模型里分离两类不确定性:aleatoric(世界本身随机,数据再多也在)与 epistemic(数据不够,多采数据就消退)。自动驾驶世界模型(GAIA 一系)已在显式处理这个分离。站内实验 A 把这个分离做成了可复现的实锤:MSE 集成的分歧随数据收敛到约 0,根本看不见噪声底——必须给网络加概率头,让 σ 和均值一起被预测出来。

真实论文锚点

PILCODeisenroth & Rasmussen · ICML 2011

高斯过程动力学 + 不确定性传播进规划;这条线的起点,比「前沿」说法早十五年。

PETS: Probabilistic Ensembles with Trajectory SamplingChua et al. · NeurIPS 2018

概率集成 + MPC;少样本机器人控制的标准基线,概率头(预测 σ)的经典出处。

Plan2ExploreHafner et al. · ICLR 2020

集成分歧作内在奖励:不确定的地方主动探索,之后零样本适配新任务。

MBPOJafari et al. · NeurIPS 2019

用集成不确定性决定 rollout 长度——模型偏差复利的第一个系统性缓解。

需要的数学基础

这里的概念站内落点去哪学
不确定性量化的起点概率空间与公理/math/prob/ →
贝叶斯后验 = 条件期望条件期望的严格构造/math/condexp/ →
「不确定性界」的出处集中不等式:多少样本才够/math/ineq/ →
不确定性进规划后变成什么约束优化与罚函数/math/optim/ →
集成为什么压不掉噪声偏差方差账/fund/tabular/ →

能真跑的入门动作

怎么做

2D 非线性系统上加 σ=0.05 噪声,训 5 个独立 MLP,在固定测试输入上量成员间预测标准差随数据量(25→16000)的变化;再给网络加概率头(输出 μ 和 log σ²,高斯 NLL 损失),看预测 σ 是否贴住噪声真值。两天内完成,全站 /math/prob/ 与 /math/condexp/ 打底。

实跑结果站内已跑:expA_ensemble.py。disagreement 随数据单调下降到 0.008(远低于噪声底 0.05)——集成分不开两类不确定性;概率头预测 σ=0.0477,贴住真值。两个头互补,缺一不可。

坑

接着看

全系列 6 个方向