机器人入行指南

底层

把公式推到能自己写出来

这十一篇是强化学习的底层。它不讲怎么调库,只讲每一步推导为什么成立——从贝尔曼方程的压缩映射,到策略梯度里环境项为什么消失,到 PPO 的 clip 为什么在某些情况下梯度为零。每一篇都配一个能手算的例题、一段二十行能跑起来的代码、和一组自测题。

读法:先看「一句话结论」和「为什么这节在这」,能接受就直接跳到例题,手算对上再回看推导。全部例题的数字都是实跑的,代码复制就能跑,不需要装任何 RL 框架——只要 numpy。

落地SAC · HER · 诊断不收敛策略梯度REINFORCE · GAE · PPO 的 clip值函数MC 与 TD · 函数逼近的致命三要素地基四个数学工具 · MDP · 贝尔曼方程顺序不能换:后一层用的每个式子都是前一层给的。跳读的结果是「会用但不会调」
先玩动图,再读证明

动图墙 →  80 个可以拖着玩的画布(旋转矩阵、万向锁、贝叶斯计数、梯度滚球、混叠……),每个动图对应一篇严格讲解或课程正文。看不懂证明之前,先玩懂现象。

每一篇都长这样

一句话结论 → 逐段推导(每段标出用了哪个数学工具)→ 一个能手算的例题 → 二十行 numpy 验证 → 四道自测题

为什么例题必须手算

看懂推导和能自己写出来,中间差着一次手算。所有例题的数字都是实跑的,你算出来的必须和页面上一致——对不上就是某一步的符号或边界错了。

地基:数学与建模

这三篇不读通,后面全是背公式

01 只用得到的四个数学工具期望的线性、条件期望的塔性质、score 函数、重要性采样。后面十一篇的所有推导都是这四个的排列组合 40 分钟6 段推导4 题自测 02 MDP 与回报:把「该做什么」写成能算的东西状态、动作、转移、奖励、折扣。这四样东西一旦定下来,问题就没有歧义了——所有算法都在解同一个问题 45 分钟6 段推导4 题自测 03 贝尔曼方程:为什么 V 是不动点,为什么迭代一定能收敛从线性方程组的解析解,到压缩映射的收敛保证,再到 max 带来的那一处非线性——以及它引起的系统性过估计 60 分钟6 段推导4 题自测

值函数:从表格到函数逼近

「一定收敛」是怎么失效的

04 无模型:MC 与 TD 的偏差方差账回报当目标还是自举当目标,这一处选择决定了后面所有算法的形态。附一份可复现的实测对比 60 分钟6 段推导4 题自测 05 函数逼近:从「一定收敛」到「会崩」的三要素半梯度、致命三要素、分布决定答案、目标网络。这一篇解释为什么深度 RL 的训练曲线经常不是「收敛慢」而是「炸了」 55 分钟6 段推导4 题自测

策略梯度:直接优化策略

REINFORCE → GAE → PPO,一条线推下来

06 策略梯度:REINFORCE 逐行推出来整条推导只有一个技巧,但用到了三次。推完之后你会知道为什么「不需要知道环境模型」不是巧合而是必然 70 分钟6 段推导4 题自测 07 Actor-Critic 与 GAE:把方差旋钮拧到 λ优势函数是策略梯度唯一的必需品。GAE 给了一个连续的旋钮:λ=0 退化成一步 TD,λ=1 退化成 MC 60 分钟6 段推导4 题自测 08 PPO:clip 到底在 clip 什么从重要性采样比值,到 TRPO 的 KL 约束,再到那条 min-clip 的分段函数。附四种情况的梯度表 70 分钟6 段推导4 题自测

连续控制与落地

最大熵、目标重标记、以及怎么诊断不收敛

09 SAC:熵、重参数化、双 Q,三个部件各自解决一个问题最大熵目标让策略保持随机,重参数化让梯度穿过采样,双 Q 把 max 的正偏压回去。少任何一个都不 work 75 分钟7 段推导4 题自测 10 HER:目标重标记为什么在数学上合法换目标不换动力学——这是全部论证。附「容差必须大于单步位移」这个几乎没人讲的定量条件 50 分钟6 段推导4 题自测 11 不收敛怎么查:把症状映射回公式十一种常见曲线形状对应公式里的具体一项。附训练前必做的三个体检和两个对照实验 45 分钟8 段推导4 题自测

和「手把手教程」是什么关系

教程教你把东西跑起来,这里教你为什么它能跑起来。顺序建议:先跑教程看到曲线动,再回来读对应的推导——那时候每个符号都有对应的现象。反过来先读推导也成立,但会缺少「我为什么要关心这个」的锚点。强化学习教程在这里。