机器人入行指南
原理层/从斜率到梯度:机器人学习算法的第一行

原理层 T2 / 27 · 高中出发

从斜率到梯度:机器人学习算法的第一行

你已经会 f(x) = x² 的导数是 2x。把「一维斜率」推广到多维,就得到机器人学习算法里出现频率最高的符号:∇。

最低点 f=0起点 θ₀等高线f 值相同的点连成圈梯度 ∇f垂直于等高线,指向爬升反梯度一步走多远由学习率定梯度下降的几何:沿反梯度走、每步走一个学习率——走太小太慢,走太大越过谷底到对面坡上
约 25 分钟1 定理3 步证明3 题自测

一句话结论

梯度就是「每个变量各求一次导数」打包成的向量。沿它的反方向走,函数值下降最快——这不是口诀,是余弦的一句话推论。

动图版 · 拖球到坡上放手,拖学习率看小球怎么走:太小磨蹭、太大飞过头、0.25 左右刚刚好

/fund/ 里所有学习算法(策略梯度、TD、PPO)的更新公式都长成 θ ← θ + α∇J。这一篇看懂,那些公式里最唬人的部分就先拆掉了。

为什么需要它

机器人调参数:改一个参数,性能变好还是变坏、变多少——就是求导。

参数一多,「往哪边调」就变成方向问题。答案叫梯度。

每步走多远(学习率)直接决定训不训得动:太慢熬不起,太大走过头。

定义

偏导与梯度

f(x, y) 在点 (a, b) 的梯度记 ∇f = (∂f/∂x, ∂f/∂y):把 y 当常数对 x 求导、把 x 当常数对 y 求导,两个结果排成向量。

为什么这样定「偏导」不是新运算,就是你已会的求导,一次只对一个变量做。比如 f = x² + 2y²,则 ∂f/∂x = 2x,∂f/∂y = 4y。

定理与证明

定理(最速下降方向)

沿单位方向 u 的变化率 = ∇f·u = |∇f|·cosφ(φ 是 u 与梯量的夹角)。φ=180°(反梯度方向)时下降最快。

证

令 g(t) = f(a + t·cosφ, b + t·sinφ),即沿方向 u 走 t 步的函数值。

g'(0) = ∂f/∂x·cosφ + ∂f/∂y·sinφ(对 t 求导时 cosφ、sinφ 是常数),这正是 ∇f·u。

由点积的几何定义 ∇f·u = |∇f||u|cosφ = |∇f|cosφ,所以 φ=0 最大、φ=π 最小(−|∇f|)。

注「梯度下降」的合法性就是这一行。机器学习里写 θ ← θ − η∇J,翻译过来是:沿反梯度走 η 那么远。

手算一遍

f(x, y) = x² + 2y²,从 (2, 4) 出发,学习率 η=0.1 走一步,f 降多少?

  1. ∇f(2, 4) = (2x, 4y) = (4, 16)。
  2. 新点 = (2 − 0.1×4, 4 − 0.1×16) = (1.6, 2.4)。
  3. f 原来是 4 + 32 = 36,现在 1.6² + 2×2.4² = 2.56 + 11.52 = 14.08。
答

一步从 36 降到 14.08,降了 61%。方向对了,步子稳就行。

实跑一遍

数字出处

同一个 f、同一出发点 (2,4),三种学习率实跑(生成器真算,判据 f<0.000001):

  • η=0.1:35 步到达(稳定但慢)。
  • η=0.25:11 步到达(y 方向刚好一步到底,最快)。
  • η=0.49:212 步到达(y 方向来回震荡,慢回去了)。
  • η=0.6:y 方向发散,10 步后 f 从 36 涨到 2.68e+4——这就是「学习率过大训飞了」的数学本体。

映射回强化学习

这里的对象RL 里的对应物站内用法
∇f策略梯度 ∇J(θ)用法 →
学习率 η学习率 α / 步长用法 →
最速下降方向梯度上升的策略更新方向用法 →

边界:这一篇停在哪里

本篇停在光滑函数的一阶方法。为什么 η=0.25 时 y 一步到底(一维二次型的最优步长是 1/(2λ))、为什么震荡、非凸函数的坑,在 /math/sa/ 与 /fund/debug/。

自测 3 题

全是手算和「找证明错在哪」类题目,不出背诵题。答不上来回到对应小节。

01f(x,y)=x²+2y² 在 (1, 0) 的梯度是多少?

(2, 0)——y 项是 4y,y=0 时为 0。梯度指向 x 正向。

02用 |1−ηλ| 的账说明:为什么 η=0.6 在 y 方向发散?

每步 y ← (1−4η)y,η=0.6 时系数是 −1.4,|−1.4|>1,越走越远。收敛条件 |1−4η|<1 即 η<0.5。

03梯度下降相邻两步的方向什么关系?

在二次型上接近互相垂直——上一步把梯度方向「用完」,新梯度主要在垂直分量。手算 f=x² 从任意点走最优步长就能看到(一步到位,梯度变 0)。

接着看

全系列 27 篇

T1矩阵就是旋转的记账本约 25 分钟T2从斜率到梯度:机器人学习算法的第一行约 25 分钟T3向量与受力:点积的物理读法约 20 分钟T4两把尺子和一把更好的尺子约 25 分钟T5电机转一圈的账:弧度、转速与功率约 20 分钟T6复数乘法就是旋转:四元数的一维版约 20 分钟T7基与坐标:为什么机器人什么都用矩阵约 45 分钟T8矩阵乘法:变换的串联,不是表格运算约 40 分钟T9雅可比:关节转一度,末端动多少约 45 分钟T10特征向量:矩阵不敢动的方向约 45 分钟T11SVD 与伪逆:没有精确解时,找最近的解约 50 分钟T12泰勒展开:用直线替曲线打工约 40 分钟T13概率空间:为什么「随机」需要公理约 50 分钟T14期望:「平均」的严格构造约 55 分钟T15条件期望:竖线的真正含义约 60 分钟T16四个不等式:「多少样本才够」的定量答案约 45 分钟T17范数与不动点:「一定收敛」的出处约 55 分钟T18马尔可夫链:时间平均何时等于集合平均约 55 分钟T19MDP 的数学构造:一条公理值多少钱约 50 分钟T20动态规划:两种迭代的账约 50 分钟T21优化:约束为什么不能只靠罚约 55 分钟T22随机逼近:学习率公式里的每一条约 55 分钟T23接触的数学:Hertz 理论约 45 分钟T24摩擦与摩擦锥:约束的几何形状约 40 分钟T25力封闭与抓取度量:ε 是一个线性规划约 50 分钟T26接触运动学:滚动为什么不是「贴着滑」约 45 分钟T27滑移检测:从「感觉到了」到「算出来了」约 50 分钟