原理层 T2 / 27 · 高中出发
从斜率到梯度:机器人学习算法的第一行
你已经会 f(x) = x² 的导数是 2x。把「一维斜率」推广到多维,就得到机器人学习算法里出现频率最高的符号:∇。
一句话结论
梯度就是「每个变量各求一次导数」打包成的向量。沿它的反方向走,函数值下降最快——这不是口诀,是余弦的一句话推论。
动图版 · 拖球到坡上放手,拖学习率看小球怎么走:太小磨蹭、太大飞过头、0.25 左右刚刚好
/fund/ 里所有学习算法(策略梯度、TD、PPO)的更新公式都长成 θ ← θ + α∇J。这一篇看懂,那些公式里最唬人的部分就先拆掉了。
为什么需要它
机器人调参数:改一个参数,性能变好还是变坏、变多少——就是求导。
参数一多,「往哪边调」就变成方向问题。答案叫梯度。
每步走多远(学习率)直接决定训不训得动:太慢熬不起,太大走过头。
定义
偏导与梯度
f(x, y) 在点 (a, b) 的梯度记 ∇f = (∂f/∂x, ∂f/∂y):把 y 当常数对 x 求导、把 x 当常数对 y 求导,两个结果排成向量。
为什么这样定「偏导」不是新运算,就是你已会的求导,一次只对一个变量做。比如 f = x² + 2y²,则 ∂f/∂x = 2x,∂f/∂y = 4y。
定理与证明
定理(最速下降方向)
沿单位方向 u 的变化率 = ∇f·u = |∇f|·cosφ(φ 是 u 与梯量的夹角)。φ=180°(反梯度方向)时下降最快。
证
令 g(t) = f(a + t·cosφ, b + t·sinφ),即沿方向 u 走 t 步的函数值。
g'(0) = ∂f/∂x·cosφ + ∂f/∂y·sinφ(对 t 求导时 cosφ、sinφ 是常数),这正是 ∇f·u。
由点积的几何定义 ∇f·u = |∇f||u|cosφ = |∇f|cosφ,所以 φ=0 最大、φ=π 最小(−|∇f|)。
注「梯度下降」的合法性就是这一行。机器学习里写 θ ← θ − η∇J,翻译过来是:沿反梯度走 η 那么远。
手算一遍
f(x, y) = x² + 2y²,从 (2, 4) 出发,学习率 η=0.1 走一步,f 降多少?
- ∇f(2, 4) = (2x, 4y) = (4, 16)。
- 新点 = (2 − 0.1×4, 4 − 0.1×16) = (1.6, 2.4)。
- f 原来是 4 + 32 = 36,现在 1.6² + 2×2.4² = 2.56 + 11.52 = 14.08。
一步从 36 降到 14.08,降了 61%。方向对了,步子稳就行。
实跑一遍
数字出处
同一个 f、同一出发点 (2,4),三种学习率实跑(生成器真算,判据 f<0.000001):
- η=0.1:35 步到达(稳定但慢)。
- η=0.25:11 步到达(y 方向刚好一步到底,最快)。
- η=0.49:212 步到达(y 方向来回震荡,慢回去了)。
- η=0.6:y 方向发散,10 步后 f 从 36 涨到 2.68e+4——这就是「学习率过大训飞了」的数学本体。
映射回强化学习
边界:这一篇停在哪里
本篇停在光滑函数的一阶方法。为什么 η=0.25 时 y 一步到底(一维二次型的最优步长是 1/(2λ))、为什么震荡、非凸函数的坑,在 /math/sa/ 与 /fund/debug/。
自测 3 题
全是手算和「找证明错在哪」类题目,不出背诵题。答不上来回到对应小节。
01f(x,y)=x²+2y² 在 (1, 0) 的梯度是多少?
(2, 0)——y 项是 4y,y=0 时为 0。梯度指向 x 正向。
02用 |1−ηλ| 的账说明:为什么 η=0.6 在 y 方向发散?
每步 y ← (1−4η)y,η=0.6 时系数是 −1.4,|−1.4|>1,越走越远。收敛条件 |1−4η|<1 即 η<0.5。
03梯度下降相邻两步的方向什么关系?
在二次型上接近互相垂直——上一步把梯度方向「用完」,新梯度主要在垂直分量。手算 f=x² 从任意点走最优步长就能看到(一步到位,梯度变 0)。