底层 09 / 11 · 策略梯度
SAC:熵、重参数化、双 Q,三个部件各自解决一个问题
最大熵目标让策略保持随机,重参数化让梯度穿过采样,双 Q 把 max 的正偏压回去。少任何一个都不 work
一句话结论
SAC 的目标不是「最大化回报」,而是「最大化回报加熵」。这一个改动让「确定性最优」变成「一群差不多好的动作」——探索、鲁棒性、多峰策略全是它的副产品,不是另外加的机制。
连续控制任务上 SAC 通常比 PPO 样本效率高一个量级,代价是四个网络和一堆互相依赖的项。这一篇把每一项的来历讲清,你才知道调哪个旋钮会发生什么。
符号表
| 符号 | 含义 |
|---|---|
α | 温度,控制熵项的相对权重 |
H(π(·|s)) | 策略在状态 s 下的熵 |
ξ | 标准高斯噪声,重参数化用 |
tanh | 把无界高斯压到 (-1,1),必须配 log-det 修正 |
H_target | 目标熵,连续控制取 -dim(A) |
推导
- 最大熵目标:在回报上加一项「不确定度」
- soft 值函数:把熵塞进 Q 里
- soft 贝尔曼:目标里带当前策略的 log π
- 重参数化:让梯度穿过采样点
- tanh 的 log-det 修正(漏了会「假高熵」)
- α 自动调节:把最敏感的超参变成自适应
- 双 Q:把 max 的正偏压回去
1. 最大熵目标:在回报上加一项「不确定度」
普通 RL 只问「哪个动作回报最高」,最大熵 RL 问「在回报接近最高的动作里,哪个策略最不挑」。
为什么能这么写α→0 退回普通 RL(策略会迅速确定化);α→∞ 变成随机乱动。中间地带的好处:多个同样好的动作都会被保留概率,策略不会因为一点点估计误差就锁死在一个次优动作上。这是 SAC 在真机上更耐噪声的原因。
2. soft 值函数:把熵塞进 Q 里
定义 soft V 时把熵项直接减进去。这样 Q 的目标里自然带上熵,不需要在别处加探索 bonus。
为什么能这么写因为 H = -E[log π],所以「加熵」等于「减 log π」。注意 log π 是负的(概率小于 1),所以 -α log π 是正的——熵项在给「不确定的动作」加分。
3. soft 贝尔曼:目标里带当前策略的 log π
把 V 代回 Q 的贝尔曼方程,得到 soft 版本。它和 DQN 的区别只有一处:目标里多了一项 -α log π(a'|s')。
为什么能这么写实现要点:a' 是从当前策略在 s' 上采样出来的(不是 argmax),log π 也用当前策略算。所以 target 会随策略移动——这也是为什么 SAC 必须用目标网络(polyak 0.005)来稳住它。
4. 重参数化:让梯度穿过采样点
策略输出 μ 和 σ,动作由 a = μ + σ·ξ 得到。把随机性挪到一个与参数无关的 ξ 上,采样就变成了确定性函数,梯度可以直接回传。
为什么能这么写DDPG 用确定性策略规避了这个问题(没有采样,直接对 a 求导),代价是探索要靠外加噪声。SAC 用重参数化,探索是策略本身的一部分,这是它的优势。
5. tanh 的 log-det 修正(漏了会「假高熵」)
变量变换必须乘雅可比行列式。tanh 把 u 映到 a,概率密度要除以 |da/du|。
为什么能这么写漏掉这一项的后果很隐蔽:log π 被算大(少减了一个正数),策略看起来「熵很高」,α 自动调节就会把温度压到接近 0,探索消失,最后表现是「训到一半策略变确定、成功率卡住」。这是自己实现 SAC 最常见的 bug,没有之一。
6. α 自动调节:把最敏感的超参变成自适应
手调 α 很难(它对奖励尺度极端敏感)。SAC 直接对 α 做梯度下降,目标是让策略熵等于一个预设值。
为什么能这么写逻辑:熵低于目标 → 括号里为正 → α 被推大 → 熵项权重上升 → 策略变随机。取 H_target=-dim(A) 的含义是「每个动作维度都保持接近单位高斯的熵」,与动作尺度无关。若动作维度是 6,目标熵就是 -6。
7. 双 Q:把 max 的正偏压回去
第 3 篇推过 max 的过估计(实测 σ=1、10 动作时 +1.54)。SAC 用两个独立 critic,取小的那个算目标。
为什么能这么写为什么取 min 有效:两个估计的噪声独立,取 min 相当于「两个都高估才算高估」,概率大幅下降。代价是可能引入轻微负偏,但工程上远好于正偏(正偏会正反馈放大)。
手算一遍
动作维度 2,策略给出 μ=0、σ=0.5,采样到 ξ=1(两个维度都取 1)。奖励 r=0.5,γ=0.99,两个 critic 在下一状态给出 Q1=0.8、Q2=0.6,α=0.2。求 a、log π(a|s)、soft target y。
- u = μ + σ·ξ = 0 + 0.5×1 = 0.5;a = tanh(0.5) = 0.4621
- log μ(u) = -0.5·[ (0.5-0)²/0.25 + 2·ln0.5 + ln(2π) ] = -0.7258
- 修正项 = -log(1 - tanh²(0.5)) = -log(1-0.2135) = 0.2402,所以 log π(a) = -0.7258 + 0.2402 = -0.4856
- min(Q1,Q2) = 0.6;y = 0.5 + 0.99×(0.6 - 0.2×(-0.4856)) = 0.5 + 0.99×0.6971 = 1.1901
a=0.4621,log π=-0.4856,y=1.1901。请注意最后一式的符号:-α log π = +0.0971,因为 log π 是负数。这个「减一个负数等于加」的地方是符号错误的高发区——写成 +α log π 会让 target 系统性偏低,策略越来越保守。
跑一遍
25 行,把上面每一步都算一遍,并验证「漏掉 log-det 修正」时 log π 会差多少。
import numpy as np
mu, log_std, xi = 0.0, np.log(0.5), 1.0
u = mu + np.exp(log_std) * xi
a = np.tanh(u)
log_mu = -0.5 * ((u - mu)**2 / np.exp(2*log_std) + 2*log_std + np.log(2*np.pi))
corr = np.log(1 - np.tanh(u)**2 + 1e-7)
log_pi = log_mu - corr
print('u=%.4f a=%.4f log_mu=%.4f 修正=%.4f log_pi=%.4f' % (u, a, log_mu, -corr, log_pi))
print('若漏掉修正项,会把 log_pi 算成 %.4f(差 %.4f,熵被高估 %.4f)' % (log_mu, log_pi-log_mu, log_mu-log_pi))
r, g, q1, q2, alpha = 0.5, 0.99, 0.8, 0.6, 0.2
y = r + g * (min(q1, q2) - alpha * log_pi)
print('soft target y = %.4f' % y)
print('符号自查:-alpha*log_pi = %+.4f(应为正)' % (-alpha*log_pi))看到这个就算过
输出 u=0.5000 a=0.4621 log_mu=-0.7258 修正=0.2402 log_pi=-0.4856,y=1.1901,最后一行显示 +0.0971。如果 log_pi 比 log_mu 更负得不够(比如只差 0.05),说明 tanh 的导数项写错了。
自测 4 题
先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。
01SAC 为什么不需要 ε-greedy 那样的探索噪声?
因为最大熵目标本身要求策略保持不确定,α 自动调节会维持目标熵。探索是优化目标的一部分,不是外加的启发式。
02α 自动调节在什么情况下会失效?
① 奖励尺度被改(比如把奖励乘 100)时,初期 α 会被推得极大,学得很慢;② 动作维度很高时目标熵 -dim(A) 可能过大,策略永远太随机。前者靠奖励归一化解决,后者可以手动把 H_target 调小。
03SAC 的 critic 只用来算 target,还需要 argmax 吗?
不需要。这是它和 DQN 的关键区别:actor 直接对 Q 求梯度(通过重参数化),不需要对整个动作空间做 max。所以 SAC 天然适合连续动作,也不必用 ε-greedy。
04训练中 actor loss 突然变成很大的负数、策略熵暴涨,可能是什么原因?
Q 值爆炸(critic 崩了)→ actor 追着虚高的 Q 跑。查 reward 尺度、target 的 γ 是否过大、有没有用双 Q。熵暴涨往往是 Q 量级失控的后果而不是原因。