机器人入行指南
底层/SAC:熵、重参数化、双 Q,三个部件各自解决一个问题

底层 09 / 11 · 策略梯度

SAC:熵、重参数化、双 Q,三个部件各自解决一个问题

最大熵目标让策略保持随机,重参数化让梯度穿过采样,双 Q 把 max 的正偏压回去。少任何一个都不 work

约 75 分钟高级7 段推导4 题自测

一句话结论

SAC 的目标不是「最大化回报」,而是「最大化回报加熵」。这一个改动让「确定性最优」变成「一群差不多好的动作」——探索、鲁棒性、多峰策略全是它的副产品,不是另外加的机制。

连续控制任务上 SAC 通常比 PPO 样本效率高一个量级,代价是四个网络和一堆互相依赖的项。这一篇把每一项的来历讲清,你才知道调哪个旋钮会发生什么。

符号表

符号含义
α温度,控制熵项的相对权重
H(π(·|s))策略在状态 s 下的熵
ξ标准高斯噪声,重参数化用
tanh把无界高斯压到 (-1,1),必须配 log-det 修正
H_target目标熵,连续控制取 -dim(A)

推导

  1. 最大熵目标:在回报上加一项「不确定度」
  2. soft 值函数:把熵塞进 Q 里
  3. soft 贝尔曼:目标里带当前策略的 log π
  4. 重参数化:让梯度穿过采样点
  5. tanh 的 log-det 修正(漏了会「假高熵」)
  6. α 自动调节:把最敏感的超参变成自适应
  7. 双 Q:把 max 的正偏压回去

1. 最大熵目标:在回报上加一项「不确定度」

普通 RL 只问「哪个动作回报最高」,最大熵 RL 问「在回报接近最高的动作里,哪个策略最不挑」。

J(π) = ∑_t E[ r(s_t,a_t) + α·H(π(·|s_t)) ]

为什么能这么写α→0 退回普通 RL(策略会迅速确定化);α→∞ 变成随机乱动。中间地带的好处:多个同样好的动作都会被保留概率,策略不会因为一点点估计误差就锁死在一个次优动作上。这是 SAC 在真机上更耐噪声的原因。

只最大化 Q·过早收敛到单一策略·探索不足·对超参敏感加最大熵项·鼓励多解保持探索·温度自动调节·鲁棒到奖励尺度vs熵正则让「探索多少」从超参变成自适应量——SAC 是连续控制的默认起点

2. soft 值函数:把熵塞进 Q 里

定义 soft V 时把熵项直接减进去。这样 Q 的目标里自然带上熵,不需要在别处加探索 bonus。

V(s) = Ea~π[ Q(s,a) - α log π(a|s) ]

为什么能这么写因为 H = -E[log π],所以「加熵」等于「减 log π」。注意 log π 是负的(概率小于 1),所以 -α log π 是正的——熵项在给「不确定的动作」加分。

3. soft 贝尔曼:目标里带当前策略的 log π

把 V 代回 Q 的贝尔曼方程,得到 soft 版本。它和 DQN 的区别只有一处:目标里多了一项 -α log π(a'|s')。

Q(s,a) = r + γ·Es'[ Q(s',a') - α log π(a'|s') ]

为什么能这么写实现要点:a' 是从当前策略在 s' 上采样出来的(不是 argmax),log π 也用当前策略算。所以 target 会随策略移动——这也是为什么 SAC 必须用目标网络(polyak 0.005)来稳住它。

4. 重参数化:让梯度穿过采样点

策略输出 μ 和 σ,动作由 a = μ + σ·ξ 得到。把随机性挪到一个与参数无关的 ξ 上,采样就变成了确定性函数,梯度可以直接回传。

a = tanh( μ_θ(s) + σ_θ(s) ⊙ ξ ),ξ ~ N(0, I)

为什么能这么写DDPG 用确定性策略规避了这个问题(没有采样,直接对 a 求导),代价是探索要靠外加噪声。SAC 用重参数化,探索是策略本身的一部分,这是它的优势。

5. tanh 的 log-det 修正(漏了会「假高熵」)

变量变换必须乘雅可比行列式。tanh 把 u 映到 a,概率密度要除以 |da/du|。

log π(a|s) = log μ(u|s) - ∑_i log( 1 - tanh²(u_i) )

为什么能这么写漏掉这一项的后果很隐蔽:log π 被算大(少减了一个正数),策略看起来「熵很高」,α 自动调节就会把温度压到接近 0,探索消失,最后表现是「训到一半策略变确定、成功率卡住」。这是自己实现 SAC 最常见的 bug,没有之一。

6. α 自动调节:把最敏感的超参变成自适应

手调 α 很难(它对奖励尺度极端敏感)。SAC 直接对 α 做梯度下降,目标是让策略熵等于一个预设值。

J(α) = E[ -α( log π(a|s) + H_target ) ],H_target = -dim(A)

为什么能这么写逻辑:熵低于目标 → 括号里为正 → α 被推大 → 熵项权重上升 → 策略变随机。取 H_target=-dim(A) 的含义是「每个动作维度都保持接近单位高斯的熵」,与动作尺度无关。若动作维度是 6,目标熵就是 -6。

7. 双 Q:把 max 的正偏压回去

第 3 篇推过 max 的过估计(实测 σ=1、10 动作时 +1.54)。SAC 用两个独立 critic,取小的那个算目标。

y = r + γ( min(Q1'(s',a'), Q2'(s',a')) - α log π(a'|s') )

为什么能这么写为什么取 min 有效:两个估计的噪声独立,取 min 相当于「两个都高估才算高估」,概率大幅下降。代价是可能引入轻微负偏,但工程上远好于正偏(正偏会正反馈放大)。

手算一遍

动作维度 2,策略给出 μ=0、σ=0.5,采样到 ξ=1(两个维度都取 1)。奖励 r=0.5,γ=0.99,两个 critic 在下一状态给出 Q1=0.8、Q2=0.6,α=0.2。求 a、log π(a|s)、soft target y。

  1. u = μ + σ·ξ = 0 + 0.5×1 = 0.5;a = tanh(0.5) = 0.4621
  2. log μ(u) = -0.5·[ (0.5-0)²/0.25 + 2·ln0.5 + ln(2π) ] = -0.7258
  3. 修正项 = -log(1 - tanh²(0.5)) = -log(1-0.2135) = 0.2402,所以 log π(a) = -0.7258 + 0.2402 = -0.4856
  4. min(Q1,Q2) = 0.6;y = 0.5 + 0.99×(0.6 - 0.2×(-0.4856)) = 0.5 + 0.99×0.6971 = 1.1901
答

a=0.4621,log π=-0.4856,y=1.1901。请注意最后一式的符号:-α log π = +0.0971,因为 log π 是负数。这个「减一个负数等于加」的地方是符号错误的高发区——写成 +α log π 会让 target 系统性偏低,策略越来越保守。

跑一遍

25 行,把上面每一步都算一遍,并验证「漏掉 log-det 修正」时 log π 会差多少。

python · 只要 numpy
import numpy as np
mu, log_std, xi = 0.0, np.log(0.5), 1.0
u = mu + np.exp(log_std) * xi
a = np.tanh(u)
log_mu = -0.5 * ((u - mu)**2 / np.exp(2*log_std) + 2*log_std + np.log(2*np.pi))
corr = np.log(1 - np.tanh(u)**2 + 1e-7)
log_pi = log_mu - corr
print('u=%.4f a=%.4f log_mu=%.4f 修正=%.4f log_pi=%.4f' % (u, a, log_mu, -corr, log_pi))
print('若漏掉修正项,会把 log_pi 算成 %.4f(差 %.4f,熵被高估 %.4f)' % (log_mu, log_pi-log_mu, log_mu-log_pi))
r, g, q1, q2, alpha = 0.5, 0.99, 0.8, 0.6, 0.2
y = r + g * (min(q1, q2) - alpha * log_pi)
print('soft target y = %.4f' % y)
print('符号自查:-alpha*log_pi = %+.4f(应为正)' % (-alpha*log_pi))

看到这个就算过

输出 u=0.5000 a=0.4621 log_mu=-0.7258 修正=0.2402 log_pi=-0.4856,y=1.1901,最后一行显示 +0.0971。如果 log_pi 比 log_mu 更负得不够(比如只差 0.05),说明 tanh 的导数项写错了。

自测 4 题

先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。

01SAC 为什么不需要 ε-greedy 那样的探索噪声?

因为最大熵目标本身要求策略保持不确定,α 自动调节会维持目标熵。探索是优化目标的一部分,不是外加的启发式。

02α 自动调节在什么情况下会失效?

① 奖励尺度被改(比如把奖励乘 100)时,初期 α 会被推得极大,学得很慢;② 动作维度很高时目标熵 -dim(A) 可能过大,策略永远太随机。前者靠奖励归一化解决,后者可以手动把 H_target 调小。

03SAC 的 critic 只用来算 target,还需要 argmax 吗?

不需要。这是它和 DQN 的关键区别:actor 直接对 Q 求梯度(通过重参数化),不需要对整个动作空间做 max。所以 SAC 天然适合连续动作,也不必用 ε-greedy。

04训练中 actor loss 突然变成很大的负数、策略熵暴涨,可能是什么原因?

Q 值爆炸(critic 崩了)→ actor 追着虚高的 Q 跑。查 reward 尺度、target 的 γ 是否过大、有没有用双 Q。熵暴涨往往是 Q 量级失控的后果而不是原因。

接着看

全系列 11 篇