机器人入行指南
底层/MDP 与回报:把「该做什么」写成能算的东西

底层 02 / 11 · 建模

MDP 与回报:把「该做什么」写成能算的东西

状态、动作、转移、奖励、折扣。这四样东西一旦定下来,问题就没有歧义了——所有算法都在解同一个问题

约 45 分钟基础6 段推导4 题自测

一句话结论

强化学习不解决「世界是什么」,只解决「在你给的状态表示下,怎么选动作最划算」。状态定义错了,任何算法都救不回来——这是真机 RL 失败的第一原因,比超参重要得多。

很多人跳过这一篇直接看算法,然后在真机上发现「仿真能学会、真机不动」。根子几乎都在这里:马尔可夫性不成立,或者奖励写成了每步都给,或者折扣因子把视野压得太短。

符号表

符号含义
S / A状态集合 / 动作集合
P(s'|s,a)转移概率,环境说了算,学不到也不用学
r奖励。注意是 r(s,a) 还是 r(s,a,s'),两种约定差一个偏置
γ折扣因子,0 到 1 之间(连续任务必须小于 1)
G_t从 t 时刻起的折扣回报,也就是「后面一共能拿多少」
π(a|s)策略,你要学的东西

推导

  1. 五元组,以及马尔可夫性到底在要求什么
  2. 回报:把「以后」折成今天的一个数
  3. 值函数:V 是「按策略平均」,Q 是「先把动作定下来」
  4. 贝尔曼期望方程:一次塔性质
  5. γ<1 的另一个理由:它给你一个尺度上界
  6. 两种「最优」:先定策略再优化,还是直接优化值

1. 五元组,以及马尔可夫性到底在要求什么

M=(S, A, P, R, γ)。马尔可夫性说的是:给定当前状态 s,未来与过去无关。这不是在描述世界,而是在要求你的状态表示足够。

P(st+1 | s_t, a_t) = P(st+1 | s_0,a_0,...,s_t,a_t)

为什么能这么写机器人上最常见的违约:状态里只放了关节位置,没放关节速度。此时「当前状态」无法决定下一步——你的策略实际上在跟一个部分可观测的环境打交道,学出来的东西会抖。修法不是换算法,是把速度(或几帧历史)放进观测。

状态 s环境的完整描述动作 a智能体的选择奖励 r标量反馈转移 Ps' 的分布MDP马尔可夫性:未来只依赖现在马尔可夫性是整座 RL 大厦的地基假设——不满足时要靠堆历史或堆观测补救

2. 回报:把「以后」折成今天的一个数

回报是折扣后的奖励总和。折扣不是数学装饰,它决定了算法「看多远」。

G_t = rt+1 + γ rt+2 + γ² rt+3 + … = ∑k=0∞ γ^k rt+k+1

为什么能这么写有效视野大约是 1/(1-γ):γ=0.99 → 100 步,γ=0.9 → 10 步。所以 γ 小不是「更保守」,是「更短视」。抓取任务里如果 γ=0.9 而一次抓取要 80 步,策略永远看不到成功信号,表现就是「快到目标时放弃」。

3. 值函数:V 是「按策略平均」,Q 是「先把动作定下来」

两个值函数的区别只有一个:V 对动作按策略加权,Q 把某个动作钉住。

V^π(s) = E_π[G_t | S_t=s],Q^π(s,a) = E_π[G_t | S_t=s, A_t=a],V^π(s) = ∑_a π(a|s)·Q^π(s,a)

为什么能这么写最后那个等式很重要:它意味着你有了 Q 就自动有了 V(加权平均即可),反过来不行。「为什么几乎所有算法都学 Q 而不是 V」的答案在这里。

4. 贝尔曼期望方程:一次塔性质

把回报拆成「这一步的奖励」加「剩下的」,剩下的按第 2 篇的塔性质取期望,就得到贝尔曼方程。

V^π(s) = ∑_a π(a|s) ∑s' P(s'|s,a)[ r(s,a,s') + γ V^π(s') ]

为什么能这么写写代码时一定要确认奖励的位置:在括号里意味着 r 依赖 s'(多数仿真器如此),在括号外意味着只依赖 (s,a)。搞错不会报错,只会让整个值函数偏一个常数,症状是「critic 的 loss 一直降不到 0」。

5. γ<1 的另一个理由:它给你一个尺度上界

奖励有界时,折扣回报也有界。这个上界不是理论洁癖,它直接告诉你 critic 的输出应该多大、学习率该给多少。

|G_t| ≤ R_max / (1-γ)

为什么能这么写R_max=1、γ=0.99 → 回报上限 100。所以 critic 的输出应该在 0 到 100 之间;如果你看到 Q 值跑到 1e4,先查是不是每步都给了 +1 奖励(应该只在终止时给)。

6. 两种「最优」:先定策略再优化,还是直接优化值

策略迭代路线(值 → 策略)和策略梯度路线(策略 → 值)看着对立,其实在解同一个最优方程。区别只在「你选择把哪一半当作被优化的对象」。

V*(s) = max_a ∑s' P(s'|s,a)[ r + γ V*(s') ]

为什么能这么写注意这里的 max 换掉了 ∑_a π。这一步把线性方程变成了非线性方程,是后面「不能矩阵求逆、只能用近似方法」的总根源,第 3 篇会展开。

手算一遍

一个只有两个状态的 MDP:在 A 有 90% 概率留在 A 并得 1 分、10% 概率转到 B;B 是终止状态。γ=0.9。求 V(A)。

  1. 列方程:V(A) = 1 + 0.9 × (0.9·V(A) + 0.1·V(B))
  2. B 终止 → V(B) = 0,代入:V(A) = 1 + 0.81·V(A)
  3. 移项:V(A)·(1-0.81) = 1 → V(A) = 1/0.19
  4. V(A) = 5.263
答

V(A)=5.263。这个数看着比「每次得 1 分」大很多,因为 A 会一直给分(90% 自循环),几何级数求和 1/(1-0.81)。实测值迭代跑 300 轮收敛到 5.26315789,和解析解一致到最后一位。这也是判断「你的贝尔曼实现对不对」的最快办法:先造一个能手算的 MDP。

跑一遍

4×4 网格,每步 -1 分,左上角出发,右下角终止。值迭代 20 行,输出 V 矩阵和最优动作。这段代码的价值是:你能看到 V 的形状是怎么从奖励和转移里「长出来」的。

python · 只要 numpy
import numpy as np
N, G = 4, 0.99
V = np.zeros((N, N))
moves = [(-1,0),(1,0),(0,-1),(0,1)]   # 上下左右
for _ in range(500):
    Vn = V.copy()
    for i in range(N):
        for j in range(N):
            if (i, j) == (N-1, N-1):
                continue
            q = []
            for di, dj in moves:
                ni, nj = min(max(i+di,0),N-1), min(max(j+dj,0),N-1)
                r = 0.0 if (ni,nj)==(N-1,N-1) else -1.0
                q.append(r + G * V[ni, nj])
            Vn[i, j] = max(q)
    if np.abs(Vn - V).max() < 1e-9:
        V = Vn; break
    V = Vn
np.set_printoptions(precision=1, suppress=True)
print(V)
print('左上角 V =', round(V[0,0], 2), ' 理论 ≈ -1/(1-0.99) 量级随距离递减')

看到这个就算过

V 从右下角向左上角单调递减(越远越负),左上角大约 -33 到 -40 之间。如果 V 全是 0 或全是 -1,说明终止条件或奖励符号写错了。

自测 4 题

先自己答,再展开。答不上来就回到对应的那一节——每道题都能在推导里找到出处。

01状态里漏掉关节速度会发生什么?换更大的网络能解决吗?

马尔可夫性被破坏,同一个观测下最优动作不唯一,策略会在两个动作间摇摆,学出来抖。加大网络只会让它更自信地抖。修法是把速度、力矩或几帧历史放进观测。

02γ=0.99 时,第 150 步的奖励在回报里还剩多少权重?

0.99^150 ≈ 0.22。所以超过 100 步之外的奖励影响已经很弱——这就是「有效视野」的含义:不是被截断,而是被指数衰减压掉。

03为什么绝大多数算法学 Q 而不学 V?

因为 V 只是 Q 按策略的加权平均,知道了 Q 就自动知道 V,反过来需要知道策略才能还原。而控制问题最终要选动作,Q 直接给出每个动作的排名。

04奖励只在终止时给 +1,γ=0.99,critic 输出正常应该在什么范围?

0 到 1/(1-0.99)=100 之间。出现 1e4 这种量级,基本是每步都给奖励了,或者 Q 没做 target 同步在自我放大。

接着看

全系列 11 篇