手把手 3 / 4
从零训出一个抓取策略:MuJoCo + SAC + HER
先让机器臂够到目标,再学会抓起来。全程一条命令跑训练,约 5 小时
做完这件事,你手上会有
同一套代码跑出两个结果:够到(Reach)成功率 95% 以上,抓取(PickAndPlace)成功率 60% 以上;能解释每个超参在改什么。
机器人强化学习真正难的不是算法,是「环境、动作空间、奖励、课程」这四件事怎么设。这几步没人手把手讲,网上教程一上来就是公式。这篇按顺序做,每一步都有可验证的结果,做不出来就是某一步错了,不用猜。
开工前
| 需要什么 | 版本 / 说明 |
|---|---|
| Python 3.10+ | 建议用 venv 隔离 |
| mujoco + gymnasium | 物理引擎与接口 |
| gymnasium-robotics | Fetch 系列任务 |
| stable-baselines3 | SAC + HER 实现 |
目录
- 装环境:四行,别多装
- 先看环境:不训练,先让它动
- 理解这个任务:为什么必须用 HER
- 第一轮训练:Reach,40 分钟到 95%
- 看懂曲线:四种失败的样子
- 第二轮:改奖励,让它「轻一点」
- 第三轮:抓取任务,从 0 到 60%
- 回放:用代码证明它真的会了
- 换成自己的模型:把 MJCF 接进来
- 上真机前必须补的三件事
装环境:四行,别多装
不要一上来装 Isaac 或 CUDA 全家桶。这个任务在 CPU 上 40 分钟能出结果,装了 GPU 栈只会增加失败点。
python3 -m venv ~/rl && source ~/rl/bin/activate
pip install --upgrade pip
pip install "mujoco>=3.1" "gymnasium>=1.0" gymnasium-robotics \
"stable-baselines3>=2.3" tensorboard
python -c "import mujoco, gymnasium, gymnasium_robotics, stable_baselines3 as sb3; print(mujoco.__version__, sb3.__version__)"看到这个就算过
打印出版本号,无 ImportError。
卡住了
| 症状 | 多半是这个原因 | 怎么办 |
|---|---|---|
| `gymnasium_robotics` 导入报缺少 `mujoco` | 装顺序或版本冲突 | 先装 mujoco 再装 gymnasium-robotics;Python 用 3.10/3.11 |
| Fetch 环境 `ModuleNotFoundError` | 新版本要显式注册 | 加 `gym.register_envs(gymnasium_robotics)`,见下一步 |
先看环境:不训练,先让它动
任何 RL 项目第一步都是把环境跑起来看一眼。用随机动作跑 200 步,观察:动作空间是什么、观测里有哪些 key、奖励怎么给。看不懂这几件事,调参全是盲调。
cat > ~/check_env.py <<'EOF'
import gymnasium as gym, gymnasium_robotics, numpy as np
gym.register_envs(gymnasium_robotics)
env = gym.make("FetchReach-v3", render_mode="human")
obs, info = env.reset(seed=0)
print("obs keys:", list(obs.keys()))
print("obs dim:", {k: v.shape for k, v in obs.items()})
print("act dim:", env.action_space.shape, env.action_space.low, env.action_space.high)
for i in range(200):
obs, r, term, trunc, info = env.step(env.action_space.sample())
if i % 50 == 0:
print(i, "reward", round(r, 3), "is_success", info.get("is_success"))
env.close()
EOF
python ~/check_env.py看到这个就算过
弹出窗口,机械臂乱动;打印 observation/achieved_goal/desired_goal 三个 key,动作维度 4,range 是 ±1。
卡住了
| 症状 | 多半是这个原因 | 怎么办 |
|---|---|---|
| 窗口不弹 | 无显示器或没装 GL 库 | `export MUJOCO_GL=egl` 或在有桌面的机器上跑;训练阶段可去掉 render_mode |
| obs 是数组不是 dict | 用了 FetchReach-v3 之外的旧版环境名 | 环境名用 `-v3`,并且必须 register_envs |
理解这个任务:为什么必须用 HER
抓取任务的奖励是稀疏的:只有碰到目标那一瞬间才给 1,其余全 0。随机探索碰不到,普通 SAC 学一万年也学不到。HER(Hindsight Experience Replay)把「失败的经验」改写成「达成了另一个目标」的经验——这是机器人力控任务的标准解法。
# 不用敲代码,读这段就够(对应 SB3 的 HerReplayBuffer)
# 采到一条轨迹:目标 G,实际到达 G'
# 原始奖励:0(没到 G)
# HER 改写:把目标换成 G',这条轨迹就变成「成功」样本,奖励 1
# 于是每一万条失败样本,都能变成几万条成功样本看到这个就算过
能用自己的话说清:稀疏奖励 + HER = 把失败重标注成成功,从而让梯度有东西可学。
卡住了
| 症状 | 多半是这个原因 | 怎么办 |
|---|---|---|
| 训练几百轮成功率还是 0 | 没用 HER,或 n_sampled_goal 太小 | SB3 里必须显式传 replay_buffer_class=HerReplayBuffer |
第一轮训练:Reach,40 分钟到 95%
先训最简单的 Reach:只要求末端够到目标点。它收敛快,能验证整条管线(环境、HER、日志、保存)全部正常。这一步不通,不要往下走。
cat > ~/train_reach.py <<'EOF'
import gymnasium as gym, gymnasium_robotics
from stable_baselines3 import SAC
from stable_baselines3.her import HerReplayBuffer
from stable_baselines3.common.callbacks import EvalCallback
gym.register_envs(gymnasium_robotics)
env = gym.make("FetchReach-v3", max_episode_steps=50)
eval_env = gym.make("FetchReach-v3", max_episode_steps=50)
model = SAC(
"MultiInputPolicy", env,
replay_buffer_class=HerReplayBuffer,
replay_buffer_kwargs=dict(n_sampled_goal=4, goal_selection_strategy="future"),
learning_rate=1e-3, buffer_size=1_000_000,
batch_size=256, gamma=0.95, tau=0.05,
train_freq=1, gradient_steps=-1,
verbose=1, tensorboard_log="./tb",
)
model.learn(total_timesteps=200_000,
callback=EvalCallback(eval_env, n_eval_episodes=20,
eval_freq=10_000, best_model_save_path="./best"))
model.save("sac_reach")
EOF
python ~/train_reach.py
tensorboard --logdir ./tb --port 6006看到这个就算过
TensorBoard 里 eval/success_rate 从 0 爬到 0.9 以上;控制台 rollout/ep_rew_mean 明显上升。
卡住了
| 症状 | 多半是这个原因 | 怎么办 |
|---|---|---|
| loss 一直很大、成功率不涨 | gamma 用了默认 0.99 但 episode 只有 50 步 | 抓取任务 gamma 用 0.95,压短信用分配 |
| 训练速度慢到 1 小时 2 万步 | CPU 线程抢核 | `OMP_NUM_THREADS=1 python train_reach.py`,单环境时反而更快 |
| HER 报 `not enough transitions` | buffer 太小或 batch 太大 | buffer_size 至少 1e5;n_sampled_goal=4 时 buffer 起步要 1e4 以上 |
看懂曲线:四种失败的样子
训练最花钱的是「不知道哪里错了」。这四种形状对应四类原因,先认形状,再改参数。
# 形状 1:成功率 0 且 ep_len 一直 50(跑满)→ 探索不足或奖励太稀疏
# 形状 2:成功率涨到 0.5 又掉回 0.1 → 学习率过大 / buffer 被新数据冲掉
# 形状 3:成功率 0.9 但 eval 只有 0.3 → 过拟合到训练初始分布
# 形状 4:loss 正常但 action 饱和到 ±1 → 动作缩放不当看到这个就算过
能对着自己那张 TensorBoard 图指出属于哪一种,并说出要改哪个参数。
卡住了
| 症状 | 多半是这个原因 | 怎么办 |
|---|---|---|
| 曲线上下大幅震荡 | batch_size 太小 + 学习率太大 | batch 256、lr 1e-3 是稳的起点;别一开始就调网络大小 |
第二轮:改奖励,让它「轻一点」
Reach 会训出一个「猛冲」的策略:能到但抖。工程上必须加动作平滑惩罚,否则真机上电机电流会打保护。用 Wrapper 改奖励,不改环境本体。
cat > ~/wrappers.py <<'EOF'
import gymnasium as gym
class SmoothReward(gym.Wrapper):
"""在原始奖励上加动作变化惩罚"""
def __init__(self, env, coef=0.05):
super().__init__(env)
self.coef = coef
self.prev = None
def reset(self, **kw):
self.prev = None
return self.env.reset(**kw)
def step(self, action):
obs, r, term, trunc, info = self.env.step(action)
if self.prev is not None:
r -= self.coef * float(((action - self.prev) ** 2).sum())
self.prev = action.copy()
return obs, r, term, trunc, info
EOF
# 训练时包一层:env = SmoothReward(gym.make("FetchReach-v3"), coef=0.05)看到这个就算过
同样 20 万步,成功率仍在 0.9 以上,但录下来的动作明显更平顺(用 play 脚本对比看)。
卡住了
| 症状 | 多半是这个原因 | 怎么办 |
|---|---|---|
| 成功率掉到 0.5 | coef 太大,把主奖励压住了 | coef 从 0.01 起,按 2 倍往上试,不要超过 0.1 |
第三轮:抓取任务,从 0 到 60%
换成 FetchPickAndPlace。它要「够到 → 抓住 → 抬起 → 移到目标」,同一条轨迹里包含四个子技能。直接训容易卡在 0,用课程:先放宽目标范围,再收紧。
cat > ~/train_pick.py <<'EOF'
import gymnasium as gym, gymnasium_robotics, numpy as np
from stable_baselines3 import SAC
from stable_baselines3.her import HerReplayBuffer
from stable_baselines3.common.callbacks import EvalCallback
gym.register_envs(gymnasium_robotics)
def make():
return gym.make("FetchPickAndPlace-v3", max_episode_steps=50)
env, eval_env = make(), make()
model = SAC(
"MultiInputPolicy", env,
replay_buffer_class=HerReplayBuffer,
replay_buffer_kwargs=dict(n_sampled_goal=4, goal_selection_strategy="future"),
learning_rate=1e-3, buffer_size=1_000_000, batch_size=256,
gamma=0.95, tau=0.05, train_freq=1, gradient_steps=1,
policy_kwargs=dict(net_arch=[256, 256, 256]),
verbose=1, tensorboard_log="./tb_pick",
)
model.learn(total_timesteps=1_500_000,
callback=EvalCallback(eval_env, n_eval_episodes=20,
eval_freq=25_000, best_model_save_path="./best_pick"))
model.save("sac_pick")
EOF
OMP_NUM_THREADS=1 python ~/train_pick.py看到这个就算过
1.5M 步后 eval/success_rate 稳定在 0.6 以上(CPU 约 8–12 小时;有 GPU 更快,但 SAC 在 CPU 上也够)。
卡住了
| 症状 | 多半是这个原因 | 怎么办 |
|---|---|---|
| 前 50 万步一直是 0 | 探索不够:动作噪声太小 | SAC 默认 ent_coef='auto',若仍为 0 可临时把 target_entropy 调高,或先在 Reach 上热身再用其权重初始化 |
| 成功率 0.3 上下卡住 | 网络太小或 HER 采样策略单一 | n_sampled_goal 提到 8,goal_selection_strategy 用 future,net_arch 加到 [256,256,256] |
回放:用代码证明它真的会了
训练完必须能复现。加载 best model,跑 100 个 episode,统计成功率,并录一段视频。不要相信训练日志里的数字。
cat > ~/eval_pick.py <<'EOF'
import gymnasium as gym, gymnasium_robotics, numpy as np
from stable_baselines3 import SAC
gym.register_envs(gymnasium_robotics)
env = gym.make("FetchPickAndPlace-v3", max_episode_steps=50, render_mode="rgb_array")
model = SAC.load("./best_pick/best_model", env=env)
succ, frames = 0, []
for ep in range(100):
obs, _ = env.reset(seed=1000 + ep)
done = False
while not done:
act, _ = model.predict(obs, deterministic=True)
obs, r, term, trunc, info = env.step(act)
done = term or trunc
if ep == 0:
frames.append(env.render())
succ += int(info.get("is_success", 0))
print("success rate:", succ / 100)
import imageio
imageio.mimsave("pick.gif", frames, fps=30)
EOF
python ~/eval_pick.py看到这个就算过
打印的 success rate 与训练日志里 eval 的数字接近(±0.1 以内),pick.gif 能看到完整的抓起与放置动作。
卡住了
| 症状 | 多半是这个原因 | 怎么办 |
|---|---|---|
| 评测 0.6、视频里却失败 | seed 分布不同或 deterministic 行为差异 | 对比同一批 seed 下 stochastic/deterministic 的成功率,差异大说明策略在边界上 |
| gif 太大 | 帧数过多 | 每 2 帧取一张,或只录最后 50 帧 |
换成自己的模型:把 MJCF 接进来
Fetch 是别人的模型,能跑通不代表能干活。换自己的 MJCF 时只有三件事要改:动作维度、观测拼装、目标怎么定义。奖励沿用「负距离 + 成功给 1」。
cat > ~/my_env.py <<'EOF'
import gymnasium as gym, mujoco, numpy as np
class MyArmEnv(gym.Env):
def __init__(self, xml="arm6.xml"):
self.model = mujoco.MjModel.from_xml_path(xml)
self.data = mujoco.MjData(self.model)
self.n = self.model.nu # 动作维度 = 执行器数
self.goal = np.zeros(3)
self.observation_space = gym.spaces.Dict({
"observation": gym.spaces.Box(-np.inf, np.inf, (self.n * 2 + 3,), np.float32),
"achieved_goal": gym.spaces.Box(-np.inf, np.inf, (3,), np.float32),
"desired_goal": gym.spaces.Box(-np.inf, np.inf, (3,), np.float32),
})
self.action_space = gym.spaces.Box(-1, 1, (self.n,), np.float32)
self.site = self.model.site("tool0").id
def _obs(self):
q = self.data.qpos[:self.n]; dq = self.data.qvel[:self.n]
p = self.data.site_xpos[self.site]
return {"observation": np.concatenate([q, dq, p]).astype(np.float32),
"achieved_goal": p.astype(np.float32),
"desired_goal": self.goal.astype(np.float32)}
def reset(self, seed=None, options=None):
super().reset(seed=seed)
mujoco.mj_resetData(self.model, self.data)
self.goal = self.np_random.uniform(-0.1, 0.1, 3) + np.array([0.4, 0.0, 0.3])
for _ in range(50):
mujoco.mj_step(self.model, self.data)
return self._obs(), {}
def step(self, action):
self.data.ctrl[:] = action * 0.5 # 动作缩放:±1 → ±0.5 rad
for _ in range(20): # 每个 RL step 跑 20 个物理步
mujoco.mj_step(self.model, self.data)
obs = self._obs()
d = np.linalg.norm(obs["achieved_goal"] - self.goal)
r = -float(d) + (1.0 if d < 0.03 else 0.0)
return obs, r, False, d < 0.02, {"is_success": d < 0.03}
EOF
# 在 XML 里必须有 <site name="tool0"/> 与数量匹配的 actuator看到这个就算过
自己的环境能被 SB3 用同样的代码训练(MultiInputPolicy + HER),且 reset 后末端位置在合理范围内。
卡住了
| 症状 | 多半是这个原因 | 怎么办 |
|---|---|---|
| SB3 报 `Dict space` 不匹配 | key 名字必须是 observation/achieved_goal/desired_goal | 改名,不要自创 key |
| 训练不收敛 | 动作缩放没做,±1 直接当力矩/位置 | 先缩放到物理量程,再调 coef;环境里打印一次 qpos 看是否打限位 |
上真机前必须补的三件事
仿真训练的策略直接上真机,成功率通常掉一半以上。这三件事按性价比排序,做完再看还剩多少差距。
# 1) 域随机化:质量 ±20%、摩擦 0.5–1.5 倍、执行器增益 ±30%、观测延迟 0–20 ms
# 2) 观测对齐:真机的关节角有编码器噪声与零点偏差,仿真里必须加同样的噪声
# 3) 动作限幅与滤波:策略输出前加一阶低通,截止频率按你的控制频率算(1 kHz 时 20–30 Hz)看到这个就算过
在加完随机化之后重新训练,仿真成功率会掉 10–20%,但真机上掉的幅度明显变小——这才是对的方向。
卡住了
| 症状 | 多半是这个原因 | 怎么办 |
|---|---|---|
| 随机化后仿真成功率直接崩 | 范围给太大 | 一次只随机化一项,按敏感度排序加;摩擦与延迟优先 |
验收清单
不看界面、不翻聊天记录,能独立完成下面这几条,这篇教程才算真的过了。
- 能不看代码说出 SAC 里 gamma、tau、train_freq 各改什么
- 能解释为什么要用 HER——用「失败样本重标注」的说法讲清楚
- 能把自己的一台臂接进这套环境并训出 >50% 的够到成功率