机器人入行指南
实践/手把手/从零训出一个抓取策略:MuJoCo + SAC + HER

手把手 3 / 4

从零训出一个抓取策略:MuJoCo + SAC + HER

先让机器臂够到目标,再学会抓起来。全程一条命令跑训练,约 5 小时

约 5–6 h10 步会 Python、装过 pip 包;RL 概念可以为零

数学:导数与概率(数学桥 T2/T4)编程:会 Python 与 pip硬件:普通笔记本可跑(慢),GPU 更快

做完这件事,你手上会有

同一套代码跑出两个结果:够到(Reach)成功率 95% 以上,抓取(PickAndPlace)成功率 60% 以上;能解释每个超参在改什么。

机器人强化学习真正难的不是算法,是「环境、动作空间、奖励、课程」这四件事怎么设。这几步没人手把手讲,网上教程一上来就是公式。这篇按顺序做,每一步都有可验证的结果,做不出来就是某一步错了,不用猜。

开工前

需要什么版本 / 说明
Python 3.10+建议用 venv 隔离
mujoco + gymnasium物理引擎与接口
gymnasium-roboticsFetch 系列任务
stable-baselines3SAC + HER 实现

目录

  1. 装环境:四行,别多装
  2. 先看环境:不训练,先让它动
  3. 理解这个任务:为什么必须用 HER
  4. 第一轮训练:Reach,40 分钟到 95%
  5. 看懂曲线:四种失败的样子
  6. 第二轮:改奖励,让它「轻一点」
  7. 第三轮:抓取任务,从 0 到 60%
  8. 回放:用代码证明它真的会了
  9. 换成自己的模型:把 MJCF 接进来
  10. 上真机前必须补的三件事
策略网络观测 → 动作分布采样并行环境 rollout奖励接触 + 举起 + 稀疏项PPO 更新clip + GAERL 抓取10 步训完一个抓取策略奖励设计占成败的一半:本篇给的是可直接复制的奖励函数与调参顺序
01

装环境:四行,别多装

不要一上来装 Isaac 或 CUDA 全家桶。这个任务在 CPU 上 40 分钟能出结果,装了 GPU 栈只会增加失败点。

终端 / 代码
python3 -m venv ~/rl && source ~/rl/bin/activate
pip install --upgrade pip
pip install "mujoco>=3.1" "gymnasium>=1.0" gymnasium-robotics \
  "stable-baselines3>=2.3" tensorboard
python -c "import mujoco, gymnasium, gymnasium_robotics, stable_baselines3 as sb3; print(mujoco.__version__, sb3.__version__)"

看到这个就算过

打印出版本号,无 ImportError。

卡住了

症状多半是这个原因怎么办
`gymnasium_robotics` 导入报缺少 `mujoco`装顺序或版本冲突先装 mujoco 再装 gymnasium-robotics;Python 用 3.10/3.11
Fetch 环境 `ModuleNotFoundError`新版本要显式注册加 `gym.register_envs(gymnasium_robotics)`,见下一步
02

先看环境:不训练,先让它动

任何 RL 项目第一步都是把环境跑起来看一眼。用随机动作跑 200 步,观察:动作空间是什么、观测里有哪些 key、奖励怎么给。看不懂这几件事,调参全是盲调。

终端 / 代码
cat > ~/check_env.py <<'EOF'
import gymnasium as gym, gymnasium_robotics, numpy as np

gym.register_envs(gymnasium_robotics)
env = gym.make("FetchReach-v3", render_mode="human")
obs, info = env.reset(seed=0)
print("obs keys:", list(obs.keys()))
print("obs dim:", {k: v.shape for k, v in obs.items()})
print("act dim:", env.action_space.shape, env.action_space.low, env.action_space.high)

for i in range(200):
    obs, r, term, trunc, info = env.step(env.action_space.sample())
    if i % 50 == 0:
        print(i, "reward", round(r, 3), "is_success", info.get("is_success"))
env.close()
EOF
python ~/check_env.py

看到这个就算过

弹出窗口,机械臂乱动;打印 observation/achieved_goal/desired_goal 三个 key,动作维度 4,range 是 ±1。

卡住了

症状多半是这个原因怎么办
窗口不弹无显示器或没装 GL 库`export MUJOCO_GL=egl` 或在有桌面的机器上跑;训练阶段可去掉 render_mode
obs 是数组不是 dict用了 FetchReach-v3 之外的旧版环境名环境名用 `-v3`,并且必须 register_envs
03

理解这个任务:为什么必须用 HER

抓取任务的奖励是稀疏的:只有碰到目标那一瞬间才给 1,其余全 0。随机探索碰不到,普通 SAC 学一万年也学不到。HER(Hindsight Experience Replay)把「失败的经验」改写成「达成了另一个目标」的经验——这是机器人力控任务的标准解法。

终端 / 代码
# 不用敲代码,读这段就够(对应 SB3 的 HerReplayBuffer)
# 采到一条轨迹:目标 G,实际到达 G'
# 原始奖励:0(没到 G)
# HER 改写:把目标换成 G',这条轨迹就变成「成功」样本,奖励 1
# 于是每一万条失败样本,都能变成几万条成功样本

看到这个就算过

能用自己的话说清:稀疏奖励 + HER = 把失败重标注成成功,从而让梯度有东西可学。

卡住了

症状多半是这个原因怎么办
训练几百轮成功率还是 0没用 HER,或 n_sampled_goal 太小SB3 里必须显式传 replay_buffer_class=HerReplayBuffer
04

第一轮训练:Reach,40 分钟到 95%

先训最简单的 Reach:只要求末端够到目标点。它收敛快,能验证整条管线(环境、HER、日志、保存)全部正常。这一步不通,不要往下走。

终端 / 代码
cat > ~/train_reach.py <<'EOF'
import gymnasium as gym, gymnasium_robotics
from stable_baselines3 import SAC
from stable_baselines3.her import HerReplayBuffer
from stable_baselines3.common.callbacks import EvalCallback

gym.register_envs(gymnasium_robotics)
env = gym.make("FetchReach-v3", max_episode_steps=50)
eval_env = gym.make("FetchReach-v3", max_episode_steps=50)

model = SAC(
    "MultiInputPolicy", env,
    replay_buffer_class=HerReplayBuffer,
    replay_buffer_kwargs=dict(n_sampled_goal=4, goal_selection_strategy="future"),
    learning_rate=1e-3, buffer_size=1_000_000,
    batch_size=256, gamma=0.95, tau=0.05,
    train_freq=1, gradient_steps=-1,
    verbose=1, tensorboard_log="./tb",
)
model.learn(total_timesteps=200_000,
            callback=EvalCallback(eval_env, n_eval_episodes=20,
                                  eval_freq=10_000, best_model_save_path="./best"))
model.save("sac_reach")
EOF
python ~/train_reach.py
tensorboard --logdir ./tb --port 6006

看到这个就算过

TensorBoard 里 eval/success_rate 从 0 爬到 0.9 以上;控制台 rollout/ep_rew_mean 明显上升。

卡住了

症状多半是这个原因怎么办
loss 一直很大、成功率不涨gamma 用了默认 0.99 但 episode 只有 50 步抓取任务 gamma 用 0.95,压短信用分配
训练速度慢到 1 小时 2 万步CPU 线程抢核`OMP_NUM_THREADS=1 python train_reach.py`,单环境时反而更快
HER 报 `not enough transitions`buffer 太小或 batch 太大buffer_size 至少 1e5;n_sampled_goal=4 时 buffer 起步要 1e4 以上
05

看懂曲线:四种失败的样子

训练最花钱的是「不知道哪里错了」。这四种形状对应四类原因,先认形状,再改参数。

终端 / 代码
# 形状 1:成功率 0 且 ep_len 一直 50(跑满)→ 探索不足或奖励太稀疏
# 形状 2:成功率涨到 0.5 又掉回 0.1 → 学习率过大 / buffer 被新数据冲掉
# 形状 3:成功率 0.9 但 eval 只有 0.3 → 过拟合到训练初始分布
# 形状 4:loss 正常但 action 饱和到 ±1 → 动作缩放不当

看到这个就算过

能对着自己那张 TensorBoard 图指出属于哪一种,并说出要改哪个参数。

卡住了

症状多半是这个原因怎么办
曲线上下大幅震荡batch_size 太小 + 学习率太大batch 256、lr 1e-3 是稳的起点;别一开始就调网络大小
06

第二轮:改奖励,让它「轻一点」

Reach 会训出一个「猛冲」的策略:能到但抖。工程上必须加动作平滑惩罚,否则真机上电机电流会打保护。用 Wrapper 改奖励,不改环境本体。

终端 / 代码
cat > ~/wrappers.py <<'EOF'
import gymnasium as gym

class SmoothReward(gym.Wrapper):
    """在原始奖励上加动作变化惩罚"""
    def __init__(self, env, coef=0.05):
        super().__init__(env)
        self.coef = coef
        self.prev = None

    def reset(self, **kw):
        self.prev = None
        return self.env.reset(**kw)

    def step(self, action):
        obs, r, term, trunc, info = self.env.step(action)
        if self.prev is not None:
            r -= self.coef * float(((action - self.prev) ** 2).sum())
        self.prev = action.copy()
        return obs, r, term, trunc, info
EOF
# 训练时包一层:env = SmoothReward(gym.make("FetchReach-v3"), coef=0.05)

看到这个就算过

同样 20 万步,成功率仍在 0.9 以上,但录下来的动作明显更平顺(用 play 脚本对比看)。

卡住了

症状多半是这个原因怎么办
成功率掉到 0.5coef 太大,把主奖励压住了coef 从 0.01 起,按 2 倍往上试,不要超过 0.1
07

第三轮:抓取任务,从 0 到 60%

换成 FetchPickAndPlace。它要「够到 → 抓住 → 抬起 → 移到目标」,同一条轨迹里包含四个子技能。直接训容易卡在 0,用课程:先放宽目标范围,再收紧。

终端 / 代码
cat > ~/train_pick.py <<'EOF'
import gymnasium as gym, gymnasium_robotics, numpy as np
from stable_baselines3 import SAC
from stable_baselines3.her import HerReplayBuffer
from stable_baselines3.common.callbacks import EvalCallback

gym.register_envs(gymnasium_robotics)

def make():
    return gym.make("FetchPickAndPlace-v3", max_episode_steps=50)

env, eval_env = make(), make()
model = SAC(
    "MultiInputPolicy", env,
    replay_buffer_class=HerReplayBuffer,
    replay_buffer_kwargs=dict(n_sampled_goal=4, goal_selection_strategy="future"),
    learning_rate=1e-3, buffer_size=1_000_000, batch_size=256,
    gamma=0.95, tau=0.05, train_freq=1, gradient_steps=1,
    policy_kwargs=dict(net_arch=[256, 256, 256]),
    verbose=1, tensorboard_log="./tb_pick",
)
model.learn(total_timesteps=1_500_000,
            callback=EvalCallback(eval_env, n_eval_episodes=20,
                                  eval_freq=25_000, best_model_save_path="./best_pick"))
model.save("sac_pick")
EOF
OMP_NUM_THREADS=1 python ~/train_pick.py

看到这个就算过

1.5M 步后 eval/success_rate 稳定在 0.6 以上(CPU 约 8–12 小时;有 GPU 更快,但 SAC 在 CPU 上也够)。

卡住了

症状多半是这个原因怎么办
前 50 万步一直是 0探索不够:动作噪声太小SAC 默认 ent_coef='auto',若仍为 0 可临时把 target_entropy 调高,或先在 Reach 上热身再用其权重初始化
成功率 0.3 上下卡住网络太小或 HER 采样策略单一n_sampled_goal 提到 8,goal_selection_strategy 用 future,net_arch 加到 [256,256,256]
08

回放:用代码证明它真的会了

训练完必须能复现。加载 best model,跑 100 个 episode,统计成功率,并录一段视频。不要相信训练日志里的数字。

终端 / 代码
cat > ~/eval_pick.py <<'EOF'
import gymnasium as gym, gymnasium_robotics, numpy as np
from stable_baselines3 import SAC

gym.register_envs(gymnasium_robotics)
env = gym.make("FetchPickAndPlace-v3", max_episode_steps=50, render_mode="rgb_array")
model = SAC.load("./best_pick/best_model", env=env)

succ, frames = 0, []
for ep in range(100):
    obs, _ = env.reset(seed=1000 + ep)
    done = False
    while not done:
        act, _ = model.predict(obs, deterministic=True)
        obs, r, term, trunc, info = env.step(act)
        done = term or trunc
        if ep == 0:
            frames.append(env.render())
    succ += int(info.get("is_success", 0))
print("success rate:", succ / 100)

import imageio
imageio.mimsave("pick.gif", frames, fps=30)
EOF
python ~/eval_pick.py

看到这个就算过

打印的 success rate 与训练日志里 eval 的数字接近(±0.1 以内),pick.gif 能看到完整的抓起与放置动作。

卡住了

症状多半是这个原因怎么办
评测 0.6、视频里却失败seed 分布不同或 deterministic 行为差异对比同一批 seed 下 stochastic/deterministic 的成功率,差异大说明策略在边界上
gif 太大帧数过多每 2 帧取一张,或只录最后 50 帧
09

换成自己的模型:把 MJCF 接进来

Fetch 是别人的模型,能跑通不代表能干活。换自己的 MJCF 时只有三件事要改:动作维度、观测拼装、目标怎么定义。奖励沿用「负距离 + 成功给 1」。

终端 / 代码
cat > ~/my_env.py <<'EOF'
import gymnasium as gym, mujoco, numpy as np

class MyArmEnv(gym.Env):
    def __init__(self, xml="arm6.xml"):
        self.model = mujoco.MjModel.from_xml_path(xml)
        self.data = mujoco.MjData(self.model)
        self.n = self.model.nu                    # 动作维度 = 执行器数
        self.goal = np.zeros(3)
        self.observation_space = gym.spaces.Dict({
            "observation": gym.spaces.Box(-np.inf, np.inf, (self.n * 2 + 3,), np.float32),
            "achieved_goal": gym.spaces.Box(-np.inf, np.inf, (3,), np.float32),
            "desired_goal": gym.spaces.Box(-np.inf, np.inf, (3,), np.float32),
        })
        self.action_space = gym.spaces.Box(-1, 1, (self.n,), np.float32)
        self.site = self.model.site("tool0").id

    def _obs(self):
        q = self.data.qpos[:self.n]; dq = self.data.qvel[:self.n]
        p = self.data.site_xpos[self.site]
        return {"observation": np.concatenate([q, dq, p]).astype(np.float32),
                "achieved_goal": p.astype(np.float32),
                "desired_goal": self.goal.astype(np.float32)}

    def reset(self, seed=None, options=None):
        super().reset(seed=seed)
        mujoco.mj_resetData(self.model, self.data)
        self.goal = self.np_random.uniform(-0.1, 0.1, 3) + np.array([0.4, 0.0, 0.3])
        for _ in range(50):
            mujoco.mj_step(self.model, self.data)
        return self._obs(), {}

    def step(self, action):
        self.data.ctrl[:] = action * 0.5          # 动作缩放:±1 → ±0.5 rad
        for _ in range(20):                        # 每个 RL step 跑 20 个物理步
            mujoco.mj_step(self.model, self.data)
        obs = self._obs()
        d = np.linalg.norm(obs["achieved_goal"] - self.goal)
        r = -float(d) + (1.0 if d < 0.03 else 0.0)
        return obs, r, False, d < 0.02, {"is_success": d < 0.03}
EOF
# 在 XML 里必须有 <site name="tool0"/> 与数量匹配的 actuator

看到这个就算过

自己的环境能被 SB3 用同样的代码训练(MultiInputPolicy + HER),且 reset 后末端位置在合理范围内。

卡住了

症状多半是这个原因怎么办
SB3 报 `Dict space` 不匹配key 名字必须是 observation/achieved_goal/desired_goal改名,不要自创 key
训练不收敛动作缩放没做,±1 直接当力矩/位置先缩放到物理量程,再调 coef;环境里打印一次 qpos 看是否打限位
10

上真机前必须补的三件事

仿真训练的策略直接上真机,成功率通常掉一半以上。这三件事按性价比排序,做完再看还剩多少差距。

终端 / 代码
# 1) 域随机化:质量 ±20%、摩擦 0.5–1.5 倍、执行器增益 ±30%、观测延迟 0–20 ms
# 2) 观测对齐:真机的关节角有编码器噪声与零点偏差,仿真里必须加同样的噪声
# 3) 动作限幅与滤波:策略输出前加一阶低通,截止频率按你的控制频率算(1 kHz 时 20–30 Hz)

看到这个就算过

在加完随机化之后重新训练,仿真成功率会掉 10–20%,但真机上掉的幅度明显变小——这才是对的方向。

卡住了

症状多半是这个原因怎么办
随机化后仿真成功率直接崩范围给太大一次只随机化一项,按敏感度排序加;摩擦与延迟优先

验收清单

不看界面、不翻聊天记录,能独立完成下面这几条,这篇教程才算真的过了。

接着学

其他教程