工具与仿真 · G9
训练框架与数据管线
从「能跑 demo」到「能训出策略」,中间隔着一条管线:环境、并行、日志、checkpoint、数据格式。管线不通,再多算力也只是在烧电。
课程正文 · 人话版
训练框架与数据管线是「模型学习的一切后勤」:数据怎么进 GPU、多卡怎么并行、实验怎么追踪。训练慢或结果难复现,九成是这层的问题。
GPU 利用率:数据管线的体检指标
看动图:单线程喂数据时 GPU 75% 的时间在等饭;加 DataLoader worker 到 3–4 个,利用率冲上 90%+;再往上边际收益归零(GPU 满了)。训练慢第一眼就看这个指标。
常见瓶颈排行:磁盘读(换 NVMe/预加载内存)、解码(JPEG 解码是 CPU 大户,换更高效格式)、预处理在主线程(挪进 worker)、batch 太小。
动图 · 拖一拖,亲眼看
分布式训练:数据并行为主
多卡训练默认数据并行:每卡一份模型副本,各吃不同数据,梯度同步平均。DDP(PyTorch)几乎零配置。机器人 RL 的并行不同:环境并行(G5 的几千仿真)+ 数据并行叠加。
混合精度(FP16/BF16)是白送的加速:显存减半、速度翻倍,配合 GradScaler 防数值下溢。现在训练不开混合精度等于白花钱。
实验追踪与可复现
实验追踪三件套:配置快照(训练前的所有超参)、代码版本(git commit)、指标曲线(loss/lr/success rate)。工具随意(wandb/tensorboard/csv),纪律必须有——「上周那个好结果是哪组参数」是每个团队都经历过的惨案。
可复现的底线:固定种子(数据顺序/初始化/仿真)、保存 checkpoint(每 N 步)、记录环境(库版本)。机器人 RL 特有:仿真版本也要记录——MuJoCo 升级一个版本,策略可能就废了。
学到什么程度
能诊断一次「训练慢」(GPU 利用率→瓶颈定位→修复);能搭 DDP 双卡训练;能建立团队的实验追踪纪律。做到这些,训练框架对你就是透明的。
三道题,测你真懂了
1. 训练慢、GPU 利用率 30%,先查?
- A数据管线瓶颈(IO/解码/预处理)
- B学习率
- C批大小
看答案
A。GPU 在饿肚子。加 worker、换 NVMe、挪预处理进 worker 是三板斧。
2. 多卡训练的默认并行方式是?
- A模型并行
- B流水线并行
- C数据并行(DDP)
看答案
C。模型放得下就 DDP。模型并行是超大模型才需要的选择。
3. 机器人 RL 实验可复现的特有要求是?
- A关闭混合精度
- B用更大学习率
- C记录仿真器版本
看答案
C。MuJoCo/Isaac 版本变化会改物理行为。环境也是实验配置的一部分。
在本站继续深入
正文讲完。下面是这个领域的完整大纲、深度要求与常见错误——查漏和面试准备时用。
要学什么
- PyTorch 够用的部分:autograd、device、DataLoader、混合精度、固定随机种子
- RL 库分工:Stable-Baselines3(单机入门、实现干净)、rsl_rl(Isaac Lab 默认 PPO)、SKRL、CleanRL(用来读代码而不是跑实验)
- 并行:向量化环境(SubprocVecEnv)、GPU 并行(Isaac / MJX)、种子与同步策略;并行数与环境步数的换算
- 实验记录:wandb / tensorboard 该记什么——回报、成功率、episode 长度、梯度范数、熵;只记回报会看错
- 数据格式:LeRobotDataset(社区主流)、HDF5(ALOHA/ACT 系)、RLDS/TFDS、rosbag → 训练集的转换
- 模仿学习管线:遥操作采集 → 清洗(去掉失败与静止段)→ 训练 ACT / Diffusion Policy → 真机部署
这个领域的主流软件
| 软件 / 库 | 是什么 | 什么时候用 | 优先级 |
|---|---|---|---|
| PyTorch | 训练与推理的基础 | 全部 | 必装 |
| Stable-Baselines3 | PPO/SAC/TD3 的干净实现 | 单机入门、快速对照 | 必装 |
| rsl_rl | Isaac Lab 的 PPO,腿足标配 | 大规模并行训练 | 推荐 |
| LeRobot | 数据集格式 + 策略库 + 训练脚本(Hugging Face) | 模仿学习从采集到部署 | 推荐 |
| wandb | 实验跟踪与对比 | 超过三次实验就必须用 | 推荐 |
四条路线需要多深
「精通」= 能从零推导 / 能手写实现 / 能判断别人的方案对不对;「用过」= 能调起来、能改参数;「知道」= 能听懂、能提问。
怎么算学会了
端到端跑通一次:采集 50 条示教 → 训一个 ACT/DP → 仿真里复现 >60% 成功率,全过程有可复现的配置与日志(种子、超参、数据版本都写下来)。
常见错误
- 只看平均回报:策略学会「原地不动也不掉分」,成功率 0 但曲线很漂亮
- 训练集和验证集用同一批随机种子与同一条轨迹,指标好得离谱,上真机全崩
- 数据集里 80% 是失败示教(人也没抓准),模型非常忠实地学会了失败