机器人入行指南
知识地图/工具与仿真/训练框架与数据管线

工具与仿真 · G9

训练框架与数据管线

专项 硬核 动手 约 35 小时

从「能跑 demo」到「能训出策略」,中间隔着一条管线:环境、并行、日志、checkpoint、数据格式。管线不通,再多算力也只是在烧电。

采集 50 条示教约 2 h清洗:删失败与静止段剩 70%训练 ACT / DP约 3 h仿真复现成功率 >60%
管线里每一步都要留证据:数据版本、随机种子、超参、成功率——否则好结果没法复制

课程正文 · 人话版

训练框架与数据管线是「模型学习的一切后勤」:数据怎么进 GPU、多卡怎么并行、实验怎么追踪。训练慢或结果难复现,九成是这层的问题。

GPU 利用率:数据管线的体检指标

看动图:单线程喂数据时 GPU 75% 的时间在等饭;加 DataLoader worker 到 3–4 个,利用率冲上 90%+;再往上边际收益归零(GPU 满了)。训练慢第一眼就看这个指标。

常见瓶颈排行:磁盘读(换 NVMe/预加载内存)、解码(JPEG 解码是 CPU 大户,换更高效格式)、预处理在主线程(挪进 worker)、batch 太小。

动图 · 拖一拖,亲眼看

分布式训练:数据并行为主

多卡训练默认数据并行:每卡一份模型副本,各吃不同数据,梯度同步平均。DDP(PyTorch)几乎零配置。机器人 RL 的并行不同:环境并行(G5 的几千仿真)+ 数据并行叠加。

混合精度(FP16/BF16)是白送的加速:显存减半、速度翻倍,配合 GradScaler 防数值下溢。现在训练不开混合精度等于白花钱。

实验追踪与可复现

实验追踪三件套:配置快照(训练前的所有超参)、代码版本(git commit)、指标曲线(loss/lr/success rate)。工具随意(wandb/tensorboard/csv),纪律必须有——「上周那个好结果是哪组参数」是每个团队都经历过的惨案。

可复现的底线:固定种子(数据顺序/初始化/仿真)、保存 checkpoint(每 N 步)、记录环境(库版本)。机器人 RL 特有:仿真版本也要记录——MuJoCo 升级一个版本,策略可能就废了。

学到什么程度

能诊断一次「训练慢」(GPU 利用率→瓶颈定位→修复);能搭 DDP 双卡训练;能建立团队的实验追踪纪律。做到这些,训练框架对你就是透明的。

三道题,测你真懂了

1. 训练慢、GPU 利用率 30%,先查?

  • A数据管线瓶颈(IO/解码/预处理)
  • B学习率
  • C批大小
看答案

A。GPU 在饿肚子。加 worker、换 NVMe、挪预处理进 worker 是三板斧。

2. 多卡训练的默认并行方式是?

  • A模型并行
  • B流水线并行
  • C数据并行(DDP)
看答案

C。模型放得下就 DDP。模型并行是超大模型才需要的选择。

3. 机器人 RL 实验可复现的特有要求是?

  • A关闭混合精度
  • B用更大学习率
  • C记录仿真器版本
看答案

C。MuJoCo/Isaac 版本变化会改物理行为。环境也是实验配置的一部分。

在本站继续深入

正文讲完。下面是这个领域的完整大纲、深度要求与常见错误——查漏和面试准备时用。

要学什么

这个领域的主流软件

软件 / 库是什么什么时候用优先级
PyTorch训练与推理的基础全部必装
Stable-Baselines3PPO/SAC/TD3 的干净实现单机入门、快速对照必装
rsl_rlIsaac Lab 的 PPO,腿足标配大规模并行训练推荐
LeRobot数据集格式 + 策略库 + 训练脚本(Hugging Face)模仿学习从采集到部署推荐
wandb实验跟踪与对比超过三次实验就必须用推荐

四条路线需要多深

算法精通
系统软件用过
嵌入式电控不需要
机械结构不需要

「精通」= 能从零推导 / 能手写实现 / 能判断别人的方案对不对;「用过」= 能调起来、能改参数;「知道」= 能听懂、能提问。

怎么算学会了

端到端跑通一次:采集 50 条示教 → 训一个 ACT/DP → 仿真里复现 >60% 成功率,全过程有可复现的配置与日志(种子、超参、数据版本都写下来)。

常见错误

前置