感知与智能 · C7
模仿学习与 Diffusion Policy
操作类任务目前最实用的路线。不需要建精确模型,靠人采数据。瓶颈在数据,不在模型。
要学什么
- 行为克隆(BC)与 DAgger:分布漂移问题怎么缓解
- ACT 与 Diffusion Policy 的差别:确定性输出 vs 多模态输出
- 遥操作采数的规范:一致性、多样性、失败样本要不要
- 部署时的推理频率与迟滞,如何影响闭环稳定性
四条路线需要多深
算法精通
系统软件不需要
嵌入式电控不需要
机械结构不需要
「精通」= 能从零推导 / 能手写实现 / 能判断别人的方案对不对;「用过」= 能调起来、能改参数;「知道」= 能听懂、能提问。
怎么算学会了
能采一套自己的数据并训出策略,能给出成功率与失败模式分类,能解释为什么失败样本有价值。
常见错误
- 数据全由一个人采,策略只学会那个人的习惯,换人操作就失败
- 只采成功样本,遇到偏差无法恢复,一偏就崩