感知与智能 · C2
深度学习基础
感知、位姿估计、VLA 全部建立在它上面。但机器人岗位要的不是「会调包」,是能判断模型能不能上机。
要学什么
- 反向传播、损失函数、优化器:知道每个超参改了什么
- CNN 与 Transformer 的结构差异,以及为什么视觉大模型都转向 Transformer
- 训练/验证/测试划分、过拟合与数据泄漏的识别方法
- 部署侧:量化、蒸馏、ONNX/TensorRT 的基本概念与精度代价
四条路线需要多深
算法精通
系统软件不需要
嵌入式电控不需要
机械结构不需要
「精通」= 能从零推导 / 能手写实现 / 能判断别人的方案对不对;「用过」= 能调起来、能改参数;「知道」= 能听懂、能提问。
怎么算学会了
能独立训练一个小模型并解释每个超参的作用,能诊断过拟合与数据泄漏,能说清量化对精度的影响。
常见错误
- 同一段视频切帧分到训练集和测试集,指标虚高,上机原形毕露
- 只看 mAP,不看推理耗时与显存,模型在 Jetson 上跑不到 10Hz