工具与仿真 · G10
部署运行时与边缘推理
训练在 A100,跑在 Orin。中间隔着量化、算子、内存与延迟预算。这一层决定 demo 能不能变成产品——也是「算法工程师」和「能交付的算法工程师」的分界。
课程正文 · 人话版
部署运行时是把训练好的模型塞进真机:TensorRT/ONNX Runtime/量化/调度。训练时的 99% 精度到真机只剩预算问题:多少毫秒一帧、多少瓦、多少内存。
量化:用精度换速度的汇率
看动图:权重分布被「台阶化」——INT8 只有 256 个台阶,误差 ~0.4%;INT4 更粗但更快。机器人推理的默认档是 INT8:精度掉点通常 <1%,速度 2–3 倍。
量化的两种姿势:PTQ(训完直接量化,快但可能掉点)和 QAT(训练中模拟量化,精度好但费事)。部署链路:导出 ONNX → TensorRT/边缘推理引擎吃 ONNX → 输出 INT8 引擎文件。
动图 · 拖一拖,亲眼看
推理预算:延迟账怎么算
50Hz 控制环里留给感知的只有几毫秒——推理预算是硬约束。账目三栏:模型计算量(FLOPs)、内存带宽(访存常是瓶颈,E8 提过)、预处理/后处理(CPU 侧常被忽略的大头)。
实测永远优先:同一模型在 Orin 上 FP32/INT8 各跑一遍 benchmark,数字直接决定选型。别信宣传的 TOPS——D8 讲过有效算力要打折。
调度:推理和控制怎么共存
感知推理(几十 ms)和实时控制(1kHz)抢 CPU:感知丢到大核异步跑、控制绑小核(D8 的分层);推理进程降优先级、控制进程 SCHED_FIFO(D4)。GPU 共享冲突:控制环尽量不用 GPU,视觉链独占。
内存管理:推理引擎预分配 workspace;图像零拷贝进 GPU(DMA buf);交换分区关闭(D4 的 mlockall)。三件做完,边缘推理的延迟抖动能压到 5% 以内。
学到什么程度
能走通「ONNX 导出→TensorRT INT8→benchmark」全链路;能给推理进程做延迟分布测试(p50/p99);能设计感知与控制共存的调度方案。这三件是从「会训模型」到「会上机器人」的分界线。
三道题,测你真懂了
1. 机器人推理的默认量化档位是?
- AFP16
- BINT8(速度 2–3×,掉点 <1%)
- CINT2
看答案
B。INT8 是精度/速度的甜点位。掉点超标再回 FP16 或上 QAT。
2. 边缘推理延迟的隐藏大头常是?
- A矩阵乘法
- B模型下载
- CCPU 侧预处理/后处理
看答案
C。解码、resize、NMS 在 CPU 上跑,常占一半延迟。量化只省了 GPU 侧。
3. 感知推理与实时控制共存的关键是?
- A分层调度:控制实时优先级绑核,感知异步降优先级
- B都绑大核
- C禁用感知
看答案
A。D8 的快慢分离+D4 的调度策略。GPU 独占给视觉,控制不用 GPU。
在本站继续深入
正文讲完。下面是这个领域的完整大纲、深度要求与常见错误——查漏和面试准备时用。
要学什么
- 导出:torch.onnx.export 的 opset 与动态轴;ONNX 通不了就导不出 TensorRT engine
- TensorRT:engine 与硬件/驱动绑定,序列化后加载;FP16 基本无损,INT8 要校准集与逐层敏感度分析
- 推理集成:C++ TensorRT 或 ONNX Runtime,GPU 内存零拷贝到 ROS 消息(避免 D2H→H2D 两次搬)
- 边缘平台:Jetson Orin 的功耗模式(15W/30W/MAXN)与锁频、x86 + 独显、RK3588 的算力边界
- 端到端延迟预算:采集曝光 + 传输 + 预处理 + 推理 + 后处理 + 通信,逐段量,别只量推理
- 工程化:模型版本号、灰度、回滚、现场可诊断(把每段耗时打进日志)
这个领域的主流软件
| 软件 / 库 | 是什么 | 什么时候用 | 优先级 |
|---|---|---|---|
| TensorRT | NVIDIA 平台的最快推理路径 | Jetson / 独显 | 必装 |
| ONNX Runtime | 跨平台推理,部署简单 | 非 NVIDIA 平台或快速验证 | 推荐 |
| Jetson Orin | 机器人常用的边缘算力平台 | 整机功耗 <60W 的场合 | 硬件 |
| Triton / DeepStream | 服务化推理与视频流水线 | 多模型、多路相机 | 进阶 |
四条路线需要多深
「精通」= 能从零推导 / 能手写实现 / 能判断别人的方案对不对;「用过」= 能调起来、能改参数;「知道」= 能听懂、能提问。
怎么算学会了
把一个策略模型导出、量化并在目标硬件跑到设定频率,给出端到端延迟分解表(每段 ms 与占比);能定位量化掉点发生在哪一层。
常见错误
- 在服务器上量 5ms,上 Orin 变 25ms——功耗模式是 15W,且没锁频
- INT8 量化后精度掉 40%,没做逐层分析,直接放弃量化;其实只有第一层敏感
- 每次启动都重新 build engine,现场演示光启动就等 40 秒