机器人入行指南
知识地图/工具与仿真/部署运行时与边缘推理

工具与仿真 · G10

部署运行时与边缘推理

工程化 硬核 系统 约 30 小时

训练在 A100,跑在 Orin。中间隔着量化、算子、内存与延迟预算。这一层决定 demo 能不能变成产品——也是「算法工程师」和「能交付的算法工程师」的分界。

曝光 + 传输ms30 Hz 相机一帧 33 ms预处理msresize + 归一化推理 INT8msOrin 30 W后处理 + 通信msD2H + 话题发布端到端延迟(毫秒)
只量推理是自欺:决定能不能上机的是整条链的 P99

课程正文 · 人话版

部署运行时是把训练好的模型塞进真机:TensorRT/ONNX Runtime/量化/调度。训练时的 99% 精度到真机只剩预算问题:多少毫秒一帧、多少瓦、多少内存。

量化:用精度换速度的汇率

看动图:权重分布被「台阶化」——INT8 只有 256 个台阶,误差 ~0.4%;INT4 更粗但更快。机器人推理的默认档是 INT8:精度掉点通常 <1%,速度 2–3 倍。

量化的两种姿势:PTQ(训完直接量化,快但可能掉点)和 QAT(训练中模拟量化,精度好但费事)。部署链路:导出 ONNX → TensorRT/边缘推理引擎吃 ONNX → 输出 INT8 引擎文件。

动图 · 拖一拖,亲眼看

推理预算:延迟账怎么算

50Hz 控制环里留给感知的只有几毫秒——推理预算是硬约束。账目三栏:模型计算量(FLOPs)、内存带宽(访存常是瓶颈,E8 提过)、预处理/后处理(CPU 侧常被忽略的大头)。

实测永远优先:同一模型在 Orin 上 FP32/INT8 各跑一遍 benchmark,数字直接决定选型。别信宣传的 TOPS——D8 讲过有效算力要打折。

调度:推理和控制怎么共存

感知推理(几十 ms)和实时控制(1kHz)抢 CPU:感知丢到大核异步跑、控制绑小核(D8 的分层);推理进程降优先级、控制进程 SCHED_FIFO(D4)。GPU 共享冲突:控制环尽量不用 GPU,视觉链独占。

内存管理:推理引擎预分配 workspace;图像零拷贝进 GPU(DMA buf);交换分区关闭(D4 的 mlockall)。三件做完,边缘推理的延迟抖动能压到 5% 以内。

学到什么程度

能走通「ONNX 导出→TensorRT INT8→benchmark」全链路;能给推理进程做延迟分布测试(p50/p99);能设计感知与控制共存的调度方案。这三件是从「会训模型」到「会上机器人」的分界线。

三道题,测你真懂了

1. 机器人推理的默认量化档位是?

  • AFP16
  • BINT8(速度 2–3×,掉点 <1%)
  • CINT2
看答案

B。INT8 是精度/速度的甜点位。掉点超标再回 FP16 或上 QAT。

2. 边缘推理延迟的隐藏大头常是?

  • A矩阵乘法
  • B模型下载
  • CCPU 侧预处理/后处理
看答案

C。解码、resize、NMS 在 CPU 上跑,常占一半延迟。量化只省了 GPU 侧。

3. 感知推理与实时控制共存的关键是?

  • A分层调度:控制实时优先级绑核,感知异步降优先级
  • B都绑大核
  • C禁用感知
看答案

A。D8 的快慢分离+D4 的调度策略。GPU 独占给视觉,控制不用 GPU。

在本站继续深入

正文讲完。下面是这个领域的完整大纲、深度要求与常见错误——查漏和面试准备时用。

要学什么

这个领域的主流软件

软件 / 库是什么什么时候用优先级
TensorRTNVIDIA 平台的最快推理路径Jetson / 独显必装
ONNX Runtime跨平台推理,部署简单非 NVIDIA 平台或快速验证推荐
Jetson Orin机器人常用的边缘算力平台整机功耗 <60W 的场合硬件
Triton / DeepStream服务化推理与视频流水线多模型、多路相机进阶

四条路线需要多深

算法精通
系统软件精通
嵌入式电控用过
机械结构不需要

「精通」= 能从零推导 / 能手写实现 / 能判断别人的方案对不对;「用过」= 能调起来、能改参数;「知道」= 能听懂、能提问。

怎么算学会了

把一个策略模型导出、量化并在目标硬件跑到设定频率,给出端到端延迟分解表(每段 ms 与占比);能定位量化掉点发生在哪一层。

常见错误

前置