大模型深拆 · 部署与推理 · 20 分钟
部署与推理:1–10Hz 的大脑怎么落地
延迟预算表、频率解耦、五个优化手段、安全反射层——把「论文里 50Hz」翻译成「产线上能跑」的每一笔账。
剥掉热词的本质
部署阶段的问题从来不是「模型不够好」,是「模型的节奏对不上机器的节奏」。大脑 1–10Hz、小脑 100Hz、关节 1kHz,三层之间的每一笔延迟账都要有人管。这一页给的是 2026 年底可引用的真实数字表和五个优化手段——面试里能报出数字、产线上能对上预算,这页就够了。
延迟数字表:2026-11 实况
先看行业已经做到哪:| 系统 | 硬件 | 延迟 / 频率 | 口径 |
|---|---|---|---|
频率解耦:三层各跑各的钟
落地架构几乎千篇一律是三层钟:大脑(VLA,1–12Hz,出动作 chunk)→ 小脑/策略层(100–500Hz,chunk 内插值、平衡与柔顺控制)→ 关节/反射层(1kHz+,电流环、硬限位、急停——不经过任何模型)。Helix 的 S2+S1 和 GR00T 的 System 2/1 是同一原理的产品化:层间只传窄带宽信号(一条意图向量或一段 chunk),各层用自己的钟跑,互不阻塞。 工程上最容易算错的一笔:chunk 长度 × 执行频率 = 大脑的容错时间。50 步 chunk @ 200Hz 执行 = 250ms 才能纠一次错——抓快速滚动的物体这个预算不够,要么缩短 chunk 要么让小脑层做在线修正。这不是超参,是按任务定的安全设计。五个优化手段(按性价比排序)
- 动作 chunking + 异步推理:不改模型,架构级解耦,收益最大(SmolVLA 把异步推理当默认卖点)。
- 蒸馏:Consistency/步数蒸馏,流匹配 5 步 → 1 步,π0 蒸馏后到 50Hz——代价是需要蒸馏训练轮。
- FAST 频域 tokenization:离散 token 路线的标配补丁,token 序列缩短数倍(OpenVLA-OFT、π0.5 默认)。
- 量化:INT8/INT4 对 VLA 的动作质量损失目前报告不一,先在仿真评测上验证再上真机。
- 小模型+好数据:上海交大 0.9B 真机 90% 的口径说明——预算有限时,砍参数砍的是骨干,数据一条别砍。
| 算力档位 | 能跑什么 | 跑不动什么 |
|---|---|---|
安全部:这三件事不归模型管
<strong>急停回路、硬限位、过流保护在 MCU 硬件层实现</strong>——模型可以错,反射不能错。任何「端到端」话术都改变不了这一层必须独立存在。
<strong>动作空间滤波</strong>:模型输出的 chunk 先过工作空间/速度/力约束的滤波器再下发——模型说「一秒内移动 80 厘米」,滤波器说不。
<strong>模型超时降级</strong>:大脑卡死时小脑层要有保底行为(停住/回安全位),不能等。嵌入式同事的价值在大模型时代反而更高,原因就在这三条。