大模型深拆 · VLA 解剖 · 25 分钟
把一个 VLA 拆开看
骨干、视觉编码、动作头、动作分块——四个部件讲清所有 VLA 的共同骨架,行业争论的全是「部件怎么接」。
剥掉热词的本质
所有 VLA 都是同一个思路:拿一个见过互联网的视觉语言模型当底座,再给它接一个「会出手」的动作头。骨架 2026 年已经收敛——争论和分差全在部件怎么接、动作头选哪条路线。看懂这四个部件,你就能把任何一篇新模型的新闻稿翻译成「它改了哪个部件」。
先看全景:四个部件
一个 VLA 从图像到关节指令,中间只有四步:视觉编码 → 语言骨干推理 → 动作头生成 → 动作分块执行。每一步都有几种做法,组合起来就是市面上的每一个模型。下表是本页的路线图,后面逐个拆。| 部件 | 干什么 | 主流做法 | 代表模型 |
|---|---|---|---|
部件一:为什么底座必须是 VLM
RT-2 之前,机器人学指令靠「指令模板 + 检索」。RT-2 证明了另一条路:让一个在互联网图文上预训练过的 VLM 直接输出动作,「把恐龙玩具拿过来」这种从没在机器人数据里出现过的指令也能执行——因为它认得恐龙玩具。这个「互联网先验」是 VLA 相对传统感知-规划栈的全部优势来源,也是为什么底座几乎没人从零训。 但底座不是越大越好。大脑层只被允许 1–10Hz(大小脑原理),一个 55B 的底座在机器人本体上的推理延迟就把它自己开除了。所以 2026 年的实际选型区间是 0.45B(SmolVLA)到 7B(OpenVLA):闭源旗舰(Gemini Robotics 2、Helix)参数未公开,但都遵循同一个约束——大脑必须给小脑让出延迟预算。这也是为什么「参数量」在 VLA 评测里不是越高越好的单调指标。部件二:视觉编码为什么要两个
OpenVLA 用了两个视觉编码器并联:DINOv2 负责空间关系(物体在哪、相对位姿——自监督特征对几何敏感),SigLIP 负责语义(这是什么、和指令里的词怎么对上——图文对齐特征)。单编码器的问题:图文对齐模型(CLIP/SigLIP 系)对「往左挪两厘米」这种空间细节不敏感,而纯自监督特征又对不上语言。两个都要。 这个设计被后续开源模型广泛继承(GR00T N1.6 的 Eagle 骨干、SmolVLA 的编码器选择都是同一逻辑的变体)。自己搭 VLA 时:如果你的任务对空间精度敏感(装配、插孔),双编码器里加重空间特征权重;如果以语义指令为主(家庭服务),语义侧更重要。部件三:动作头——2026 年的三条路线
这是 VLA 内部最大的分叉点,也是「读新闻稿时最该看的部件」。三条路线的本质区别:动作是连续的还是离散的、一次采样几步、力控精度保得住吗。| 路线 | 代表模型 | 怎么出动作 | 优点 | 结构性短板 |
|---|---|---|---|---|
部件四:动作分块——大脑慢、动作不能断
大脑 1–10Hz,机械臂关节要 100Hz 以上才平滑,缺口靠 chunk 补:模型一次预测未来 20–50 步动作(约 0.5–1 秒),控制器在这段里插值执行,期间大脑去算下一个 chunk。这同时解决了两个问题:模型可以慢(80ms 出一整段),动作可以顺(chunk 内天然平滑)。代价是纠错延迟——发现抓歪了要等当前 chunk 走完或主动截断。 π0 在单张 4090 上单 chunk 约 80ms、蒸馏后到 50Hz,就是「chunk + 蒸馏」组合的成果。更彻底的做法是双系统:Helix 让小脑 S1 在本体 GPU 上 200Hz 只管上身,大脑 S2 出一条意图向量——中间带宽极低但语义完整。两件事是同一原理的两种实现:把「想」和「动」解耦,中间只传窄带宽的高层信号。把四个部件当成读模型的 X 光
怎么用这一页
读任何 VLA 新闻稿,做四格填空:骨干是什么/多大、视觉编码单还是双、动作头哪条路线几步采样、chunk 多长。
填不出来 = 稿子在宣传愿景没给技术口径,先存疑。
四格都填出来后,去 <a href="/brain/data/">数据引擎</a> 看它用了什么数据配方——2026 年大部分真实分差在那里。
三个常见误读
「参数大 = 强」:大脑层有延迟预算,7B 以上在端侧直接出局;评测上 0.9B 打平 7B 的例子不止一个。
「端到端 = 不要分层」:架构上端到端的模型,执行时照样靠 chunk 和控制器分层——争论的是训练范式,不是运行结构。
「流匹配赢了所以离散 token 没用」:开源社区基线和 FAST 压缩后的 OFT 仍是微调生态里最顺手的起点,工具链成熟度也是选型变量。