机器人入行指南
大脑与小脑/VLA 解剖

大模型深拆 · VLA 解剖 · 25 分钟

把一个 VLA 拆开看

骨干、视觉编码、动作头、动作分块——四个部件讲清所有 VLA 的共同骨架,行业争论的全是「部件怎么接」。

视觉编码双编码器:空间 + 语义语言骨干现成 VLM · 互联网先验动作头流匹配 = 2026 标配动作分块一次 20–50 步 · 频率解耦读任何 VLA 新闻稿就问三个问题:骨干换了吗?编码换了吗?动作头换了吗?
25 分钟真实锚点口径2026-11 核对

剥掉热词的本质

所有 VLA 都是同一个思路:拿一个见过互联网的视觉语言模型当底座,再给它接一个「会出手」的动作头。骨架 2026 年已经收敛——争论和分差全在部件怎么接、动作头选哪条路线。看懂这四个部件,你就能把任何一篇新模型的新闻稿翻译成「它改了哪个部件」。

先看全景:四个部件

一个 VLA 从图像到关节指令,中间只有四步:视觉编码 → 语言骨干推理 → 动作头生成 → 动作分块执行。每一步都有几种做法,组合起来就是市面上的每一个模型。下表是本页的路线图,后面逐个拆。
视觉编码把相机帧变成模型能读的向量双编码器:空间 + 语义OpenVLA语言骨干融合图像、指令、历史,做推理现成 VLM(Llama / Gemma / Qwen 系)RT-2 / π0动作头把模型内部状态变成连续动作离散 token / 流匹配 / 扩散本页专节动作分块一次预测一段动作,降低大脑频率要求chunk 内插值 + 异步执行部署页
部件干什么主流做法代表模型
判断任何新模型,就问三个问题:骨干换了吗?视觉编码换了吗?动作头换了吗?三个都不换、只换了数据配方的,它的进步归数据页管(数据引擎);换了动作头的,往下看专节。

部件一:为什么底座必须是 VLM

RT-2 之前,机器人学指令靠「指令模板 + 检索」。RT-2 证明了另一条路:让一个在互联网图文上预训练过的 VLM 直接输出动作,「把恐龙玩具拿过来」这种从没在机器人数据里出现过的指令也能执行——因为它认得恐龙玩具。这个「互联网先验」是 VLA 相对传统感知-规划栈的全部优势来源,也是为什么底座几乎没人从零训。 但底座不是越大越好。大脑层只被允许 1–10Hz(大小脑原理),一个 55B 的底座在机器人本体上的推理延迟就把它自己开除了。所以 2026 年的实际选型区间是 0.45B(SmolVLA)到 7B(OpenVLA):闭源旗舰(Gemini Robotics 2、Helix)参数未公开,但都遵循同一个约束——大脑必须给小脑让出延迟预算。这也是为什么「参数量」在 VLA 评测里不是越高越好的单调指标。

部件二:视觉编码为什么要两个

OpenVLA 用了两个视觉编码器并联:DINOv2 负责空间关系(物体在哪、相对位姿——自监督特征对几何敏感),SigLIP 负责语义(这是什么、和指令里的词怎么对上——图文对齐特征)。单编码器的问题:图文对齐模型(CLIP/SigLIP 系)对「往左挪两厘米」这种空间细节不敏感,而纯自监督特征又对不上语言。两个都要。 这个设计被后续开源模型广泛继承(GR00T N1.6 的 Eagle 骨干、SmolVLA 的编码器选择都是同一逻辑的变体)。自己搭 VLA 时:如果你的任务对空间精度敏感(装配、插孔),双编码器里加重空间特征权重;如果以语义指令为主(家庭服务),语义侧更重要。

部件三:动作头——2026 年的三条路线

这是 VLA 内部最大的分叉点,也是「读新闻稿时最该看的部件」。三条路线的本质区别:动作是连续的还是离散的、一次采样几步、力控精度保得住吗。
离散 tokenRT-2 / OpenVLA动作离散成 256 桶,当词表输出完全复用 LM 训练栈;开源社区基线高频控制慢;量化损失力控精度流匹配π0 / RDT-1B / CogACT从噪声场连续积分出动作向量流5 步采样、训练稳、连续控制原生与 LM 的 next-token 训练栈不通用扩散Diffusion Policy 系去噪多步采样多峰分布表达力最强步数多延迟高;蒸馏可补
路线代表模型怎么出动作优点结构性短板
2026 年的实况:流匹配已经是新模型的事实标配——π0 用它拿下折叠衣服这类长视野灵巧任务,RDT-1B 把它用在双臂扩散 Transformer 上,CogACT 也走这条线。离散 token 路线靠 FAST 频域压缩续命:把动作序列做 DCT 变换再量化,token 序列缩短几倍,OpenVLA-OFT 和 π0.5 都已默认采用。扩散路线的用量在被流匹配挤压,但 Consistency Policy 单步蒸馏让它在量产部署里保有一席。 给你的判断口诀:看一篇新模型的动作头,先问「几步采样」和「力控精度怎么保」。答不出后者的,多半是离散 token 直接出的——这类模型在接触密集任务(插销、拧盖)上会有结构性上限,不是数据能完全补的。

部件四:动作分块——大脑慢、动作不能断

大脑 1–10Hz,机械臂关节要 100Hz 以上才平滑,缺口靠 chunk 补:模型一次预测未来 20–50 步动作(约 0.5–1 秒),控制器在这段里插值执行,期间大脑去算下一个 chunk。这同时解决了两个问题:模型可以慢(80ms 出一整段),动作可以顺(chunk 内天然平滑)。代价是纠错延迟——发现抓歪了要等当前 chunk 走完或主动截断。 π0 在单张 4090 上单 chunk 约 80ms、蒸馏后到 50Hz,就是「chunk + 蒸馏」组合的成果。更彻底的做法是双系统:Helix 让小脑 S1 在本体 GPU 上 200Hz 只管上身,大脑 S2 出一条意图向量——中间带宽极低但语义完整。两件事是同一原理的两种实现:把「想」和「动」解耦,中间只传窄带宽的高层信号。

把四个部件当成读模型的 X 光

怎么用这一页

读任何 VLA 新闻稿,做四格填空:骨干是什么/多大、视觉编码单还是双、动作头哪条路线几步采样、chunk 多长。

填不出来 = 稿子在宣传愿景没给技术口径,先存疑。

四格都填出来后,去 <a href="/brain/data/">数据引擎</a> 看它用了什么数据配方——2026 年大部分真实分差在那里。

三个常见误读

「参数大 = 强」:大脑层有延迟预算,7B 以上在端侧直接出局;评测上 0.9B 打平 7B 的例子不止一个。

「端到端 = 不要分层」:架构上端到端的模型,执行时照样靠 chunk 和控制器分层——争论的是训练范式,不是运行结构。

「流匹配赢了所以离散 token 没用」:开源社区基线和 FAST 压缩后的 OFT 仍是微调生态里最顺手的起点,工具链成熟度也是选型变量。

本系列 5 页