机器人入行指南
大脑与小脑/数据引擎

大模型深拆 · 数据引擎 · 25 分钟

数据引擎:VLA 的真瓶颈

模型架构已经收敛,分差全在数据。四条数据配方——遥操作、人类视频、仿真合成、跨机体聚合——成本差三个数量级,各解决一段、各留一个洞。

遥操作采集最贵 · 质量最高 · 定义任务与验收配方一人类视频便宜 · 先验强 · 缺动作标签配方二仿真合成可量产 · 接触密集做不了配方三跨机体聚合多样性换质量 · 异构稀释信号配方四四条数据配方 · 价格差三个数量级没有一条能单独通向通用机器人;触觉是缺失的第五条——现有数据集几乎全是视觉+动作
25 分钟真实锚点口径2026-11 核对

剥掉热词的本质

2026 年 VLA 的架构争议在变小(动作头收敛到流匹配、骨干收敛到现成 VLM),真正的军备竞赛全部在数据上:谁能更便宜地拿到「对的」操作数据,谁的模型就能多干一类活。这一页把四条数据配方摆在一起算账——它们的价格差三个数量级,没有一条能单独通向通用机器人。

先算总账:四条配方对比

一张表看全:每条配方「多少钱、能给什么、天生缺什么」。后文逐条拆。
遥操作采集ALOHA 系、AgiBot World、小米 10 万小时最贵:设备 + 人力,单条轨迹分钟级真机动作-视觉配对,质量最高慢、分布窄、人类操作偏置人类视频学习DreamGen、EgoMimic 路线便宜:现成视频 + 少量重定向海量场景先验、手部交互先验没有动作标签,需重定向或隐式推断仿真合成MimicGen、RoboCasa、GR00T-Blueprint便宜:算力换数据,可自动量产完美标注、可无限变体sim gap:接触与材质最难仿真跨机体聚合Open X-Embodiment(22 机体约百万轨迹)中等:多机构共享机体多样性、任务多样性异构性稀释信号,质量参差
配方代表项目 / 数据集成本量级给模型什么天生缺陷

配方一:遥操作——贵,但是地基

遥操作数据是唯一「动作、视觉、力全部真实且对齐」的来源。工程上的现实:一个人一天采几十到几百条,单任务过千条就要数周。这决定了它的用法——不是拿来训练通用能力,是拿来定义任务和验收:几十条高质量的轨迹定义「这个任务做对长什么样」,其余配方的数据都往这个锚上对齐。 2026 年最大的遥操作数据集是中国队做的:智元 AgiBot World(百万级真机轨迹、开源)和小米 Robotics-1 的 10 万小时真机数据(未全开源)。这改变了行业格局——以前「数据多」是 Google 独有优势(RT 系列内部数据),现在开源侧第一次有了同量级的地基。遥操作还有一个隐性代价要注意:人类操作员的偏置(习惯从同一侧接近、速度均匀)会被模型学成任务的一部分,换操作员采数据是便宜的多样性来源。

配方二:人类视频——最便宜的先验,最难的一步

互联网和自采的人类操作视频几乎免费,问题是视频里没有动作标签——看不出关节角。两条技术路线把它变成可用数据:重定向(从视频里恢复手部位姿,再用运动学映射到机器人手臂,DreamGen 系)和隐式学习(只学「画面会怎么变」,动作让模型自己猜,V-JEPA 2 系——这条线归 世界模型栏目细讲)。 它的真实定位:给模型灌输「东西是怎么被摆弄的」先验,而不是教具体动作。Meta 的 V-JEPA 2 用 100 万小时视频 + 仅 62 小时真机数据就做到新物体抓放 65–80% 成功,是这条路线最硬的证据——视频先验把真机数据的需求压低了两个数量级。但它目前止步于抓放级任务,接触密集的装配还差得远。

配方三:仿真合成——量产,但有天花板

仿真的诱惑是边际成本趋零:MimicGen 从几十条人类演示自动生成几万条变体,RoboCasa 把家庭场景做到 365 任务规模,NVIDIA 的 GR00T-Blueprint 把「仿真产数据」做成了标准管线。它能解决多样性和长尾——真实世界采 1 万种物体摆放的成本无法接受,仿真里改随机种子就行。 天花板在接触:刚性物体的高精度接触(插销、卡扣、柔性线缆)至今没有可靠的仿真方案——仿真器给出的接触力要么不准要么不稳定,用它训练的接触密集策略上真机直接失效。这就是 sim-to-real 栏目存在的理由。实操判断:抓放、场景导航、视觉多样性放心用仿真;接触密集任务的数据别指望仿真,回到遥操作和真机微调。

配方四:跨机体聚合——多样性换质量

Open X-Embodiment 聚合了 22 种机器人、约 100 万条轨迹,证明了一件事:「怎么抓杯子」的底层规律跨机体通用,混着训能提升每个机体的下限。代价是异构性:22 种机体不同的自由度、控制频率、视野,直接混合会稀释信号——各家的解决法都是「共享语义骨干、机体专属动作头」,这正是 anatomy 页动作头分离设计的另一个理由。 用别人数据集时先问三个问题:成功率口径是什么(见 评测真相)、采集本体和你的本体差多少、数据里有没有力/触觉通道。第三个问题目前答案几乎全是「没有」——往下看。

所有配方共同的洞:接触后的一百毫秒

现有主流数据集几乎全是「视觉 + 动作」两通道。抓取前的阶段视频可以学,<strong>手指接触物体之后发生了什么——打滑、形变、松紧</strong>——现有配方全都不记录。

这就是拧瓶盖 56%→90% 这类提升只能靠触觉数据补的原因(蚂蚁灵波 LingBot-Touch 用近 5000 小时触觉数据)。触觉数据采集(谁采、怎么标)是数据配方表里的第五行,2026 年还处于遥操作阶段——相当于视觉数据的 2015 年。

深入这一块的知识点:<a href="/k/C9/">C9 触觉传感与灵巧手操作</a>。

给你的操作建议

起手顺序:<strong>公开跨机体数据集打底 → 仿真量产你任务的变体 → 遥操作采 50–200 条定义任务与验收 → 真机微调</strong>。

预算判据:如果你的任务能被仿真仿真(非接触密集),仿真占比可以到 80%+;接触密集任务,遥操作预算至少一半。

永远留 10–20% 预算给「任务外多样性」(不同光照、干扰物、摆放)——这是三轴 OOD 评测里最便宜能买到的那一轴(见 <a href="/brain/eval/">评测真相</a>)。

本系列 5 页