机器人入行指南
大脑与小脑/评测真相

大模型深拆 · 评测真相 · 20 分钟

评测真相:90% 和 15% 之间

仿真榜第一与三轴 OOD 跌到 15% 是同一年的事实。这一页讲 benchmark 各测什么、「成功率 90%」的四种口径、以及怎么给自己的机器人设计评测。

仿真榜单 · 分布内·CALVIN / LIBERO / SimplerEnv·小米双榜首 2026-07·刷榜可行真机交付 · 三轴 OOD·新物体 × 新场景 × 新指令·0.7³ = 34%·行业实测可低至 15% 以下vs两把尺子量的不是同一个东西——「成功率 90%」不看口径就是废话
20 分钟真实锚点口径2026-11 核对

剥掉热词的本质

VLA 评测的水比模型本身深。「成功率 90%」不看口径就是一句废话——是 10 个任务各 30 次,还是 1 个任务挑好的 10 次;是训练场景,还是换物体换场景换指令之后。行业已经做到仿真榜双第一和三轴 OOD 15% 并存——不是矛盾,是两把尺子量的根本不是同一个东西。

主流 benchmark 全景:各测什么

CALVIN长视野语言条件操作(桌面)早期 VLA 与模仿学习仿真、任务池小LIBERO四档任务(空间/物体/目标/长程)OpenVLA-OFT 等开源基线桌面拾放为主SimplerEnvGoogle 机器人任务的仿真复刻开源 VLA 标配仿真评测与真机相关性有限RoboCasa 365 / RoboDojo家庭场景大规模任务小米 Robotics-1(2026-07 双榜首)仿真;接触密集覆盖弱
Benchmark测什么被谁刷榜局限
注意一个结构性事实:这份表里没有一个 benchmark 测接触密集任务(插销、卡扣、柔性线缆)——因为仿真做不了可靠的接触力(见 数据引擎)。所以任何模型的榜单成绩,都不构成对它做装配类任务能力的证据。

三轴 OOD:泛化的乘法诅咒

评测里最值钱的一个数:新物体 × 新场景 × 新指令三轴同时偏移。每轴单独掉一点,叠起来是乘法——三个 70% 叠完是 34%,行业实测里三轴全开跌到 15% 以下的口径并不罕见。反过来这也是「为什么演示视频不能信」的定量解释:演示视频是三轴全对齐的录制。 同一年(2026)的两个事实放在一起看:小米 Robotics-1 用 10 万小时真机数据拿下 RoboCasa 365 和 RoboDojo 双榜首;同时全行业在三轴 OOD 下的成功率普遍仍低。这两个事实不矛盾——榜单量的是分布内性能,交付要的是分布外可靠性。把这句话记住,你就有了对一切 VLA 新闻的免疫力。

怎么给自己的机器人设计评测

最小可信评测协议

<strong>任务分三档</strong>:拾放级(验收下限)、接触密集级(真实门槛)、长视野多步级(拉开分差)——每档至少 2 个任务。

<strong>每任务 ≥20 次</strong>:成功率 95% 置信区间的最低次数;10 次测出「90% 成功率」统计上毫无意义。

<strong>每档跑两组</strong>:分布内(训练时的物体场景)+ 单轴偏移(换一组物体)——单轴数字比总数有用得多。

<strong>记录中断与恢复</strong>:策略卡住后有没有自恢复、人工介入了几次——产线关心的是介入率,不是成功率。

读别人评测的四个必查项

次数下限:低于 20 次/任务的「成功率」按个位数事件理解。

成功判据:是「物体进了框」还是「完成整个任务序列」——差一个数量级。

仿真还是真机:SimplerEnv 分数与真机表现没有可靠相关性的结论,已被多个复现工作确认。

是否报 OOD:只报分布内成绩的评测,默认按「演示能力」归档,不进「交付能力」的账(这个二分来自 <a href="/k/C8/">C8</a>)。

本系列 5 页