大模型深拆 · 评测真相 · 20 分钟
评测真相:90% 和 15% 之间
仿真榜第一与三轴 OOD 跌到 15% 是同一年的事实。这一页讲 benchmark 各测什么、「成功率 90%」的四种口径、以及怎么给自己的机器人设计评测。
剥掉热词的本质
VLA 评测的水比模型本身深。「成功率 90%」不看口径就是一句废话——是 10 个任务各 30 次,还是 1 个任务挑好的 10 次;是训练场景,还是换物体换场景换指令之后。行业已经做到仿真榜双第一和三轴 OOD 15% 并存——不是矛盾,是两把尺子量的根本不是同一个东西。
主流 benchmark 全景:各测什么
| Benchmark | 测什么 | 被谁刷榜 | 局限 |
|---|---|---|---|
三轴 OOD:泛化的乘法诅咒
评测里最值钱的一个数:新物体 × 新场景 × 新指令三轴同时偏移。每轴单独掉一点,叠起来是乘法——三个 70% 叠完是 34%,行业实测里三轴全开跌到 15% 以下的口径并不罕见。反过来这也是「为什么演示视频不能信」的定量解释:演示视频是三轴全对齐的录制。 同一年(2026)的两个事实放在一起看:小米 Robotics-1 用 10 万小时真机数据拿下 RoboCasa 365 和 RoboDojo 双榜首;同时全行业在三轴 OOD 下的成功率普遍仍低。这两个事实不矛盾——榜单量的是分布内性能,交付要的是分布外可靠性。把这句话记住,你就有了对一切 VLA 新闻的免疫力。怎么给自己的机器人设计评测
最小可信评测协议
<strong>任务分三档</strong>:拾放级(验收下限)、接触密集级(真实门槛)、长视野多步级(拉开分差)——每档至少 2 个任务。
<strong>每任务 ≥20 次</strong>:成功率 95% 置信区间的最低次数;10 次测出「90% 成功率」统计上毫无意义。
<strong>每档跑两组</strong>:分布内(训练时的物体场景)+ 单轴偏移(换一组物体)——单轴数字比总数有用得多。
<strong>记录中断与恢复</strong>:策略卡住后有没有自恢复、人工介入了几次——产线关心的是介入率,不是成功率。
读别人评测的四个必查项
次数下限:低于 20 次/任务的「成功率」按个位数事件理解。
成功判据:是「物体进了框」还是「完成整个任务序列」——差一个数量级。
仿真还是真机:SimplerEnv 分数与真机表现没有可靠相关性的结论,已被多个复现工作确认。
是否报 OOD:只报分布内成绩的评测,默认按「演示能力」归档,不进「交付能力」的账(这个二分来自 <a href="/k/C8/">C8</a>)。