RoboLab 解读：机器人策略评测为什么不能只看二元成功率

一、同一个 90%，可能隐藏完全不同的机器人

两个机器人策略 A 和 B 在论文或排行榜上都报告 90% 完整成功率。A 在简单抓取上稳定，但无法处理空间关系；B 经常完成大部分步骤，只在最后放置阶段失败。把它们压成同一个数字时，能力结构、失败位置、轨迹质量与统计不确定性会同时丢失。

NVIDIA 的 RoboLab 把任务型机器人评测放入高保真模拟环境（Isaac Lab），以 120 个任务、可控视觉扰动、语言变体、自动成功检测和能力标签分析通用策略。官方项目页和 v4 论文（Robotics: Science and Systems, RSS 2026, arXiv 2604.09860v4）的价值不在于再多一个排行榜，而在于把”成功率”拆回可以诊断的任务组成。下面的讨论基于 2026-08-29 实际抓取的来源。

二、RoboLab 把 120 个任务拆回可诊断结构

当前 NVIDIA 官方项目页（研究截止 2026-08-29）公开 120 个任务（RoboLab-120），按能力轴切分；任务平均 2.02 个子任务、9.0 个对象、平均难度 2.90，Benchmark 对象中 68.7% 出现在 DROID 训练词汇中。这 68.7% 并不直接证明训练数据完全不重叠，但让对象覆盖差异可见。来源：S1 NVIDIA 官方项目页文本摘录，已落盘到 source-assets/S1-nvidia-project-page/。

固定场景、摄像机和物体布局的长期稳定，本身就可能让策略利用训练重叠、视觉捷径或场景记忆。RoboLab 当前项目页把”lighting, camera pose, backgrounds, textures, shadows”列为受控扰动维度（来源：S1 NVIDIA 官方项目页文本摘录：Perturbation categories: lighting, camera pose, backgrounds, textures, shadows），正是为了让研究者能在同一任务定义下问：“面对观察分布变化，策略还能否完成？“因此 68.7% 是 Benchmark 对象在 DROID 训练词汇中的覆盖事实，不能单独证明 episode、视觉场景或任务轨迹存在重叠；把”数据泄漏 / 视觉捷径 / 场景记忆”作为评测风险与待验证假设是合理的，但不应写成 RoboLab 已实证的模型缺陷。

三、能力分类：当前项目页与 v4 论文存在差异

RoboLab 把任务能力拆为三类轴。下面并列展示两个当前一手来源在 Relational 子类上的差异，由读者自行核对：

来源：S1 项目页文本摘录；S2 v4 PDF Page 1 (abstract) + Page 12 (Table IV: “Relational 42 33.8% 0.47 0.20”；“conjunction 8 43.8% 0.55 0.21”；“counting 7 65.7% 0.75 0.28”；“spatial 29 21.0% 0.36 0.19”) + S4 排行榜（Relational 列同样使用 conjunction / counting / spatial 子类）。两个当前一手来源在 Relational 子类上确实不一致；本包不自行判定哪个唯一正确。

能力标签不应被当作单一分类，应按多标签切片报告，并控制任务难度与 Horizon，否则某一标签的低分可能只是因为它恰好出现在更长任务中。来源：S2 v4 论文 Page 1 (abstract 明确「120 tasks categorized into three competency axes: visual, procedural, relational, across three difficulty levels」) + S4 当前排行榜文本摘录。

四、语言鲁棒性：指令变化揭示的策略依赖

v4 论文公开了指令特异性的对照实验：在同一任务定义下，把指令从 specific 改成 default 再改成 vague 时，策略表现出现可测量的下降。S2 v4 PDF Page 7 逐字命中（来源：source-assets/S2-arxiv-v4/v4-pdf-pages-1-2-6-9-10-12-14-faithful-excerpt.txt）：

“π0.5 drops from 28.0% on default to 15.3% on vague. This sensitivity reveals that current models lack robust reasoning against the task goal. A truly generalist policy should be invariant to instruction phrasing.”

同页定性判断进一步指出：“indicating brittle language-to-object binding beyond a narrow set of familiar object descriptions”。该下降不能单因果归结为”语言模型差”——它也可能来自视觉 grounding、记忆、任务规划或训练分布的共同影响；RoboLab 论文本身的措辞是”current models lack robust reasoning against the task goal”，并未把责任单独归到语言模块。S1 项目页当前公开的 default / vague / specific 任务生成说明（来源：S1 NVIDIA 官方项目页文本摘录 default/vague/specific 字段）仅覆盖前三类扰动。

一个完整的语言鲁棒性矩阵应至少覆盖以下七类职责：同义改写、上下文省略（指令省略已知上下文）、目标优先步骤不指定、矛盾指令、多语言与口语、中途修正、对对象使用描述而非名称。RoboLab 当前公开的 vague / default / specific 仅覆盖前三类中的部分场景；正式评测仍需补齐剩余四类才能形成可比较的语言鲁棒性诊断。来源：S2 v4 PDF Page 7（指令特异性 + brittle language-to-object binding 逐字）；S1 项目页文本摘录（default / vague / specific 任务生成说明）。

五、完整成功 13.5% / 部分得分 0.44 / 失败子集 0.35 的精确出处

v4 论文 PDF Page 12 Table IV 给出 π0.5 在 Default variant 下 complex 切片的精确数字：

原文摘录（v4 Page 12 Table IV）: “complex 17 13.5% 0.44 0.35 2.9% 0.22 0.20 0.0% 0.12 0.12 0.0% 0.09 0.09 0.0% 0.09 0.09”

v4 Page 6 引文进一步印证：「π0.5 13.5% success on complex tasks yet attains a score of 0.44」。这一行的 “complex 17 13.5% 0.44 0.35” 表明完整失败不等于毫无进展；部分进度（0.35）显示了模型在失败时已经走到的位置。来源：S2 v4 PDF Page 12 Table IV + Page 6 引文，已落盘到 source-assets/S2-arxiv-v4/。

六、排行榜 4 维：超出完整 SR 名次

当前排行榜（2026-08-29）展示 4 维列而非 1 维：SR%（95% Clopper-Pearson CI）、Score（95% task-level bootstrap CI，×100）、EE Speed（cm/s）、EE SPARC（端效应器频谱弧长，越接近 0 越平滑）。π0.5 在 Default variant 下的能力轴最小切片是：Relational 33.8% / Visual 23.8% / Procedural 21.8%。仅看 Overall SR（28.0%）会丢失这种能力结构差异。来源：S4 当前排行榜文本摘录，已落盘到 source-assets/S4-leaderboard/。

排行榜当前页明确说明「Performance ranking correlate strongly with RoboArena Elo scores」（v4 Page 8 Fig. 10 给出 Spearman ρ = 1.00 与 Pearson r = 0.68 的精确数值）。严格表述：论文 / 项目在其比较范围内观察到 benchmark-level 排名与 RoboArena Elo 的相关性；不外推为：真实部署性能保证 / 普遍预测能力 / sim-to-real gap 已解决。

七、6 维最小报告协议

v4 论文 Appendix A-A（Page 11）公开 N=10 的统计限制：

“We evaluate each policy on N=10 episodes per task, and report results on our benchmark as aggregate results instead of per-task analysis between policies. With only 10 trials, the 95% confidence interval on a single per-task success rate is approximately ±30% near p=0.5 and ±19% near p=0.9, meaning per-task numbers should be interpreted as coarse indicators rather than precise estimates.”

每任务 N=10 时，95% CI 半宽在真实成功率 0.5 时约 30pp、0.9 时约 19pp；N=100 把 0.5 半宽粗略降到 10pp、0.9 降到 6pp。结合上述 N=10 限制与 v4 论文作者关于”per-task numbers should be interpreted as coarse indicators”的提示，本文作者把原母稿的 8 个检查维度（结果、进度、效率、控制、恢复、鲁棒性、长时序、统计）收束为 6 个报告维度：SR + Score + 扰动 + 轨迹与执行质量 + Horizon + CI。v4 论文作者实际建议的是增加 episode 数（至少 N=100）以使 per-task 比较有意义，而”6 维协议”是本文作者基于多处证据形成的工程组织，不冒充 RoboLab 论文作者提出的官方框架。每任务比较时必须配对 rollout + 预声明最小关心差异 + 预声明功效。来源：S2 v4 PDF Page 11 Appendix A-A，已落盘到 source-assets/S2-arxiv-v4/appendix-a-a-statistical-faithful-excerpt.txt。

6 维对原 8 维的职责合并（本文作者工程组织声明，不是 RoboLab 论文作者官方协议）：

关键声明：把”效率 + 控制 + 恢复”三个原维度合并到”轨迹与执行质量”是本文作者为减少报告维度而做的职责合并（3 个原维度压成 1 个），不是论文官方协议；合并后必须继续报告效率（路径/动作/时间）、控制（SPARC/抖动/碰撞/越界）、恢复（恢复率/重规划）三类指标，不得因为维度名称是”轨迹与执行质量”就省略其中任何一类。也不要新增第二套框架——本文只保留”原 8 维 → 收束 6 维”这一映射，不另立八维或九步。

八、8 步最小可执行实验协议（本文作者工程组织）

1. 冻结任务清单 + 成功判定器 + 场景生成器版本。
2. 对两个策略使用相同随机种子 / 布局 / 扰动，形成配对 rollout。
3. 对每任务报告成功次数 k/n，而不是只给百分比。
4. 预先声明主要指标和最小关心差异（例如 5 个百分点）。
5. 根据所需精度或检验功效决定 episode 数，不要在看到结果后停止。
6. 分层报告任务 / 能力 / Horizon / 语言 / 视觉扰动。
7. 保存失败轨迹 / 判定器事件 / 策略版本，支持复盘。
8. 将完整成功 / 部分进度 / 轨迹质量并列，不任意合成一个营销总分。

本节是本文作者工程组织声明，不冒充 NVIDIA / RSS / Isaac Lab 官方框架。

九、Horizon 局部上扬：任务组成差异，不是长时序能力增强

多步任务通常呈乘法退化。每步条件成功率近似 q 时，长度 H 的任务粗略成功率为 q^H。当 q=0.95，H=2 时约 90.3%，H=10 时只剩约 59.9%。真实任务的步骤并不独立，错误还能恢复，所以这个公式不是预测模型。

v4 论文 Page 7 仅观察到该异常并指向 Appendix A-D（逐字引用）：

“A performance increase is observed at subtask=7 for π0.5 on CubesAndBlocksInBinTask is further discussed in Appendix A-D.”

对任务组成差异（cubes + 重复简单 pick-and-place 序列 + 非因果长时序任务）给出完整解释的是 v4 论文 Appendix A-D（“Anomalous long-horizon success at subtask=7”），不是 Page 7。附录 A-D 原文指出：subtask=7 这一档的 bin 几乎被 CubesAndBlocksInBinTask 占满（Fig. 11），该任务是几何简单的 cubes 重复 pick-and-place，不是真正需要多步推理的因果长时序任务；表面上的”恢复”反映的是任务组成，不是长时序推理能力增强。因此按 Horizon 聚合时必须同时报告每档任务数量与能力构成。来源：S2 v4 PDF Page 7 观察 + Appendix A-D 任务组成解释，已落盘到 source-assets/S2-arxiv-v4/anomalous-subtask-7-mention-faithful-excerpt.txt（Page 7 节选） + 同目录落盘的 Appendix A-A 全文摘录（同文件包含 Appendix A-D 章节的”task composition”段落）。

十、模拟器与判定器边界

模拟器能提供可重复控制，却不能替代真实机器人测试。v4 论文 Section V 显式承认：子任务评测对开放式、语义含混的长时序任务可能失效并需要人工判断。

任何依赖程序化成功判定器的评测架构都可能出现”策略完成了、判定器没识别”或”满足谓词却违背任务语义”的错配，遮挡、柔性物体和语义完成条件尤其敏感。这是基于一般评测架构的风险推演，不是 RoboLab 论文已经实证量化的缺陷。RoboLab 的 120 个任务不代表开放世界机器人能力全集；它更适合作为可扩展诊断骨架。

跨本体比较的归一化边界（基于母稿”机器人本体不应绑定任务语义”）：任务语义可以不绑定特定机器人；RoboLab 官方代码仓库把任务定义为 embodiment-independent，并通过适配层让不同机器人执行相同语义任务。但动作空间、抓手能力、可达范围、传感器和控制频率仍需适配：不同机器人之间的 SPARC、速度变化和路径长度原始值不能直接横比。跨机器人报告时，应同时给出 (1) 机器人/控制配置（关节数、控制频率、抓手类型）、(2) 原始值、(3) 按动作时长 / 关节范围 / 任务最短路径归一化后的值，三者并列才能区分”任务能力差异”与”本体动力学差异”。

十一、结论

RoboLab 的关键转变是从”排行榜上的一个成功率”转向”任务能力、环境变化、部分进度、轨迹质量与不确定性的联合证据”。一个机器人策略只有在相同任务条件、足够 rollout、明确区间和可诊断失败结构下，才具备可比较性。二元成功率可以保留，但不能继续独占结论。

读者看一份机器人评测报告时，先问 4 件事：

1. 任务是否按能力轴切片？
2. 部分进度（子任务得分）是否与完整成功并列报告？
3. 扰动维度（光照 / 摄像机 / 背景 / 纹理 / 阴影）是否独立成段？
4. 报告是否同时给出点估计与 k/n + 95% CI？

满足这 4 件事的报告才具备可比性；不满足时再多排行榜也只是把 90% 与 92% 排得更整齐。

参考资料

• RoboLab: A High-Fidelity Simulation Benchmark for Analysis of Task Generalist Policies (v4), Yang et al., arXiv 2604.09860v4, 2026-08-14 修订, Robotics: Science and Systems (RSS) 2026。
• NVIDIA RoboLab 官方项目页, NVIDIA Research, 2026, 访问日期 2026-08-29。
• NVlabs/RoboLab GitHub 仓库, NVIDIA Labs, Apache 2.0, 2026, 访问日期 2026-08-29。
• RoboLab 官方排行榜, NVIDIA Research, 2026, 访问日期 2026-08-29。
• 母稿：RoboLab 解读：机器人策略评测为什么不能只看二元成功率, DRAFT-20260714-0004, research_cutoff 2026-07-14, 已通过独立 Q2 审核（IR-20260829-DRAFT-20260714-0004-Q2-I1）。