RoboICL:基于 GPT-6 Astra 的
具身上下文学习
RoboICL: Embodied In-Context Learning with GPT-6 Astra
Fangcheng Liu^{1\dagger}, Yeqing Shen^{1\dagger}, Anda Cheng^{1\dagger}, Weishi Mi^{2}, Chao Tang^{2}, Chenyuan Liu^{3},
Yushun Xiang^{3}, Tingguang Li^{2}, Yong-Lu Li^{3}, Yehui Tang^{1}(通讯作者)
^1Samsung Research(北京) ^2Samsung Robotics eXperience ^3上海交通大学
^\dagger共同第一作者
arXiv:2609.34261v1 [cs.RO],2026 年 9 月 28 日提交
代码:https://github.com/Mosi-AI/RoboICL
中文逐段翻译与解释
整理日期:2026 年 11 月 4 日
具身上下文学习
RoboICL: Embodied In-Context Learning with GPT-6 Astra
Fangcheng Liu^{1\dagger}, Yeqing Shen^{1\dagger}, Anda Cheng^{1\dagger}, Weishi Mi^{2}, Chao Tang^{2}, Chenyuan Liu^{3},
Yushun Xiang^{3}, Tingguang Li^{2}, Yong-Lu Li^{3}, Yehui Tang^{1}(通讯作者)
^1Samsung Research(北京) ^2Samsung Robotics eXperience ^3上海交通大学
^\dagger共同第一作者
arXiv:2609.34261v1 [cs.RO],2026 年 9 月 28 日提交
代码:https://github.com/Mosi-AI/RoboICL
中文逐段翻译与解释
整理日期:2026 年 11 月 4 日
解释
阅读方式。沿用本工作区已完成译文的三联框:灰色框保留英文原文,蓝色框给出中文译文,橙色框解释概念、设计动机和结论边界。图片使用原论文源码中的原图(矢量 PDF 或原始 PNG),表格完整重排,均附原注、译注和绿色解读框。保留原章节、公式和图表编号;正文引用沿用原文的“作者,年份”格式,参考文献列表从略。解释框是本译稿的分析,不属于作者原文。
来源与许可。原论文:https://arxiv.org/abs/2609.34261v1;PDF:https://arxiv.org/pdf/2609.34261v1。本文以 arXiv 默认的非独占分发许可(arXiv.org perpetual, non-exclusive license)发布,不是知识共享许可;本译稿仅供个人学习研究,不宜公开再分发。英文内容以下载的 v1 源码及 PDF 为依据。
来源与许可。原论文:https://arxiv.org/abs/2609.34261v1;PDF:https://arxiv.org/pdf/2609.34261v1。本文以 arXiv 默认的非独占分发许可(arXiv.org perpetual, non-exclusive license)发布,不是知识共享许可;本译稿仅供个人学习研究,不宜公开再分发。英文内容以下载的 v1 源码及 PDF 为依据。
目录
导读摘要(Abstract)1 引言(Introduction)2 相关工作(Related work)3 RoboICL:上下文与控制接口3.1 框架概览3.2 共享交互语法3.3 有界锚定记忆3.4 兼顾效率的上下文与执行4 实验(Experiments)4.1 评测协议与上下文配置4.2 仿真基准结果4.3 迁移到真机操作4.4 推理成本、延迟与缓存复用4.5 用 Jev 减少模型调用5 结论与局限(Conclusion and limitations)参考文献A 方法与实现A.1 上下文构造A.2 同期工作的接口细节B 评测协议与分析B.1 补充定性案例B.2 真机协议与失败分析C 缓存前缀检查与 Jev 详细结果C.1 缓存前缀验证C.2 Jev 门控执行:完整的五布局记录C.3 配对完成时间译者附注:原文数字核对与阅读提示汇总导读
本文解决的问题。通用视觉语言模型 GPT-6 Astra 已经能直接输出机器人动作,在开放式、按语言或图像条件的操作任务上表现很好,但在高精度和长时程任务上明显偏弱。作者不训练任何机器人专用模型,也不更新 GPT-6 Astra 的参数,只改变“每次调用时塞给模型的上下文怎么组织”,即上下文学习(in-context learning,ICL)。核心问题是:示范轨迹和机器人自己执行过程中积累的经验,应该以什么形式放进有限的上下文里,模型才能真正用上。方法的完整链条。每次调用模型时,请求由四部分按顺序组成:任务指令、示范上下文(Train,固定不变的专家示范片段)、交互记忆(Live,本回合已执行的若干片段)、当前观测与机器人状态。两类片段使用同一种“语法”:执行前观测 \to 动作块 \to 回执(receipt)\to 执行后观测。模型通过唯一的工具act 输出一个 H\times14 的动作矩阵(双臂每步的位移增量、旋转增量和夹爪目标),由确定性代码校验、求逆运动学并执行,然后把执行回执和新观测写回交互记忆。为了让上下文长度不随回合变长,交互记忆只保留若干个固定时间锚点加上最近一次交互,被丢弃的时间段用 <TRAJECTORY_GAP> 显式标出。| 概念 | 本文中的具体含义 |
| 上下文学习(ICL) | 不改参数,只靠推理时提供的示例和信息改变模型行为。 |
| 冻结模型 / GPT-6 Astra | 本文使用的通用多模态大模型,通过 API 调用,参数全程不变。 |
| 示范上下文(Train) | 从 K 条专家示范中各取 J 个不重叠的动作片段,回合内固定。“Train”只是标签,不代表训练。 |
| 交互记忆(Live) | 本回合机器人自己执行过的片段,含执行结果,随执行更新。 |
| 回执(receipt) | 对一个动作块执行情况的文字报告:预测/下发/实际执行了几步、跟踪误差、是否被中断。示范片段用“合成回执”。 |
| 有界锚定记忆 | 交互记忆共 B 个槽位:B-1 个固定时间锚点 + 1 个最新交互。 |
| 动作块长度 H | 一次调用预测的步数,按任务步数上限取 5–25。 |
| 进度分(progress score) | 0–100 的任务完成度评分,允许部分得分,不等于成功率。 |
| 零样本 / 单样本(zero/one-shot) | 不提供 / 提供 1 条专家示范;零样本仍有交互记忆和执行反馈。 |
| RoboDojo | 双臂仿真操作基准,任务分为 Open、Memory、Precision、Long-Horizon 等类别。 |
| KV 缓存命中率 | 输入 token 中被服务端缓存复用的比例,越高越省钱、越快。 |
| Jev | 一个外部“快速判断”模型,用来决定是否直接继续执行已预测动作的后半段,以减少大模型调用。 |
摘要(Abstract)
原文
General-purpose vision-language models offer a promising way to zero-shot robot control: GPT-6 Astra excels at open-ended and language- or image-conditioned manipulation but remains substantially weaker on high-precision and long-horizon tasks. We introduce RoboICL, an in-context robot-control framework that narrows these gaps without robot-specific parameter updates or a learned VLA. RoboICL separates demonstration context, which provides recorded examples when available, from interaction memory, which accumulates the model's own actions and observed outcomes. Both use a shared observation–action–receipt–observation grammar. To preserve experience across task stages, RoboICL combines sampled demonstration blocks with bounded anchored memory. Fixed anchors keep earlier rollout interactions available for in-context learning, while the latest interaction supports immediate error correction.
译文
通用视觉语言模型为零样本机器人控制提供了一条有前景的途径:GPT-6 Astra 在开放式以及以语言或图像为条件的操作任务上表现出色,但在高精度和长时程任务上仍明显偏弱。我们提出 RoboICL,一个基于上下文的机器人控制框架,无需针对机器人的参数更新,也无需学习得到的 VLA,就能缩小这些差距。RoboICL 把示范上下文与交互记忆分开:前者在有示范时提供记录下来的示例,后者累积模型自己的动作及观察到的结果。两者使用共享的“观测—动作—回执—观测”语法。为了在任务各阶段之间保留经验,RoboICL 把采样得到的示范片段与有界锚定记忆结合起来。固定锚点让较早的推演交互始终可供上下文学习使用,而最新一次交互支持即时纠错。
解释
零样本机器人控制在这里指“不用机器人数据训练模型”,直接让通用大模型输出动作。摘要前半部分把方法压缩成三个关键词:两类上下文(示范 vs 自身经验)、一种语法(前后观测夹着动作和回执)、一种记忆策略(固定锚点 + 最新交互)。“回执”(receipt)是本文自造的术语,类似购物小票,记录“这次动作实际执行了多少、结果如何”。
原文
Across 30 RoboDojo tasks, using zero shot for Open and one demonstration elsewhere, RoboICL improves on official zero-shot GPT-6 Astra by 20–27 progress-score points in every category. It leads the leaderboard baselines on Memory and Open, achieves comparable performance to the strongest Precision baseline, and remains competitive on Long-Horizon. Its 30-task Overall score is 50.64, versus 33.68 for the strongest baseline. On a separate ten-task subset, RoboICL scores 60.60, within 2.00 points of the \pi_{0.5} + GPT-6 Astra hybrid approach. On three real-robot tasks, mean progress rises from 14.45 at zero shot to 63.33 at one shot and 78.89 at three shots. On two development tasks, optional Jev-gated action reuse reduces GPT-6 Astra calls by 33–48%. Code is available at https://github.com/Mosi-AI/RoboICL.
译文
在 30 个 RoboDojo 任务上(Open 类别用零样本,其余类别用一条示范),RoboICL 在每个类别上都比官方零样本 GPT-6 Astra 高出 20–27 个进度分。它在 Memory 和 Open 类别上领先排行榜基线,在 Precision 类别上与最强基线相当,在 Long-Horizon 类别上保持竞争力。其 30 任务总分为 50.64,而最强基线为 33.68。在另一个十任务子集上,RoboICL 得 60.60 分,与 \pi_{0.5} + GPT-6 Astra 混合方法相差不到 2.00 分。在三个真机任务上,平均进度分从零样本的 14.45 提高到单样本的 63.33 和三样本的 78.89。在两个开发任务上,可选的 Jev 门控动作复用使 GPT-6 Astra 调用次数减少 33–48%。代码见 https://github.com/Mosi-AI/RoboICL。
解释
四组数字分别对应正文的四类实验:30 任务排行榜对比(表 2)、10 任务对比(表 1)、真机示范数扩展(图 7)、Jev 效率实验(表 5)。“20–27 分”是图 1 中四个类别的增益:Open +20、Long-Horizon +23、Precision +26、Memory +27。注意“Open 用零样本”是因为该类别没有训练示范可用,而不是作者刻意选择。“开发任务”意味着 Jev 的配置就是在这两个任务上调出来的,结果偏乐观。
1引言(Introduction)
原文
Large language models (LLMs) can infer task patterns from examples provided at inference time, without updating their parameters (Brown et al., 2020). Extending this ability to robot control requires connecting language, images, and proprioception to continuous actions. Execution also changes the information available for the next decision: a grasp may fail, contact may stop motion, or the robot may reach a state absent from the demonstrations. Unlike language modeling, embodied control still lacks a broadly applicable foundation model that can be deployed across tasks without robotics-specific adaptation. Many Vision-Language-Action (VLA) and World-Action-Model (WAM) systems acquire their capabilities through substantial robot-specific training or post-training (Fu et al., 2024; Vosylius & Johns, 2025; Sridhar et al., 2025; Zhou et al., 2026; Generalist Team, 2026).
译文
大语言模型(LLM)能够从推理时提供的示例中推断任务模式,而无需更新参数(Brown et al., 2020)。把这种能力扩展到机器人控制,需要把语言、图像和本体感知与连续动作联系起来。执行过程还会改变下一次决策可用的信息:抓取可能失败,接触可能使运动停止,机器人也可能到达示范中从未出现过的状态。与语言建模不同,具身控制仍然缺少一个无需针对机器人进行适配就能跨任务部署的广泛适用的基础模型。许多视觉—语言—动作(VLA)和世界—动作模型(WAM)系统都要通过大量针对机器人的训练或后训练才获得能力(Fu et al., 2024; Vosylius & Johns, 2025; Sridhar et al., 2025; Zhou et al., 2026; Generalist Team, 2026)。
解释
Brown et al. (2020) 即 GPT-3 论文,首次系统展示“少样本提示”(few-shot prompting)。这段指出机器人 ICL 比语言 ICL 难在两点:模态,要把图像和关节状态映射到连续数值;闭环,执行结果会改变下一步的输入,而文本生成没有这个问题。被引用的 ICRT、Instant Policy、RICL、Zero-WAM、GEN-1.5 都是“训练一个会读上下文的机器人模型”,与本文“不训练”的路线相对。
原文
Recent evaluations of GPT-6 Astra point to a complementary possibility: a general-purpose Vision-Language Model (VLM) can generate robot actions directly (Chen et al., 2026b; Zhang et al., 2026). It performs extraordinarily on open-ended and language- or image-conditioned manipulation, yet remains substantially weaker on high-precision and long-horizon tasks (Figure 1). The practical question is therefore how to organize context so that a fixed model can make full use of the information provided by prior examples and the experience it accumulates during execution.
译文
近期对 GPT-6 Astra 的评测指出了另一种互补的可能:通用视觉语言模型(VLM)可以直接生成机器人动作(Chen et al., 2026b; Zhang et al., 2026)。它在开放式以及以语言或图像为条件的操作上表现极为出色,但在高精度和长时程任务上仍明显偏弱(图 1)。因此,实际问题在于如何组织上下文,使一个固定的模型能够充分利用先前示例提供的信息,以及它在执行中积累的经验。
解释
两条引用分别是 RoboDojo 基准论文和 RoboDojo 上的 GPT-6 Astra 官方评测。这段把研究问题收窄为一个工程问题:模型不变,只设计“提示词与上下文的结构”。可以类比为给一位聪明但没干过这份活的人写操作手册,并让他边做边看自己的工作记录。
图 1:RoboDojo 类别层面的比较。基线分数转载自 RoboDojo 排行榜,其中 GPT-6 Astra 指官方零样本结果(Zhang et al., 2026)。由于 Open 类别没有可用的训练示范,RoboICL 在该类别只使用交互记忆(零样本);其余类别均使用一条示范(单样本)。官方 GPT-6 Astra 柱上的整数标签表示 RoboICL 的绝对增益(进度分)。在排行榜目前列出的最强方法中,RoboICL 在 Memory 和 Open 上领先,在 Precision 上与最强方法相当,在 Long-Horizon 上保持竞争力,且无需针对机器人的后训练。表 2 给出了每个任务的评测次数。
原图注:RoboDojo category-level comparison. Baseline scores are reproduced from the RoboDojo leaderboard, with GPT-6 Astra denoting the official zero-shot results (Zhang et al., 2026). As no training demonstrations are available for Open, RoboICL uses interaction memory alone (zero-shot) in this category; all other categories use one demonstration (one-shot). Integer labels on the official GPT-6 Astra bars show RoboICL's absolute gains in progress-score points. Among the strongest methods currently listed on the leaderboard, RoboICL leads on Memory and Open, is comparable to the strongest method on Precision, and remains competitive on Long-Horizon, without robot-specific post-training. Table 2 reports the per-task evaluation counts.
图 1 解读
横轴是 RoboDojo 的四个任务类别,纵轴是类别平均进度分(0–100)。每组六根柱:斜纹绿柱为 RoboICL + GPT-6 Astra,橙色为官方零样本 GPT-6 Astra,其余四根为排行榜上的 VLA/WAM 方法(Liber-0 Preview、Simate-beta、DM0.5、GalaxeaVLA G0.5)。橙柱上方的箭头和数字是 RoboICL 相对官方 GPT-6 Astra 的增益。 各类别读数:Precision 中 RoboICL 38.53,与 Liber-0 Preview 的 38.3 几乎持平;Long-Horizon 中 RoboICL 44.11,低于 Simate-beta(57.8)和 Liber-0 Preview(46.0),与 G0.5(44.1)相当;Memory 中 RoboICL 70.00,明显高于 DM0.5(47.7);Open 中 RoboICL 54.75,而四种 VLA/WAM 都在 10 分以下。 要点:Open 类别的巨大差距说明,需要理解新指令、新物体的任务正是通用大模型的强项,而专门训练的 VLA 几乎不会做;GPT-6 Astra 原本的短板(Precision、Long-Horizon)在 RoboICL 下被补到与最强 VLA 接近的水平。图中 Liber-0 的 Precision 显示为 38.3,表 2 中为 38.28,是取舍位数的差别。
原文
Prior work provides inference-time context through several routes. Demonstration-conditioned robot policies consume sensorimotor examples (Duan et al., 2017; Fu et al., 2024; Vosylius & Johns, 2025; Sridhar et al., 2025), while frozen language and vision-language models use prompted skills, programs, spatial representations, or numerical actions (Di Palo & Johns, 2024; Yin et al., 2025; Cheng et al., 2026). Concurrent systems further combine demonstrations with execution feedback (Chen et al., 2026c; Cheng et al., 2026). These advances make feedback-conditioned control feasible, while leaving open how a general-purpose VLM should organize actions, their realized consequences, and the experience accumulated over long-horizon execution.
译文
已有工作通过几条途径提供推理时上下文。以示范为条件的机器人策略读取感知—运动示例(Duan et al., 2017; Fu et al., 2024; Vosylius & Johns, 2025; Sridhar et al., 2025),而冻结的语言模型和视觉语言模型则使用提示出的技能、程序、空间表示或数值动作(Di Palo & Johns, 2024; Yin et al., 2025; Cheng et al., 2026)。同期系统进一步把示范与执行反馈结合起来(Chen et al., 2026c; Cheng et al., 2026)。这些进展使基于反馈的控制变得可行,但仍未解决一个问题:通用 VLM 应当如何组织动作、动作实际产生的后果,以及在长时程执行中积累的经验。
解释
这里把相关工作分成三组:训练出来的示范条件策略(One-Shot Imitation、ICRT、Instant Policy、RICL);冻结大模型直接控制(KAT 用关键点和数值动作、RoboPrompt、GPT-Policy);示范 + 执行反馈(Show-Harness、GPT-Policy)。作者声称的空白不是“有没有反馈”,而是“反馈和经验以什么结构呈现”,这一点在第 2 节结尾会再次强调。
原文
We introduce RoboICL, an in-context learning framework tailored to robot control. RoboICL turns inference-time context into a structured interface with two components that serve distinct roles. Demonstration context remains fixed during an episode and presents recorded trajectories as few-shot examples. Interaction memory updates as the robot acts and records the corresponding evidence from its own rollout, including progress, errors, and corrections. Rather than encode these sources through separate interfaces, RoboICL gives them a shared interaction grammar—observation, action chunk, execution receipt, and result observation. In demonstration context, the receipt describes the retained expert-action sequence between the two observations; in interaction memory, it reports the execution of the model-generated action chunk. The model therefore encounters the same before–action–after pattern in both sources.
译文
我们提出 RoboICL,一个为机器人控制定制的上下文学习框架。RoboICL 把推理时上下文变成一个结构化接口,包含两个作用不同的组成部分。示范上下文在一个回合内保持不变,把记录下来的轨迹作为少样本示例呈现。交互记忆随机器人行动而更新,记录来自本次推演的相应证据,包括进展、错误和纠正。RoboICL 没有用各自独立的接口编码这两种来源,而是赋予它们共享的交互语法:观测、动作块、执行回执和结果观测。在示范上下文中,回执描述两次观测之间保留下来的专家动作序列;在交互记忆中,回执报告模型生成的动作块的执行情况。因此,模型在两种来源中看到的是相同的“之前—动作—之后”模式。
解释
为什么要统一语法:如果示范是“视频 + 动作列表”,而记忆是“对话历史”,模型就要学两套读法;统一成同一格式后,模型可以把自己刚做的动作和示范中的动作直接类比,例如“示范里这一步之后杯子被提起来了,我这一步之后杯子还在桌上,说明没抓住”。这是本文最核心的设计思想。
原文
RoboICL uses bounded anchored memory to preserve the structure of long trajectories without serializing every frame. From each demonstration, it retains non-overlapping action blocks sampled across the trajectory, giving the model examples from the early, intermediate, and late stages of the task. During execution, interaction memory retains the first interaction, selected later interactions at predefined step intervals, and the latest completed interaction. The model can thus refer back to the initial scene and earlier action outcomes while using the latest feedback to decide what to do next. Whenever discarded steps separate two retained blocks, RoboICL inserts an explicit
<TRAJECTORY_GAP> record so that their observations are not read as consecutive. 译文
RoboICL 使用有界锚定记忆,在不逐帧序列化的情况下保留长轨迹的结构。它从每条示范中保留在整条轨迹上采样得到的、互不重叠的动作片段,使模型看到任务早期、中期和后期的示例。执行过程中,交互记忆保留第一次交互、按预定步数间隔选出的若干后续交互,以及最近完成的一次交互。这样,模型既能回看初始场景和较早动作的结果,又能利用最新反馈决定下一步做什么。每当两个保留片段之间有被丢弃的步骤时,RoboICL 都会插入一条显式的
<TRAJECTORY_GAP> 记录,以免模型把它们的观测当作连续的。 解释
“有界”指上下文长度有上限,不随回合变长;“锚定”指保留的时间点是事先按步数均匀划好的,而不是动态挑选。之所以要保留第一次交互,是因为一些任务(如 Memory 类别中的 Cover Blocks)需要记住初始场景:方块被盖住后,只有开头的画面能告诉模型方块原来在哪。
<TRAJECTORY_GAP> 的作用好比书里的“……(中略)……”,防止模型误以为两张相隔几百步的图是相邻帧。 原文
RoboICL achieves substantially higher progress scores than official zero-shot GPT-6 Astra in all four categories shown in Figure 1. Among the compared methods, it leads on Memory and Open, is comparable to the strongest method on Precision, and remains competitive on Long-Horizon. Its 30-task Overall score is 50.64, exceeding the strongest baseline's 33.68 by 16.96 points. Open is especially notable because no demonstrations are available and RoboICL uses interaction memory alone. Separately, Table 1 reports a ten-task panel with 5 requested layouts per task, whereas the official RoboDojo zero-shot evaluation uses 50 episodes per task (Zhang et al., 2026). On this smaller panel, RoboICL with GPT-6 Astra alone (60.60) approaches the reported performance (62.60) of GPT-as-Policy's \pi_{0.5} + GPT-6 Astra ensemble (Su et al., 2026). On three single-arm real-robot tasks, mean progress score rises from 14.45 without demonstrations to 78.89 with three demonstrations. We further measure token usage and wall time, connect adaptive action horizons to model-call frequency, and study the potential of Jev-gated action reuse (Jev AI, 2026) to reduce inference cost (Section 4.4).
译文
RoboICL 在图 1 所示的全部四个类别上都取得了比官方零样本 GPT-6 Astra 显著更高的进度分。在所比较的方法中,它在 Memory 和 Open 上领先,在 Precision 上与最强方法相当,在 Long-Horizon 上保持竞争力。其 30 任务总分为 50.64,比最强基线的 33.68 高 16.96 分。Open 尤其值得注意,因为该类别没有可用的示范,RoboICL 只使用交互记忆。另外,表 1 报告了一个十任务对比,每个任务请求 5 个布局,而官方 RoboDojo 零样本评测每个任务使用 50 个回合(Zhang et al., 2026)。在这个较小的对比集上,仅使用 GPT-6 Astra 的 RoboICL(60.60)接近 GPT-as-Policy 的 \pi_{0.5} + GPT-6 Astra 组合所报告的性能(62.60)(Su et al., 2026)。在三个单臂真机任务上,平均进度分从无示范时的 14.45 提高到三条示范时的 78.89。我们还测量了 token 用量和实际耗时,把自适应动作长度与模型调用频率联系起来,并研究了 Jev 门控动作复用(Jev AI, 2026)降低推理成本的潜力(第 4.4 节)。
解释
算术核对:50.64-33.68=16.96,与原文一致。“Open 只用交互记忆仍领先”说明本文的增益并不全部来自示范,记忆结构本身就有贡献。混合方法(\pi_{0.5} + GPT-6 Astra)指 GPT-as-Policy 中让 GPT-6 Astra 做高层决策、调用 \pi_{0.5} VLA 执行底层动作的组合,它需要一个训练过的 VLA;RoboICL 不需要,所以“只差 2 分”是有分量的。但 5 个布局的样本量很小,2 分的差距在统计上无法区分。原文此处引用“第 4.4 节”,而 Jev 实际在第 4.5 节,4.4 节是成本与缓存。
原文
RoboICL makes three primary contributions:
- A robot-native ICL framework. Demonstration context and interaction memory present prior examples and rollout experience to a general-purpose VLM through a shared interaction grammar, without robot-specific parameter-update.
- Minimal, auditable control. A direct API harness exposes one function tool for continuous action chunks and uses neither an external skill library nor a general-purpose coding-agent runtime. Its model-facing loop consists of context serialization, a single action schema, and deterministic validation and execution.
- Closing GPT-6 Astra's gaps in high-precision and long-horizon control. Without robot-specific post-training, RoboICL leads the compared RoboDojo leaderboard methods on Memory, Open, and 30-task Overall, while achieving comparable performance to sota baselines on Precision. The framework is further validated on three single-arm real-robot tasks.
译文
RoboICL 有三项主要贡献:
- 原生面向机器人的 ICL 框架。示范上下文和交互记忆通过共享的交互语法,把先前示例和推演经验呈现给通用 VLM,无需针对机器人的参数更新。
- 极简、可审计的控制。一个直接调用 API 的执行框架只暴露一个用于连续动作块的函数工具,既不使用外部技能库,也不使用通用编程智能体运行时。面向模型的循环只包括上下文序列化、单一动作模式以及确定性的校验与执行。
- 弥补 GPT-6 Astra 在高精度和长时程控制上的短板。无需针对机器人的后训练,RoboICL 在 Memory、Open 和 30 任务总分上领先所比较的 RoboDojo 排行榜方法,同时在 Precision 上达到与最先进基线相当的性能。该框架还在三个单臂真机任务上得到了验证。
解释
第二条贡献是针对 GPT-as-Policy Direct 这类方法说的:后者把 GPT-6 Astra 放进类似 Codex 的编程智能体环境,可读写文件、调用多种工具。RoboICL 刻意做得“小”:模型每次只能调用一个
act 工具,所有几何计算(逆运动学、边界检查)都由普通代码完成。可审计意味着每个动作从哪来、执行了多少都可以从日志里一一追溯。措辞注意:第三条在摘要中说是“与最强 Precision 基线相当”,在 Long-Horizon 上并不领先(排第三)。 2相关工作(Related work)
原文
Robot learning from context. Few-shot language modeling established examples as an inference-time interface (Brown et al., 2020), later extended to multimodal inputs by Frozen (Tsimpoukelli et al., 2021) and Flamingo (Alayrac et al., 2022). In robotics, ICRT (Fu et al., 2024) and Instant Policy (Vosylius & Johns, 2025) learn context-conditioned control from sensorimotor sequences or demonstration pairs; RICL (Sridhar et al., 2025) augments a pretrained VLA with demonstration retrieval; and Zero-WAM (Zhou et al., 2026) and GEN-1.5 (Generalist Team, 2026) acquire deployment-time adaptation through large-scale video, trajectory, or physical-interaction pretraining. RoboICL studies a complementary setting: it elicits action chunks from a frozen general-purpose VLM through demonstration context and interaction memory, presented in a shared interaction grammar, without training a robot-specific policy or action head.
译文
从上下文中学习的机器人。少样本语言建模确立了“示例”作为推理时接口的地位(Brown et al., 2020),随后 Frozen(Tsimpoukelli et al., 2021)和 Flamingo(Alayrac et al., 2022)把它扩展到多模态输入。在机器人领域,ICRT(Fu et al., 2024)和 Instant Policy(Vosylius & Johns, 2025)从感知—运动序列或示范对中学习以上下文为条件的控制;RICL(Sridhar et al., 2025)为预训练 VLA 增加示范检索;Zero-WAM(Zhou et al., 2026)和 GEN-1.5(Generalist Team, 2026)则通过大规模视频、轨迹或物理交互预训练获得部署时的适应能力。RoboICL 研究的是一个互补的设定:它通过以共享交互语法呈现的示范上下文和交互记忆,从冻结的通用 VLM 中引出动作块,无需训练机器人专用策略或动作头。
解释
这一段梳理了“具身 ICL”的谱系。ICRT 把示范的感知—动作序列当作提示,训练 Transformer 续写动作;Instant Policy 把示范和当前观测建成图,用图网络推断动作,训练数据全部来自程序生成的伪示范;RICL 在 \pi_0-FAST 上加入检索到的示范,再微调使其学会利用。它们的共同点是需要训练一个“会读示范”的模型。RoboICL 的区别是完全依赖通用 VLM 原本具备的 ICL 能力,因此成败取决于该 VLM 的视觉和空间推理水平。
原文
Frozen models and interaction feedback. Frozen LLMs and VLMs control robots through skill selection (Ahn et al., 2022), program generation (Liang et al., 2022), spatial planning (Huang et al., 2023), or numerical actions from structured spatial representations (Di Palo & Johns, 2024; Yin et al., 2025). Show-Harness (Chen et al., 2026c) uses semantic action interfaces for closed-loop control. ReAct (Yao et al., 2023) and Reflexion (Shinn et al., 2023) use feedback and memory for sequential decision making, while Zeva (Chen et al., 2026a) and Reflective VLA (Lian et al., 2026) study interaction histories in robotics.
译文
冻结模型与交互反馈。冻结的 LLM 和 VLM 可以通过选择技能(Ahn et al., 2022)、生成程序(Liang et al., 2022)、空间规划(Huang et al., 2023),或者基于结构化空间表示输出数值动作(Di Palo & Johns, 2024; Yin et al., 2025)来控制机器人。Show-Harness(Chen et al., 2026c)使用语义动作接口进行闭环控制。ReAct(Yao et al., 2023)和 Reflexion(Shinn et al., 2023)利用反馈和记忆进行序列决策,Zeva(Chen et al., 2026a)和 Reflective VLA(Lian et al., 2026)则在机器人领域研究交互历史。
解释
四种“冻结模型控制机器人”的方式按抽象层次从高到低:SayCan 只在预定义技能中做选择;Code as Policies 写调用机器人 API 的程序;VoxPoser 生成 3D 价值图供运动规划;KAT / RoboPrompt 让模型直接输出关键点坐标等数值。RoboICL 处在最底层:模型每 1/25 秒输出一个双臂位移和旋转增量。ReAct 交替进行“思考—行动—观察”,Reflexion 在失败后写反思笔记供下次参考;交互记忆在思想上与之相通,但记录的是视觉前后对比和执行回执。
原文
Among close concurrent works, GPT-as-Policy Direct (Su et al., 2026) uses a persistent VLM agent to generate absolute end-effector targets from observations and online history without expert demonstrations or a learned VLA. GPT-Policy (Cheng et al., 2026) additionally conditions on demonstrations and selects Cartesian waypoint and gripper tools. RoboICL instead generates per-step Cartesian-increment and gripper sequences, and uses bounded anchored memory to retain visual transitions in a shared demonstration–interaction grammar. The distinction lies in action and context representation, rather than the presence of online feedback.
译文
在关系最近的同期工作中,GPT-as-Policy Direct(Su et al., 2026)使用一个持续运行的 VLM 智能体,根据观测和在线历史生成末端执行器的绝对目标,不使用专家示范,也不使用学习得到的 VLA。GPT-Policy(Cheng et al., 2026)还以示范为条件,并选择笛卡尔路点工具和夹爪工具。RoboICL 则生成逐步的笛卡尔增量和夹爪序列,并用有界锚定记忆,在共享的示范—交互语法中保留视觉转移。区别在于动作和上下文的表示方式,而不在于是否有在线反馈。
解释
三者的差异可以整理为:
附录 A.2 对这些差别有更详细的说明。“绝对目标”的好处是不累积误差,坏处是模型要给出精确的世界坐标;“增量”更像“往左挪一点”,与看图纠错的方式更一致,但每一步的误差会累积。
| GPT-as-Policy Direct | GPT-Policy | RoboICL | |
| 示范 | 无 | 有 | 有(Open 类别除外) |
| 动作 | 绝对末端目标 | 绝对路点 + 夹爪工具 | 每步增量 + 夹爪目标 |
| 时序 | 控制器插值 | 控制器插值、分配时间 | 模型逐步指定(25 Hz) |
| 历史 | 持续对话 + 文件笔记 | 限制旧图像,保留文本摘要 | 锚点 + 最新交互的视觉前后对 |
3RoboICL:上下文与控制接口(RoboICL: Context and Control Interface)
3.1框架概览
原文
RoboICL organizes robot control as a sequence of model calls and executed actions. Its demonstration context supplies recorded examples, while its interaction memory retains experience from the current episode. Let t index model decision rounds, g denote the task instruction, and (o_t,z_t) denote the current visual observation and proprioceptive state. Demonstration context \mathcal D_K=\{D^{(k)}\}_{k=1}^{K} contains K expert demonstrations and remains fixed throughout the episode; interaction memory \mathcal M_t updates after execution. The serializer labels these sources Train and Live, respectively; Train denotes examples in the request, not parameter training. Zero-shot control uses K=0. With action dimension d_a and prediction horizon H, a fixed multimodal model \pi_\theta receives request Q_t and predicts an action chunk A_t:
Q_t=\operatorname{Serialize}(g,\mathcal D_K,\mathcal M_t,o_t,z_t), \qquad A_t\sim\pi_\theta(\,\cdot\mid Q_t),\quad A_t\in\mathbb{R}^{H\times d_a}.(1)
译文
RoboICL 把机器人控制组织为一系列模型调用和已执行动作。其示范上下文提供记录下来的示例,而交互记忆保留当前回合的经验。设 t 为模型决策轮次的索引,g 表示任务指令,(o_t,z_t) 表示当前视觉观测和本体感知状态。示范上下文 \mathcal D_K=\{D^{(k)}\}_{k=1}^{K} 包含 K 条专家示范,在整个回合中保持不变;交互记忆 \mathcal M_t 在执行后更新。序列化器分别把这两种来源标记为 Train 和 Live;Train 指请求中的示例,而非参数训练。零样本控制取 K=0。设动作维数为 d_a、预测长度为 H,一个固定的多模态模型 \pi_\theta 接收请求 Q_t 并预测动作块 A_t:
Q_t=\operatorname{Serialize}(g,\mathcal D_K,\mathcal M_t,o_t,z_t), \qquad A_t\sim\pi_\theta(\,\cdot\mid Q_t),\quad A_t\in\mathbb{R}^{H\times d_a}.(1)
解释
符号对照:t 是“第几次调用模型”,不是环境步数;一次调用产出 H 步动作,所以环境步数约为 tH。o_t 是图像,z_t 是关节角、夹爪状态、末端位姿等数值。\operatorname{Serialize} 是把各种信息排成一个多模态请求(文字 + 图片)的函数,相当于“拼提示词”。\pi_\theta 就是 GPT-6 Astra,\theta 是它的参数。A_t\sim\pi_\theta(\cdot\mid Q_t) 中的 \sim 表示“从模型输出中采样”,因为大模型的输出带有随机性。 公式 (1) 的要点:整个方法的可变部分只有 \operatorname{Serialize} 的输入怎么选、怎么排,模型本身不动。
原文
The parameters \theta remain fixed: actions are conditioned on the instruction, current state, and retained context without deployment-time gradient updates. The robot control harness calls the multimodal API directly and exposes a single
act function-call tool that accepts a continuous action chunk and a concise execution note. It requires neither an external skill library nor a general-purpose coding-agent runtime. Figure 2 summarizes the shared interaction grammar and memory design. 译文
参数 \theta 保持固定:动作以指令、当前状态和保留的上下文为条件,部署时不做梯度更新。机器人控制框架直接调用多模态 API,并只暴露一个
act 函数调用工具,它接受一个连续动作块和一条简短的执行备注。该框架既不需要外部技能库,也不需要通用编程智能体运行时。图 2 概括了共享交互语法和记忆设计。 解释
函数调用工具(function calling)是大模型 API 的标准功能:开发者声明一个函数的参数格式,模型以结构化 JSON 返回参数值。这里
act 的参数是一个 H\times d_a 的数字矩阵加一段文字备注(execution note)。备注会出现在后续请求中,相当于模型给自己留的便条,例如附录 B.1 中“下次旋转幅度要小一点”。
图 2:示范上下文与交互记忆的共享交互语法。两种来源都使用“观测—动作—回执—观测”记录。合成的示范回执描述记录区间、动作数量、目标跟踪和结果状态。执行回执报告实际执行的动作和控制器反馈。一般动作维数为 d_a,图示的 RoboDojo 接口中 d_a=14。下方面板展示瓶子任务在第 687 步的一次请求:四个固定锚点和最新一次交互,保留区间之间有显式间隔。
原图注:A shared interaction grammar for demonstration context and interaction memory. Both sources use observation–action–receipt–observation records. Synthetic demonstration receipts describe recorded intervals, action counts, target tracking, and result states. Execution receipts report realized actions and controller feedback. The general action dimension is d_a, with d_a=14 for the illustrated RoboDojo interface. The lower panel shows a bottle-task request at step 687: four fixed anchors and the latest interaction, with explicit gaps between retained intervals.
图 2 解读
上半部分两行结构完全相同,只是来源不同。第一行“Demonstration context(TRAIN · 专家示例)”:观测 + 本体感知 \to
act 调用(H\times d_a 动作矩阵)\to 合成回执(记录区间/数量、最后目标/跟踪残差、记录的结果状态)\to 结果观测。第二行“Interaction memory(LIVE · 当前回合)”:同样的四格,只是回执换成执行回执(已执行前缀/数量、未执行步数/中断、跟踪残差)。每张观测图都是左腕、头部、右腕三视角拼成的横幅。 下半部分是一次真实请求在第 687 步时的交互记忆:锚点目标为 0、140、280、420 步,实际保留的区间是 A_0=[0,15]、A_1=[133,148]、A_2=[268,283]、A_3=[418,433];之后是一个 <TRAJECTORY_GAP> 覆盖 [433,672];然后是最新交互 [672,687] 和当前观测 o_{687}。锚点之间还有较短的 <GAP>。 读法:锚点区间并不正好从 140、280 开始,而是“包含目标步的那次交互”,例如 140 落在 [133,148] 内。这个例子对应 T=700、B=5 的配置(附录 A.1),而主实验用的是 B=12 或 25。 原文
The action dimension and camera configuration depend on the embodiment. In the bimanual RoboDojo, d_a=14: each row of A_t, for i\in\{1,\ldots,H\}, specifies seven values per arm:
a_{t,i}=[\Delta p^L_{t,i},\Delta r^L_{t,i},u^L_{t,i}, \Delta p^R_{t,i},\Delta r^R_{t,i},u^R_{t,i}], \quad \Delta p,\Delta r\in\mathbb{R}^3,\quad u\in[0,1].(2)
Here, L and R identify the arms, \Delta p and \Delta r are world-frame translation and rotation-vector increments, and u is an absolute normalized gripper target (1 open, 0 closed). The controlled reference point is each arm's link-6 origin, distinct from the fingertip midpoint or a calibrated tool center point (TCP); the increments remain expressed in world-aligned axes. 译文
动作维数和相机配置取决于机器人本体。在双臂 RoboDojo 中,d_a=14:对 i\in\{1,\ldots,H\},A_t 的每一行为每只手臂指定七个值:
a_{t,i}=[\Delta p^L_{t,i},\Delta r^L_{t,i},u^L_{t,i}, \Delta p^R_{t,i},\Delta r^R_{t,i},u^R_{t,i}], \quad \Delta p,\Delta r\in\mathbb{R}^3,\quad u\in[0,1].(2)
其中 L 和 R 区分左右臂,\Delta p 和 \Delta r 是世界坐标系下的平移增量和旋转向量增量,u 是绝对的归一化夹爪目标(1 为张开,0 为闭合)。被控制的参考点是每只手臂第 6 连杆(link-6)的原点,不同于指尖中点或标定过的工具中心点(TCP);增量始终在与世界坐标对齐的坐标轴中表示。 解释
逐项解释:\Delta p=(\Delta x,\Delta y,\Delta z) 是这一步末端要移动的距离(米);\Delta r 是旋转向量(轴角表示),方向表示转轴、长度表示转角(弧度),例如 (0,0,0.02) 表示绕世界 z 轴转 0.02 弧度(约 1.1°);u 不是增量而是绝对目标,直接说“夹爪开到多大”。每只手臂 3+3+1=7 个数,两只手臂共 14 个。 为什么强调 link-6:模型控制的是机械臂法兰附近的一个点,而夹爪指尖在它前方若干厘米。如果模型以为自己在移动指尖,旋转时就会产生位置偏差。作者特意说明这一点,是因为模型需要从图像和标定信息中自己推算这个偏移。
原文
Deterministic code validates the shape and bounds, solves inverse kinematics, and executes the admissible prefix without supplying learned action proposals. At RoboDojo's 25 Hz control rate, a complete chunk represents H/25 seconds of simulated actuation, separate from model inference latency. Section 3.4 describes horizon selection; Section 4.3 reports the separate single-arm, two-camera real-robot study; Section 4.5 studies an optional gate for reusing a predicted suffix.
译文
确定性代码负责校验形状和边界、求解逆运动学,并执行可接受的前缀部分,不提供任何学习得到的动作建议。在 RoboDojo 25 Hz 的控制频率下,一个完整动作块代表 H/25 秒的仿真执行时间,与模型推理延迟无关。第 3.4 节介绍动作长度的选择;第 4.3 节报告单独进行的单臂、双相机真机研究;第 4.5 节研究一个可选的门控机制,用于复用已预测动作的后缀。
解释
“可接受的前缀”:如果动作块第 6 步超出边界或逆运动学无解,就只执行前 5 步,后面全部丢弃,并在回执中如实报告。这一机制在附录 B.1 的 Build Tower 案例中起了关键作用。“不提供学习得到的动作建议”强调动作完全来自 GPT-6 Astra,没有任何训练过的小模型在背后修正。H=15 时一个动作块只对应 0.6 秒的仿真时间,但模型一次推理要几十秒(表 4:每回合约 40–77 次调用、30–50 分钟),所以仿真是“等模型想好再动”,并非实时。
图 3:同一个冻结的 GPT-6 Astra 在三种零样本控制器设计下的比较。三个系统都接收任务、机器人状态、头部和左右腕部图像以及在线反馈,都不使用专家示范或学习得到的 VLA。官方 RoboDojo 控制器(Zhang et al., 2026)保留最近的图像和较早的文本,预测绝对抓取点位姿和夹爪指令,并规划一条最长 10 秒的关节轨迹。GPT-as-Policy Direct(Su et al., 2026)维持一个可访问工具的持续对话,预测双臂 link-6 的绝对目标,并用局部逆运动学以 25 Hz 跟踪 1–5 步。RoboICL 把三个视角拼成一张三联图,在有界锚定记忆中保留 B=25 个时间上分布的交互,并预测自适应的 H\times14 逐步手臂增量和夹爪目标序列,以 25 Hz 经校验后执行。该比较概括了上下文保留、图像打包、动作参数化和执行长度如何区分这三种零样本控制器。
原图注:Same frozen GPT-6 Astra under three zero-shot controller designs. All three systems receive the task, robot state, head and bilateral-wrist images, and online feedback, without expert demonstrations or a learned VLA. The official RoboDojo controller (Zhang et al., 2026) retains recent images and older text, predicts absolute grasp-point poses and gripper commands, and motion-plans a joint trajectory lasting up to 10 s. GPT-as-Policy Direct (Su et al., 2026) maintains a persistent tool-accessible conversation, predicts absolute dual-arm link-6 targets, and tracks them with local inverse kinematics for 1–5 steps at 25 Hz. RoboICL stitches the three views into one triptych, retains B=25 temporally distributed interactions in bounded anchored memory, and predicts an adaptive H\times14 sequence of per-step arm increments and gripper targets for validated execution at 25 Hz. The comparison summarizes how context retention, image packaging, action parameterization, and execution horizon distinguish the three zero-shot controllers.
图 3 解读
三栏分别是三种控制器,从上到下是同样的五层流水线:图像输入 \to 历史保留 \to 模型 \to 动作形式 \to 执行 \to 反馈(箭头从底部回到历史层,表示闭环)。 RoboDojo 官方(左):三张独立图像;历史为“最近的图像 + 较早的文字”(最近 2 轮观测);GPT-6 Astra 通过 Responses API、推理强度
medium;输出绝对抓取点位姿 + 夹爪指令;运动规划生成关节轨迹,时长可变;反馈为实测状态与目标的误差。 GPT-as-Policy Direct(中):三张独立图像附件;历史为持续对话,可按需访问历史文件、笔记和图像;GPT-6 Astra 运行在 Codex 环境中、推理强度 xhigh;输出绝对 link-6 目标 + 二值夹爪;局部逆运动学跟踪 1–5 步;反馈为状态和终局结果。 RoboICL(右):一张拼接的 1920\times480 三联图;有界锚定记忆(B=25,锚点之间用 <TRAJECTORY_GAP> 分隔);GPT-6 Astra 通过 Responses API、推理强度 xhigh;输出 H\times14 增量矩阵;校验 + 逆运动学 + 执行,H=5–25;反馈为执行前缀 + 控制事件的回执。 正文未提到的差别:图中标出官方控制器使用 medium 推理强度,而 RoboICL 使用 xhigh。因此 RoboICL 相对“官方零样本 GPT-6 Astra”的增益(图 1、表 2)不全是上下文设计带来的,有一部分可能来自更高的推理强度。与 GPT-as-Policy Direct 的比较(表 1)两者推理强度相同,更能说明上下文和动作接口本身的作用。 3.2共享交互语法
原文
Each request places the task instruction and demonstration context first, followed by interaction memory and the current observation and robot state. Both sources use the same interaction grammar. An interaction indexed by j has the record
c_j=\bigl((o_j,z_j),A_j,r_j,(o_{j+1},z_{j+1})\bigr),(3)
where (o_j,z_j) and (o_{j+1},z_{j+1}) are the states before and after the interaction. In interaction memory, A_j is the proposed action chunk, and r_j reports predicted, dispatched, and executed step counts, the executed interval, target tracking, and controller interruptions. These counts identify any unexecuted suffix of A_j. 译文
每个请求先放任务指令和示范上下文,再放交互记忆以及当前观测和机器人状态。两种来源使用相同的交互语法。索引为 j 的一次交互记录为
c_j=\bigl((o_j,z_j),A_j,r_j,(o_{j+1},z_{j+1})\bigr),(3)
其中 (o_j,z_j) 和 (o_{j+1},z_{j+1}) 是交互前后的状态。在交互记忆中,A_j 是提出的动作块,r_j 报告预测、下发和实际执行的步数、已执行的区间、目标跟踪情况以及控制器中断。这些计数可以指出 A_j 中任何未执行的后缀。 解释
公式 (3) 是一个四元组:之前看到什么、做了什么、做得怎样、之后看到什么。“预测/下发/执行”三个计数的区别:模型预测了 15 步,可能只下发 10 步(例如动作复用时),实际执行又可能因越界只完成 5 步。把三个数都写进回执,模型就能知道“我的计划只执行了三分之一”,从而在下一次请求中调整。顺序安排:固定内容(指令、示范)在前,变化内容(记忆、当前观测)在后,这也服务于 3.4 节的缓存复用。
原文
In demonstration context, r_j is a synthetic receipt constructed from the recorded actions and endpoint states. It contains the source interval, action counts and indices, an action-ledger hash, the last target, its tracking residual relative to the recorded result state, and the sampled endpoint indices. All recorded actions in the selected block are represented as executed; the receipt is not measured deployment-time controller feedback. The shared grammar makes both sources readable through the same tool-call interface while preserving their provenance.
译文
在示范上下文中,r_j 是根据记录的动作和端点状态构造的合成回执。它包含来源区间、动作数量和索引、一个动作账本哈希、最后一个目标、该目标相对于记录结果状态的跟踪残差,以及采样的端点索引。所选片段中的所有记录动作都被表示为已执行;该回执并不是部署时实测的控制器反馈。共享语法使两种来源可以通过同一个工具调用接口读取,同时保留各自的出处。
解释
示范是事先录好的,没有“执行回执”可言,所以作者按同样的字段“伪造”一份:区间、动作数、最后目标与实际到达位置之差等。动作账本哈希(action-ledger hash)是对动作序列计算的校验码,主要用于工程上核对“上下文里的动作确实是原始示范动作、没被改写”,对模型决策作用不大。跟踪残差告诉模型“示范中最后一个指令目标与机器人实际到达的位置差多少”,帮助模型理解指令与实际运动之间的偏差。“通过同一个工具调用接口读取”指示范片段也被写成一次
act 调用及其返回,与模型自己的调用格式完全一致。 原文
Only positive-length executed transitions are committed to anchored memory. A rejection that executes no commands remains in the immediate request tail, allowing correction from the same state without allocating another anchor. Pending correction calls and receipts are serialized with the next positive-length transition; a retained chunk can therefore contain several correction exchanges in addition to the transition in Equation (3).
译文
只有实际执行了至少一步的转移才会写入锚定记忆。一次未执行任何指令的拒绝会留在当前请求的末尾,使模型可以从同一状态进行纠正,而不占用新的锚点。待处理的纠正调用及其回执会与下一次执行长度为正的转移一起序列化;因此,一个保留的片段除了公式 (3) 中的转移之外,还可能包含若干次纠正交换。
解释
举例:模型提出的动作第 1 步就越界,被整体拒绝,机器人一动没动。此时没有“之后的观测”可言,若也占一个记忆槽位就浪费了。作者的处理是:把这次失败的调用和拒绝原因暂时挂在请求末尾,模型据此重新出动作;等下一次真正执行成功时,把“失败调用 + 回执 + 成功调用”打包成一条记录写入记忆。这样记忆里既保留了“试错过程”,又不浪费槽位。
原文
RoboDojo observations concatenate synchronized left-wrist, head, and right-wrist RGB views into a 1920\times480 triptych. Proprioception includes joint states, gripper command states, and end-effector poses; the request also provides head-camera calibration and the public task description and scoring rubric. Camera geometry, action bounds, inverse kinematics, and validation are handled outside the learned policy. Implementation details are provided in the RoboICL codebase.
译文
RoboDojo 的观测把同步的左腕、头部和右腕 RGB 视图拼接成一张 1920\times480 的三联图。本体感知包括关节状态、夹爪指令状态和末端执行器位姿;请求还提供头部相机标定以及公开的任务描述和评分细则。相机几何、动作边界、逆运动学和校验都在学习得到的策略之外处理。实现细节见 RoboICL 代码库。
解释
三张 640\times480 的图横向拼成一张,宽 3\times640=1920。拼图的好处是每个时间点只占一个“图片名额”(API 每次最多 50 张图),并且三个视角严格同步。值得注意的是请求中提供了评分细则(scoring rubric):模型知道怎样算得分,例如 Deposit Coin 要求硬币进入投币口且双臂回到原位。这是合理的任务说明,但也意味着模型可以针对评分规则来规划,比较时应知道这一点。“学习得到的策略”在此即指 GPT-6 Astra。
3.3有界锚定记忆
原文
After decision round t, execution receipt r_t and the next observation (o_{t+1},z_{t+1}) complete interaction c_t. Interaction memory incorporates this evidence through
\mathcal M_{t+1}=\operatorname{Update}(\mathcal M_t,c_t),(4)
where the deterministic update operator applies a bounded retention policy. Let T be the episode's maximum environment steps and B memory slots, the first B-1 retain fixed temporal anchors with targets \tau_i=\lfloor iT/B\rfloor for i=0,\ldots,B-2, and the final slot retains the latest interaction. This bounds detailed visual history independently of episode length. Explicit <TRAJECTORY_GAP> records omitted intervals so that separated observations do not appear adjacent. 译文
在决策轮次 t 之后,执行回执 r_t 和下一次观测 (o_{t+1},z_{t+1}) 补全交互 c_t。交互记忆通过下式吸收这一证据:
\mathcal M_{t+1}=\operatorname{Update}(\mathcal M_t,c_t),(4)
其中确定性的更新算子执行一种有界保留策略。设 T 为回合的最大环境步数,B 为记忆槽位数:前 B-1 个槽位保留固定的时间锚点,目标为 \tau_i=\lfloor iT/B\rfloor,i=0,\ldots,B-2;最后一个槽位保留最新一次交互。这样,详细视觉历史的规模就与回合长度无关。显式的 <TRAJECTORY_GAP> 记录被省略的区间,使相隔较远的观测不会显得相邻。 解释
算一个例子:T=700、B=5 时,锚点目标为 \lfloor 0\rfloor=0、\lfloor 700/5\rfloor=140、280、420,共 B-1=4 个,再加 1 个最新交互槽位。注意锚点只覆盖到 (B-2)T/B,即 420 步,从 420 到当前步之间只靠“最新交互”一个槽位。主实验中 B=25(零样本)时,锚点间隔为 T/25,例如 T=1050 时每 42 步一个锚点。确定性意味着同样的执行历史总会保留同样的片段,便于复现和缓存。\lfloor\cdot\rfloor 为向下取整。
原文
Demonstration context shares the same constructing method. RoboICL selects J non-overlapping interaction chunks per demonstration, retaining each block's start observation, recorded expert actions, synthetic receipt, and result observation in the format of Equation (3). The deterministic preparation procedure uses approximately uniform temporal targets, adjusted to action-valid windows while preserving trajectory endpoints. Gap markers identify omitted segments. Demonstration blocks provide procedural examples, while memory blocks expose rollout-specific progress and errors. Appendix A.1 specifies the selection rules and terminal-side exceptions.
译文
示范上下文采用相同的构造方法。RoboICL 从每条示范中选出 J 个互不重叠的交互片段,以公式 (3) 的格式保留每个片段的起始观测、记录的专家动作、合成回执和结果观测。这一确定性的准备过程使用近似均匀的时间目标,并调整到动作有效的窗口,同时保留轨迹两端。间隔标记指出被省略的段落。示范片段提供流程上的示例,而记忆片段展示本次推演特有的进展和错误。附录 A.1 给出选择规则及轨迹末端的例外情况。
解释
示范片段的长度等于动作块长度 H,即一个片段恰好是“一次
act 调用”的示范版本。“动作有效”是指片段内每一步的位移和旋转都在允许范围内,避免给模型看一个它自己根本无法输出的动作。“保留轨迹两端”保证模型看到任务如何开始、如何结束。两类片段的分工:示范教“该怎么做”,记忆告诉“我做到哪了、哪里出错了”。 原文
The anchor design follows this in-context learning view: both demonstration context (TRAIN) and interaction memory (LIVE) retain complete interactions distributed over the trajectory, making earlier task stages available alongside recent feedback. A recent-only window preserves the same interaction grammar but progressively drops those earlier visual transitions; the latest-interaction slot preserves immediate feedback within our distributed selection.
译文
锚点设计遵循这一上下文学习视角:示范上下文(TRAIN)和交互记忆(LIVE)都保留分布在整条轨迹上的完整交互,使较早的任务阶段与最近的反馈同时可用。只保留最近若干步的窗口虽然保持同样的交互语法,但会逐渐丢掉那些较早的视觉转移;而最新交互槽位则在我们的分布式选择中保留了即时反馈。
解释
这段是锚定设计的理由,对应第 4.1 节的对照实验:“首个 + 最近 11 个”得 73.50,锚定得 80.25。直觉是:长任务中,早期阶段的动作结果(例如“第一个积木放在哪了”)对后续决策仍然重要,而“滑动窗口”会把它们挤掉。
原文
The evaluated API configuration limits each request to 50 images. Retained interaction endpoints contribute at most 2KJ+2B triptychs before deduplication; separately retained terminal observations add to this count. Shared endpoints are emitted once, and a pre-inference budget check reserves capacity for the full configured interaction memory. Thus demonstration coverage and interaction memory must be allocated jointly. Section 4.1 compares allocations and specifies the main zero- and one-shot budgets, including terminal-observation exceptions. The three-shot scaling study uses K=3, J=5, and B=5 (40 endpoints). Gap metadata and other serialized text fall outside this image bound; total tokens and inference cost vary with episode length and replanning.
译文
所评测的 API 配置限制每个请求最多 50 张图片。保留的交互端点在去重前最多贡献 2KJ+2B 张三联图;单独保留的终止观测另计。共享的端点只发送一次,推理前的预算检查会为完整配置的交互记忆预留容量。因此,示范覆盖与交互记忆必须统一分配。第 4.1 节比较了不同分配方式,并给出主实验零样本和单样本的预算,包括终止观测的例外情况。三样本扩展实验使用 K=3、J=5、B=5(40 个端点)。间隔元数据和其他序列化文本不受这一图片上限约束;总 token 数和推理成本随回合长度和重新规划次数而变化。
解释
预算算术:每个片段有前后两张图,所以 K 条示范各 J 个片段共 2KJ 张,记忆 B 个片段共 2B 张。单样本主配置 K=1,J=B=12:2\times12+2\times12=48\le50;零样本 B=25:2\times25=50,正好用满;三样本 K=3,J=5,B=5:30+10=40。“去重”是指相邻片段若首尾相接,同一张图只发一次,实际张数可能更少。这一上限正是第 4.1 节研究“J 和 B 怎么分”的原因:给示范的图多了,留给记忆的就少了。
3.4兼顾效率的上下文与执行
原文
Stable prefixes for cache reuse. Bounded memory is also organized to avoid rewriting reusable context. The task instruction, demonstration messages, and fixed camera calibration form a fixed prefix. Within interaction memory, completed anchors and the closed gaps preceding them remain unchanged as the episode advances. The latest non-anchor interaction, the still-growing gap before it, and pending corrections form a mutable suffix. The request view is built separately from the stored observations and exchanges, so pruning does not modify the archived experience.
译文
用于缓存复用的稳定前缀。有界记忆的组织方式还力求避免改写可复用的上下文。任务指令、示范消息和固定的相机标定构成固定前缀。在交互记忆中,已完成的锚点及其之前已闭合的间隔在回合推进过程中保持不变。最新的非锚点交互、它之前仍在增长的间隔以及待处理的纠正构成可变后缀。请求视图与存储的观测和交换记录分开构建,因此裁剪不会修改归档的经验。
解释
为什么关心“前缀”:大模型服务商通常对“与上一次请求开头完全相同的部分”做 KV 缓存,命中缓存的 token 更便宜、更快。所以请求越是“前面不变、只在末尾追加”,越省钱。锚点一旦确定就不再变化,这一点恰好让记忆的大部分成为稳定前缀;只有末尾的“最新交互”和它前面那段间隔会变。相比之下,“最近 N 步滑动窗口”每次都会把最早的一条挤出去,整个记忆部分都要重新计算。
原文
Demonstration and live observations use the same image-encoding path, preserving unchanged image bytes across requests. Where supported by the model endpoint, cache-boundary hints are placed on text delimiters after complete observations or closed gaps within the stable prefix; mutable suffix content is left unmarked. This keeps completed context eligible for cache reuse as the episode advances. Section 4.4 measures realized cache reuse from provider-reported token counters, and Appendix C.1 verifies stable request prefixes.
译文
示范观测和实时观测使用相同的图像编码路径,使未改变的图像在不同请求之间保持字节完全一致。在模型端点支持的情况下,缓存边界提示被放在稳定前缀中完整观测或已闭合间隔之后的文本分隔符上;可变后缀内容不加标记。这样,随着回合推进,已完成的上下文始终有资格被缓存复用。第 4.4 节根据服务商报告的 token 计数器测量实际的缓存复用,附录 C.1 验证了请求前缀的稳定性。
解释
缓存是逐字节匹配的:同一张图如果两次 JPEG 压缩参数不同,字节就不同,缓存就失效。所以作者强调“同一条编码路径”。缓存边界提示(cache-boundary hints)是部分 API 提供的功能,开发者可以标记“到这里为止可以缓存”。第 4.4 节的实测结果是加权命中率 92.4%。
原文
Step-limit-based action horizons. Action chunks amortize one model inference over several robot steps, while shorter chunks admit more frequent visual correction. We assign the RoboDojo prediction and execution horizon from the public task step limit T:
H(T)= \begin{cases} 5, & T\le400,\\ 10, & 400<T\le700,\\ 15, & 700<T\le1100,\\ 20, & 1100<T\le1600,\\ 25, & T>1600. \end{cases}(5)
The mapping is fixed within each episode and shared across the main zero- and one-shot conditions. With full execution and no early termination, the nominal call count is \lceil T/H\rceil; rejections and interrupted chunks can require additional calls. The design therefore trades inference frequency against feedback delay through one shared rule rather than a separate horizon for each layout or shot count. The main benchmarks use this controller without the Jev gate. 译文
基于步数上限的动作长度。动作块把一次模型推理分摊到多个机器人步上,而较短的动作块允许更频繁的视觉纠正。我们根据公开的任务步数上限 T 为 RoboDojo 指定预测和执行长度:
H(T)= \begin{cases} 5, & T\le400,\\ 10, & 400<T\le700,\\ 15, & 700<T\le1100,\\ 20, & 1100<T\le1600,\\ 25, & T>1600. \end{cases}(5)
这一映射在每个回合内固定,并在主实验的零样本和单样本条件之间共享。在完整执行且没有提前终止的情况下,名义调用次数为 \lceil T/H\rceil;拒绝和被中断的动作块可能需要额外的调用。因此,该设计用一条共享规则在推理频率与反馈延迟之间进行权衡,而不是为每个布局或示范数量单独设定长度。主基准实验使用这一控制器,不加 Jev 门控。 解释
代入算一算:T=700 时 H=10,名义调用 \lceil700/10\rceil=70 次;T=1050 时 H=15,名义调用 70 次;T=2000 时 H=25,名义调用 80 次。可以看出这条规则的效果是把每个回合的名义调用次数限制在约 40–80 次(例如 T=401 时 H=10,只需 41 次;T=400 时 H=5,需要 80 次),任务越长,每次执行越多步。代价是长任务中模型每 1 秒(25 步)才看一次画面,精细操作时可能来不及纠正。表 4 中 Build Tower 零样本平均 77.4 次调用,接近这一名义值;单样本只用了 40.2 次,说明任务提前完成。\lceil\cdot\rceil 为向上取整。
4实验(Experiments)
原文
We first establish a common context configuration, then evaluate simulation performance from a ten-task panel to broader category coverage. We next test demonstration conditioning on a real robot, measure inference cost and cache reuse, and reduce model calls through Jev-gated action reuse.
译文
我们首先确定一个通用的上下文配置,然后从十任务对比扩展到更广的类别覆盖,评估仿真性能。接着在真机上检验以示范为条件的控制,测量推理成本和缓存复用,并通过 Jev 门控的动作复用减少模型调用。
解释
实验分五块:4.1 定配置,4.2 仿真主结果(表 1、表 2),4.3 真机(图 6、图 7、表 3),4.4 成本(表 4、图 8),4.5 Jev(表 5)。
4.1评测协议与上下文配置
原文
We evaluate simulated bimanual manipulation on RoboDojo (Chen et al., 2026b). Throughout the paper, progress score denotes normalized task credit on a 0–100 scale; its mean is distinct from the fraction of episodes that complete the task. RoboDojo uses its native scoring rules, while the real-robot study assigns credit to predefined stages. Layouts are evaluated at seed zero; Overall is an unweighted mean of task means. Each task uses the step-limit-based horizon in Equation (5), fixed within an episode and shared between the main zero- and one-shot conditions.
译文
我们在 RoboDojo(Chen et al., 2026b)上评估仿真双臂操作。全文中,进度分指 0–100 范围内归一化的任务得分;其均值不同于完成任务的回合比例。RoboDojo 使用其原生评分规则,真机研究则按预先定义的阶段给分。各布局在种子 0 下评测;总分(Overall)是各任务均值的不加权平均。每个任务使用公式 (5) 中基于步数上限的动作长度,在回合内固定,并在主实验的零样本和单样本条件之间共享。
解释
进度分与成功率的区别:若某任务有两个子目标,5 个回合中 3 个完成全部(100 分)、2 个只完成一半(50 分),平均进度分为 80,而成功率只有 60%。阅读后文所有表格都要记住这一点。布局(layout)指物体初始位置等场景配置;种子 0 意味着每个布局只跑一次随机种子,没有对模型输出的随机性取平均。“不加权平均”指每个任务权重相同,不论评测了 20 次还是 50 次。
原文
Choosing a shared context allocation. With K demonstrations, J blocks per demonstration, and B memory blocks, the total retained interaction budget is C=KJ+B. The one-shot study fixes C=24 and compares (J,B)\in\{(8,16),(12,12),(16,8),(22,2)\} on four tasks with five layouts each. Figure 4 gives four-task mean progress scores of 57.50, 80.25, 80.00, and 60.75, respectively. We select the balanced J=B=12 allocation because it achieves the highest aggregate score and use it for all main one-shot results. Build Tower and Insert Tubes also show why interaction memory cannot be reduced to two slots simply to retain denser demonstrations.
译文
选择通用的上下文分配。设有 K 条示范、每条示范 J 个片段、B 个记忆片段,则保留交互的总预算为 C=KJ+B。单样本研究固定 C=24,在四个任务(每个任务五个布局)上比较 (J,B)\in\{(8,16),(12,12),(16,8),(22,2)\}。图 4 给出的四任务平均进度分分别为 57.50、80.25、80.00 和 60.75。我们选择均衡的 J=B=12 分配,因为它取得最高的总体分数,并将其用于所有主要的单样本结果。Build Tower 和 Insert Tubes 也说明了为什么不能为了保留更密集的示范而把交互记忆压缩到两个槽位。
解释
C=24 对应 48 张端点图,留出 2 张余量给终止观测等例外。需要注意:(12,12) 的 80.25 与 (16,8) 的 80.00 只差 0.25 分,按每个任务 5 个布局的样本量,这一差别没有统计意义,二者应视为并列最佳。真正可靠的结论是两端都不好:示范太稀(J=8)时 Build Tower 只有 50 分,记忆太少(B=2)时 Build Tower 降到 64、Put Bottles 降到 43。
图 4:扩展交互记忆与分配示范上下文。每个点是一个任务在五个布局上的平均进度分。横轴为 J/B:保留的示范片段数和交互记忆片段数。左(蓝色):没有示范(J=0)时,增大 B 可以保留更多机器人自身的经验,图中 Build Tower 和 Cover Blocks 的分数上升。右(米色):在 J+B=24 的条件下以不同密度采样一条示范。中间的分配 (12,12) 和 (16,8) 取得最高的四任务均值;把 22 个片段分给示范、只留两个给交互记忆,会使三个任务的分数下降。因此,仅靠更密集的示范覆盖并不能保证更好的控制。虚线连接零样本和单样本配置,二者之间示范内容和记忆容量都发生了变化。
原图注:Scaling interaction memory and allocating demonstration context. Each point is a task's mean progress score over five layouts. The horizontal axis gives J/B: retained demonstration blocks and interaction-memory blocks. Left (blue): without demonstrations (J=0), increasing B retains more of the robot's own experience. The plotted scores rise for Build Tower and Cover Blocks. Right (beige): one demonstration is sampled at different densities while J+B=24. The intermediate allocations (12,12) and (16,8) achieve the highest four-task means; allocating 22 blocks to the demonstration and only two to interaction memory lowers scores on three tasks. Thus, denser demonstration coverage alone does not guarantee better control. Dashed links connect the zero- and one-shot configurations, where both demonstration content and memory capacity change.
图 4 解读
横轴从左到右是七种配置:零样本 0/5、0/15、0/25(浅蓝背景),单样本 8/16、12/12、16/8、22/2(米色背景)。纵轴是平均进度分。四条线分别是 Build Tower(蓝圆)、Cover Blocks(绿方)、Put Bottles into Dustbin(橙三角)、Insert Tubes(粉菱形)。 左半部分(零样本,只增加记忆):Cover Blocks 从 20 升到 41 再到 64,增长最明显;Build Tower 从约 6 升到 16,仍然很低;Put Bottles 从 76 略降到 70;Insert Tubes 在 12–16 之间波动。说明记忆越多越好主要对 Cover Blocks 这种“需要记住初始状态”的任务成立。 右半部分(单样本,固定总预算):从图中读数,8/16 时四个任务约为 50、80、76、24(均值 57.50);12/12 时为 100、100、73、48(均值 80.25);16/8 时为 100、100、76、44(均值 80.00);22/2 时为 64、100、43、36(均值 60.75)。Build Tower 从零样本的 16 跳到单样本的 100,是示范作用最大的任务;Cover Blocks 在单样本下几乎总是 100。 虚线从 0/25 连到 8/16,提醒读者这两点之间同时改变了“有无示范”和“记忆槽位数”两个因素,不能把差值完全归因于示范。
原文
Anchored versus recent interaction memory. At the selected one-shot allocation (K=1, J=B=12), we compare anchored memory with a first-plus-recent selector that retains the first complete interaction and the latest 11 complete interactions. Demonstration blocks, all other controller settings, and the image cap are unchanged. On the same four tasks and five layouts per task used in the context-allocation study, the first-plus-recent variant achieves a mean progress score of 73.50, compared with 80.25 for the previously evaluated anchored setting.
译文
锚定记忆与最近记忆的比较。在选定的单样本分配(K=1,J=B=12)下,我们把锚定记忆与一种“首个 + 最近”选择器进行比较,后者保留第一次完整交互和最近 11 次完整交互。示范片段、其他所有控制器设置以及图片上限都保持不变。在上下文分配研究所用的同样四个任务、每个任务五个布局上,“首个 + 最近”变体的平均进度分为 73.50,而先前评测的锚定设置为 80.25。
解释
这是本文最干净的一个消融:只改记忆选择策略,槽位数(12)都一样。两者都保留了第一次交互,所以差别只在于其余 11 个槽位是“均匀分布在整个回合”还是“集中在最近”。差 6.75 分。
原文
The respective gains from anchored memory are 14 points on Build Tower, 9 on Put Bottles into Dustbin, and 4 on Insert Tubes; both selectors score 100 on Cover Blocks. This controlled comparison supports the benefit of retaining temporally distributed interactions beyond the initial interaction and recent history under the evaluated one-shot configuration. Because these tasks and layouts also informed context allocation, validation on held-out tasks and layouts remains necessary to establish generality.
译文
锚定记忆带来的增益分别是:Build Tower 14 分,Put Bottles into Dustbin 9 分,Insert Tubes 4 分;在 Cover Blocks 上两种选择器都得 100 分。这一受控比较支持如下结论:在所评测的单样本配置下,除了初始交互和最近历史之外,保留时间上分布的交互是有益的。由于这些任务和布局也被用来确定上下文分配,仍需在留出的任务和布局上进行验证,才能确立其普适性。
解释
算术核对:锚定为 100、100、73、48;减去增益得“首个 + 最近”为 86、100、64、44,均值 (86+100+64+44)/4=73.5,与原文一致。Cover Blocks 两者相同,因为它需要的关键信息(初始画面)两种策略都保留了。作者坦承这里的任务既用于调参又用于评估,是一种“在开发集上报告结果”,这种自我限定值得肯定。
原文
Main zero- and one-shot settings. The main one-shot setting uses one task-specific demonstration with J=B=12, yielding at most 48 retained endpoint images before deduplication. Play Tic-Tac-Toe and Play Stacking Toy additionally retain a terminal demonstration observation, for at most 49 images. Zero-shot control assigns the budget to interaction memory alone (K=0, B=25); Open and Classify Objects by Language use this setting because task-specific demonstrations are unavailable. Figure 4 also reports the B\in\{5,15,25\} zero-shot study. These defaults remain fixed across the following benchmark panels.
译文
主实验的零样本与单样本设置。主要的单样本设置使用一条任务专属示范,J=B=12,去重前最多保留 48 张端点图。Play Tic-Tac-Toe 和 Play Stacking Toy 额外保留一张示范的终止观测,最多 49 张图。零样本控制把预算全部分给交互记忆(K=0,B=25);Open 类别和 Classify Objects by Language 使用这一设置,因为没有可用的任务专属示范。图 4 也报告了 B\in\{5,15,25\} 的零样本研究。这些默认设置在后续所有基准对比中保持不变。
解释
注意 Classify Objects by Language 属于 Open 类别(见表 2),所以“Open 和 Classify Objects by Language”是同一类,原文是强调表 1 中该任务也用零样本,即表 1 中带 \dagger 的那一格。终止观测的例外详见附录 A.1:这两个任务的最后一个示范片段没有覆盖到轨迹真正的结尾,需要额外补一张结尾画面。
4.2仿真基准结果
原文
We first compare ten tasks with five requested layouts against GPT-as-Policy Direct, then expand to the four RoboDojo categories shared with the official leaderboard.
译文
我们先在十个任务(每个任务请求五个布局)上与 GPT-as-Policy Direct 比较,再扩展到与官方排行榜共享的四个 RoboDojo 类别。
解释
两组实验的定位不同:十任务对比是与同类方法(同样用冻结 GPT-6 Astra 的 GPT-as-Policy)比较,样本小;30 任务对比是与排行榜上的 VLA/WAM 比较,覆盖全面。
原文
Zero-shot baselines. Zero-shot denotes the absence of supplied expert demonstrations, not the absence of task descriptions, online history, or execution feedback. Figure 3 distinguishes the official RoboDojo baseline in Figure 1, GPT-as-Policy Direct in Table 1, and zero-shot RoboICL. All three use a frozen GPT-6 Astra without a learned VLA, but differ in their context and control interfaces.
译文
零样本基线。零样本指没有提供专家示范,而不是没有任务描述、在线历史或执行反馈。图 3 区分了图 1 中的官方 RoboDojo 基线、表 1 中的 GPT-as-Policy Direct 以及零样本 RoboICL。三者都使用冻结的 GPT-6 Astra,都不使用学习得到的 VLA,但上下文接口和控制接口不同。
解释
这里澄清“零样本”的含义,避免误解。在机器人学习中,“零样本”有时指“从未见过该任务的任何数据”,但本文的零样本模型仍能读到任务描述、评分细则,并在执行中积累经验,只是没有专家示范。
原文
The official controller plans joint trajectories to absolute grasp-point targets, with distance-dependent durations of at most 10 s and associated gripper commands after arm arrival. Direct instead uses local inverse kinematics to track absolute dual-arm link-6 targets for 1–5 control steps at 25 Hz; RoboICL executes a validated prefix of its per-step action matrix with task-adaptive H\in\{5,10,15,20,25\}. All three observe the head and bilateral wrist cameras. The official controller sends three separate image content items.
译文
官方控制器规划到绝对抓取点目标的关节轨迹,持续时间随距离而定、最长 10 秒,手臂到位后再执行相应的夹爪指令。Direct 则用局部逆运动学以 25 Hz 跟踪双臂 link-6 的绝对目标 1–5 个控制步;RoboICL 执行其逐步动作矩阵中经过校验的前缀,动作长度随任务自适应,H\in\{5,10,15,20,25\}。三者都观测头部和左右腕部相机。官方控制器发送三个独立的图像内容项。
解释
三者每次调用后机器人“动多久”差别很大:官方控制器一次可以走 10 秒(250 步),Direct 只走 1–5 步(0.04–0.2 秒),RoboICL 走 5–25 步(0.2–1 秒)。官方控制器的长轨迹意味着调用少、但中途无法纠正,这正是它在 Precision 类任务上表现差的一个可能原因。
原文
The released Direct runner likewise attaches three separate camera previews, each resized to a maximum edge of 480 pixels by default, while keeping originals accessible through tools. RoboICL concatenates three native 640\times480 views into one 1920\times480 triptych per observation; each retained endpoint therefore occupies one image slot while preserving all three views. RoboICL deterministically selects temporally distributed observation–action–receipt–observation records for every request. Appendix A.2 compares action tools and history retention in concurrent work.
译文
公开发布的 Direct 运行程序同样附上三张独立的相机预览图,默认每张缩放到最长边 480 像素,同时通过工具保留访问原图的能力。RoboICL 把三张原生 640\times480 视图拼接为每次观测一张 1920\times480 的三联图;因此每个保留的端点只占一个图片名额,同时保留全部三个视角。RoboICL 为每个请求确定性地选择时间上分布的“观测—动作—回执—观测”记录。附录 A.2 比较了同期工作中的动作工具和历史保留方式。
解释
图像分辨率也是一个隐含变量:Direct 默认把每张图缩到最长边 480(即 480\times360),RoboICL 使用原生 640\times480。对于 Deposit Coin 这类需要毫米级对准的任务,更高分辨率可能有帮助。因此 RoboICL 与 Direct 的差距中,除了上下文结构,也包含图像分辨率、动作形式等多个因素,并非单一变量的消融。
原文
Comparison with GPT-as-Policy. Direct and RoboICL each request five layouts per task on the ten-task panel in Table 1, compared with 50 episodes per task in the official evaluation. We aggregate both methods by equally averaging task means. Table 1 reports 60.60 for the main setting versus 45.60 for zero-shot RoboICL and 38.50 for GPT-as-Policy Direct, a 22.10-point improvement over Direct. The main setting is higher than Direct on six tasks, lower on three, and tied on one; it is within 2.00 points of the hybrid VLA–VLM mean of 62.60. Zero-shot RoboICL also exceeds Direct by 7.10 points. The largest increase from zero to one shot is on Build Tower, from 16 to 100. Imitate Sorting Sequence remains at 90, and Put Bottles into Dustbin changes only from 70 to 73, while Classify Objects drops from 100 to 71.
译文
与 GPT-as-Policy 的比较。在表 1 的十任务对比中,Direct 和 RoboICL 每个任务各请求五个布局,而官方评测每个任务 50 个回合。两种方法都按各任务均值等权平均来汇总。表 1 显示主设置为 60.60,零样本 RoboICL 为 45.60,GPT-as-Policy Direct 为 38.50,主设置比 Direct 高 22.10 分。主设置在六个任务上高于 Direct,三个任务上低于 Direct,一个任务持平;与 VLA–VLM 混合方法的均值 62.60 相差不到 2.00 分。零样本 RoboICL 也比 Direct 高 7.10 分。从零样本到单样本增幅最大的是 Build Tower,从 16 升到 100。Imitate Sorting Sequence 保持 90,Put Bottles into Dustbin 只从 70 变为 73,而 Classify Objects 从 100 降到 71。
解释
算术核对:60.60-38.50=22.10;45.60-38.50=7.10;62.60-60.60=2.00,均一致。逐任务比较单样本与 Direct:高于 Direct 的是 Organize(50 对 30)、Imitate(90 对 0)、Arrange(58 对 57)、Build Tower(100 对 12)、Fold(84 对 40)、Put Bottles(73 对 36),共 6 个;低于的是 Classify by language(44 对 60)、Pack(36 对 50)、Classify objects(71 对 100),共 3 个;Mahjong 都是 0,持平。 示范并非总有帮助:Classify Objects 从 100 降到 71,Arrange largest number 从 71 降到 58。一个可能的解释是示范占用了记忆槽位(B 从 25 降到 12),而这类任务更依赖模型自己的观察和推理;另一个是示范的具体做法与当前布局不匹配时反而会误导模型。原文没有分析这些下降。
表 1:十任务 RoboDojo 对比。平均进度分(0–100);总分为十个任务均值的平均。Direct 指 GPT-as-Policy 基于 Codex 的控制器(Su et al., 2026);图 3 将其与官方基线和 RoboICL 进行了比较。RoboICL 使用随任务而定的动作长度,零样本时 B=25,单样本时 J=B=12。外部方法的各列保留其发表时的评测协议(Zhang et al., 2026; Su et al., 2026)。RoboICL 每个任务目标为五个布局,对有效分数取平均;\dagger 表示沿用零样本结果。
| VLA / WAM | 混合 | 零样本 | 单样本 | ||||
| 任务 | Galaxea G0.5 | OpenWAM \alpha | \pi_{0.5} | GPT-6 Astra +\pi_{0.5} | GPT-6 Astra Direct | GPT-6 Astra RoboICL | GPT-6 Astra RoboICL |
| Organize the table(整理桌面) | 46.33 | 62.50 | 23.33 | 60.00 | 30.00 | 45.00 | 50.00 |
| Classify by language(按语言分类) | 1.07 | 1.33 | 0.60 | 38.00 | 60.00 | 44.00 | 44.00^\dagger |
| Imitate sorting sequence(模仿排序顺序) | 1.67 | 2.90 | 1.60 | 53.00 | 0.00 | 90.00 | 90.00 |
| Arrange largest number(排出最大数) | 4.11 | 4.36 | 2.29 | 50.00 | 57.00 | 71.00 | 58.00 |
| Pack objects into a box(物体装箱) | 17.12 | 20.83 | 18.36 | 50.00 | 50.00 | 16.00 | 36.00 |
| Classify objects(物体分类) | 10.33 | 5.53 | 24.67 | 71.00 | 100.00 | 100.00 | 71.00 |
| Build Tower(搭塔) | 82.93 | 52.53 | 37.73 | 64.00 | 12.00 | 16.00 | 100.00 |
| Make a Kong in Mahjong(麻将开杠) | 90.00 | 32.00 | 26.67 | 40.00 | 0.00 | 0.00 | 0.00 |
| Fold clothes(叠衣服) | 32.75 | 51.31 | 29.12 | 100.00 | 40.00 | 4.00 | 84.00 |
| Put bottles in a bin(瓶子入桶) | 96.30 | 94.03 | 79.93 | 100.00 | 36.00 | 70.00 | 73.00 |
| 总分 | 38.26 | 32.73 | 24.43 | 62.60 | 38.50 | 45.60 | 60.60 |
原表注:Ten-task RoboDojo comparison. Mean progress score (0–100); Overall averages the ten task means. Direct denotes GPT-as-Policy's Codex-based controller (Su et al., 2026); Figure 3 compares it with the official baseline and RoboICL. RoboICL uses task-dependent horizons, with B=25 at zero shot and J=B=12 at one shot. External columns retain their published protocols (Zhang et al., 2026; Su et al., 2026). RoboICL targets five layouts per task and averages valid scores; \dagger marks reused zero-shot results.
表 1 解读
列分四组:三个 VLA/WAM(Galaxea G0.5、OpenWAM \alpha、\pi_{0.5},都是用 RoboDojo 数据训练的策略);淡紫色的混合方法(GPT-6 Astra 规划 + \pi_{0.5} 执行);淡蓝色的两个零样本冻结模型方法(Direct 和 RoboICL);淡橙色的单样本 RoboICL。行是十个任务,最后一行为等权总分。 算术核对:八列总分均与十个任务的平均一致。 关键对比:(1) 同为零样本冻结 GPT-6 Astra,RoboICL(45.60)比 Direct(38.50)高 7.10 分,但并非全面领先:Direct 在 Classify by language(60 对 44)、Pack objects(50 对 16)、Fold clothes(40 对 4)上更好,RoboICL 在 Imitate sorting(90 对 0)、Arrange(71 对 57)、Put bottles(70 对 36)上更好。(2) 加入一条示范后,Fold clothes 从 4 升到 84、Build Tower 从 16 升到 100,说明动作技巧类任务最受益于示范。(3) 三个 VLA/WAM 在需要理解语言或抽象规则的任务(Classify by language、Imitate sorting、Arrange largest number)上全是个位数分数,而在 Put bottles 这类动作熟练度任务上很强(80–96),G0.5 在 Build Tower、Mahjong 上也很强;冻结大模型方法恰好相反。混合方法兼顾两者,因此总分最高。(4) Mahjong 开杠对所有冻结模型方法都是 0 分,G0.5 却有 90 分。 协议差异:外部列沿用各自论文的协议(例如官方 50 回合),RoboICL 只跑 5 个布局,单个任务的分数波动很大,读表时应重点看总体趋势而非单格差距。
原文
RoboDojo leaderboard comparison. Figure 1 and Table 2 compare RoboICL with official zero-shot GPT-6 Astra and four published robot-policy baselines across all 30 tasks in Open, Memory, Precision, and Long-Horizon, using RoboDojo's public layouts and native scoring. Each category equally averages its complete task set. Tasks with substantial layout variation receive 50 evaluations, while stable tasks receive 20; tasks whose evaluation is discontinued are waived and assigned zero. Table 2 reports per-task evaluation counts.
译文
RoboDojo 排行榜对比。图 1 和表 2 使用 RoboDojo 的公开布局和原生评分,在 Open、Memory、Precision 和 Long-Horizon 四个类别的全部 30 个任务上,把 RoboICL 与官方零样本 GPT-6 Astra 以及四个已发表的机器人策略基线进行比较。每个类别对其完整任务集等权平均。布局变化大的任务评测 50 次,较稳定的任务评测 20 次;中止评测的任务记为放弃并赋 0 分。表 2 给出每个任务的评测次数。
解释
“中止评测的任务赋 0 分”这一规则需要格外注意。表 2 中有 7 个任务标为 0 次评测、0 分:Pour by Language、Store Tools in Toolbox、Swap Blocks、Plug in Charger、Pour Balls into Vase、Make a Kong in Mahjong、Play Stacking Toy。作者没有说明中止的原因(推测是早期试跑表现很差或成本过高)。按 0 分计入是保守的做法:若这些任务的真实得分不为 0,RoboICL 的总分只会更高;但读者也无法得知它在这些任务上的真实表现。此外,评测次数 20 还是 50 由作者按“布局是否变化大”决定,没有给出具体判定标准。
原文
RoboICL leads the compared category means on Memory and Open. Its Precision score of 38.53 is comparable to Liber-0 Preview's 38.28. It ranks third on Long-Horizon, behind Simate-beta and Liber-0 Preview, and achieves the highest 30-task Overall score at 50.64.
译文
RoboICL 在 Memory 和 Open 的类别均值上领先所比较的方法。其 Precision 得分 38.53,与 Liber-0 Preview 的 38.28 相当。它在 Long-Horizon 上排第三,落后于 Simate-beta 和 Liber-0 Preview,并以 50.64 取得最高的 30 任务总分。
解释
排名小误:Long-Horizon 上 RoboICL 为 44.11,而 G0.5 为 44.12,严格说 RoboICL 排第四而非第三,两者实际持平;Simate-beta 57.84 和 Liber-0 Preview 45.98 在前。RoboICL 的总分优势主要来自 Open(54.75,其余最高 34.36)和 Memory(70.00,其余最高 47.74)两个类别。
表 2:四类别 RoboDojo 对比。平均进度分(0–100)。已发表的 VLA/WAM 各列使用三个种子、每任务 50 个回合;官方零样本 GPT-6 Astra(RoboProbe)使用一个种子、每任务 50 个回合(Chen et al., 2026b; Zhang et al., 2026)。所有 RoboICL 评测使用种子 0。RoboICL 在 Open 上用零样本,其余类别用单样本;蓝色和橙色单元格分别标出这两种设置。右上角数字为评测的布局数;0 表示放弃评测、按 0 分计入的任务。粗体为每行最高分。
| VLA / WAM | GPT-6 Astra | |||||
| 任务 | Galaxea G0.5 (Liu et al., 2026) | DM0.5 (Dexmal Team, 2026) | Liber-0 Preview (Zhang et al., 2026) | Simate-beta (Zhang et al., 2026) | RoboProbe (Zhang et al., 2026) | RoboICL |
| Open(开放式) | ||||||
| Align Blocks | 0.00 | 0.00 | 0.00 | 0.00 | 50.00 | 90.00^{50} |
| Classify Objects by Language | 1.07 | 0.47 | 3.87 | 6.00 | 46.00 | 70.80^{50} |
| General Pickup | 12.67 | 14.00 | 34.00 | 49.33 | 84.00 | 90.00^{50} |
| Pick from Conveyor by Image | 0.00 | 0.00 | 0.00 | 0.00 | 4.00 | 22.00^{50} |
| Pour by Language | 0.00 | 0.00 | 0.00 | 0.00 | 0.40 | 0.00^{0} |
| Solve Equation | 0.00 | 0.00 | 0.00 | 0.00 | 40.00 | 86.00^{50} |
| Stack Blocks by Language | 0.13 | 4.80 | 15.60 | 17.33 | 48.00 | 79.20^{50} |
| Store Tools in Toolbox | 0.00 | 0.17 | 0.00 | 0.33 | 2.50 | 0.00^{0} |
| 类别均值 | 1.73 | 2.43 | 6.68 | 9.12 | 34.36 | 54.75 |
| Memory(记忆) | ||||||
| Cover Blocks | 20.67 | 100.00 | 100.00 | 100.00 | 49.30 | 100.00^{20} |
| Imitate Sorting Sequence | 1.67 | 1.80 | 8.63 | 4.67 | 58.90 | 75.00^{20} |
| Match & Pick from Conveyor | 29.33 | 70.67 | 64.00 | 56.00 | 62.00 | 65.00^{20} |
| Press by Number | 0.00 | 95.33 | 0.00 | 0.67 | 70.00 | 100.00^{20} |
| Swap T | 0.00 | 0.00 | 53.33 | 0.00 | 18.00 | 80.00^{20} |
| Swap Blocks | 0.00 | 18.67 | 0.67 | 38.67 | 0.00 | 0.00^{0} |
| 类别均值 | 8.61 | 47.74 | 37.77 | 33.33 | 43.04 | 70.00 |
| Precision(高精度) | ||||||
| Build Tower | 82.93 | 55.20 | 84.33 | 87.40 | 16.40 | 80.60^{50} |
| Deposit Coin | 10.93 | 13.87 | 18.67 | 16.40 | 16.00 | 78.00^{50} |
| Fasten Screws | 30.00 | 40.20 | 61.80 | 40.93 | 36.40 | 49.80^{50} |
| Insert Key | 14.90 | 4.90 | 0.90 | 10.90 | 14.40 | 15.00^{20} |
| Insert Tubes | 58.53 | 71.73 | 82.53 | 41.20 | 6.00 | 40.80^{50} |
| Play Xylophone | 0.00 | 0.67 | 0.00 | 3.33 | 8.00 | 44.00^{50} |
| Plug in Charger | 0.67 | 2.67 | 27.33 | 29.33 | 0.00 | 0.00^{0} |
| Pour Balls into Vase | 28.00 | 9.33 | 30.67 | 45.33 | 4.00 | 0.00^{0} |
| 类别均值 | 28.25 | 24.82 | 38.28 | 34.35 | 12.65 | 38.53 |
| Long-Horizon(长时程) | ||||||
| Classify Objects | 10.33 | 26.83 | 19.73 | 61.63 | 69.00 | 85.50^{50} |
| Fill Egg Holder | 3.03 | 1.37 | 12.57 | 16.60 | 5.50 | 21.30^{50} |
| Fill Pen Holder | 41.27 | 22.10 | 49.77 | 50.37 | 5.00 | 29.80^{50} |
| Make a Kong in Mahjong | 90.00 | 56.67 | 18.00 | 76.00 | 0.00 | 0.00^{0} |
| Organize the Table | 46.33 | 44.00 | 47.50 | 71.83 | 39.50 | 55.00^{20} |
| Play Stacking Toy | 0.47 | 1.20 | 26.73 | 0.00 | 6.60 | 0.00^{0} |
| Play Tic-Tac-Toe | 65.23 | 35.77 | 95.67 | 86.27 | 10.70 | 98.75^{20} |
| Put Bottles into Dustbin | 96.30 | 81.70 | 97.90 | 100.00 | 35.30 | 62.50^{20} |
| 类别均值 | 44.12 | 33.70 | 45.98 | 57.84 | 21.45 | 44.11 |
| 总分 | 21.48 | 25.80 | 31.81 | 33.68 | 26.86 | 50.64 |
原表注:Four-category RoboDojo comparison. Mean progress score (0–100). Published VLA/WAM columns use three seeds and 50 episodes per task; official zero-shot GPT-6 Astra (RoboProbe) uses one seed and 50 episodes per task (Chen et al., 2026b; Zhang et al., 2026). All RoboICL evaluations use seed 0. RoboICL uses zero shot on Open and one shot elsewhere; blue and orange cells mark these settings. Upper-right markers give the number of evaluated layouts; 0 marks a waived task assigned zero. Bold marks the highest score in each row.
表 2 解读
结构:30 个任务按四个类别分组,每组末尾是类别均值,最后一行是 30 任务总分(各任务等权)。前四列是排行榜上的 VLA/WAM,第五列 RoboProbe 是官方零样本 GPT-6 Astra,最后一列是 RoboICL(蓝底为零样本,橙底为单样本),右上角小数字为评测次数(50、20 或 0)。 算术核对:按逐任务数据重算,各类别均值与总分都与原表一致(个别差 0.01,为四舍五入)。 分类别看:
Open:四个 VLA/WAM 几乎全是 0,只有 General Pickup 和 Stack Blocks by Language 有一定分数;两个 GPT-6 Astra 方法遥遥领先。这一类任务需要理解新的语言指令或图像目标(如 Solve Equation 要先解方程再按答案操作),正是通用大模型的长处。RoboICL 在 6 个评测过的任务上都高于官方 RoboProbe,例如 Solve Equation 86 对 40、Align Blocks 90 对 50。
Memory:RoboICL 在 Press by Number(100)、Swap T(80)、Imitate Sorting Sequence(75)上大幅领先;DM0.5 在 Press by Number 上也有 95.33,在 Match & Pick 上最好(70.67)。
Precision:RoboICL 的强项是 Deposit Coin(78,其余最高 18.67)和 Play Xylophone(44,其余最高 8),弱项是 Insert Tubes(40.8,Liber-0 为 82.53)。Plug in Charger 和 Pour Balls into Vase 两个任务未评测、记 0 分,而 VLA 在这两项上有 27–45 分,这是 RoboICL 在该类别只与 Liber-0 持平的主要原因。
Long-Horizon:RoboICL 在 Classify Objects(85.5)、Play Tic-Tac-Toe(98.75)上最好,但 Put Bottles into Dustbin 只有 62.5(Simate-beta 为 100),Make a Kong in Mahjong 和 Play Stacking Toy 未评测。 放弃评测的影响:7 个任务记 0 分。若只在实际评测的 23 个任务上平均,RoboICL 为 50.64\times30/23\approx66.1;当然基线在这 7 个任务上也有分数,不能直接这样比较,但这个数字说明在评测过的任务上,RoboICL 的平均表现相当强。另外,RoboProbe 在 Pour by Language(0.40)和 Store Tools(2.50)上被标为该行最高,正是因为 RoboICL 这两项没评测。 统计强度不同:VLA/WAM 是 3 个种子 \times 50 回合,RoboICL 是 1 个种子 \times 20 或 50 次;评测 20 次的任务中,一次成败相当于 5 分。
Open:四个 VLA/WAM 几乎全是 0,只有 General Pickup 和 Stack Blocks by Language 有一定分数;两个 GPT-6 Astra 方法遥遥领先。这一类任务需要理解新的语言指令或图像目标(如 Solve Equation 要先解方程再按答案操作),正是通用大模型的长处。RoboICL 在 6 个评测过的任务上都高于官方 RoboProbe,例如 Solve Equation 86 对 40、Align Blocks 90 对 50。
Memory:RoboICL 在 Press by Number(100)、Swap T(80)、Imitate Sorting Sequence(75)上大幅领先;DM0.5 在 Press by Number 上也有 95.33,在 Match & Pick 上最好(70.67)。
Precision:RoboICL 的强项是 Deposit Coin(78,其余最高 18.67)和 Play Xylophone(44,其余最高 8),弱项是 Insert Tubes(40.8,Liber-0 为 82.53)。Plug in Charger 和 Pour Balls into Vase 两个任务未评测、记 0 分,而 VLA 在这两项上有 27–45 分,这是 RoboICL 在该类别只与 Liber-0 持平的主要原因。
Long-Horizon:RoboICL 在 Classify Objects(85.5)、Play Tic-Tac-Toe(98.75)上最好,但 Put Bottles into Dustbin 只有 62.5(Simate-beta 为 100),Make a Kong in Mahjong 和 Play Stacking Toy 未评测。 放弃评测的影响:7 个任务记 0 分。若只在实际评测的 23 个任务上平均,RoboICL 为 50.64\times30/23\approx66.1;当然基线在这 7 个任务上也有分数,不能直接这样比较,但这个数字说明在评测过的任务上,RoboICL 的平均表现相当强。另外,RoboProbe 在 Pour by Language(0.40)和 Store Tools(2.50)上被标为该行最高,正是因为 RoboICL 这两项没评测。 统计强度不同:VLA/WAM 是 3 个种子 \times 50 回合,RoboICL 是 1 个种子 \times 20 或 50 次;评测 20 次的任务中,一次成败相当于 5 分。
原文
Gains on memory and precision tasks. RoboICL combines leading Memory and Open scores with competitive Precision and Long-Horizon performance; its 50.64 Overall score in Table 2 is 16.96 points above the strongest comparison method. The task rows show where the advantage arises. Anchor zero preserves the episode's first observation, retaining information needed when the goal depends on the initial state. On two such tasks, Cover Blocks and Swap T, RoboICL scores 100 and 80, compared with 49.30 and 18.00 for official zero-shot GPT-6 Astra, respectively. The gains also extend beyond remembering the initial scene. Imitate Sorting Sequence reaches 75.00 against 8.63 for the strongest VLA/WAM baseline, while the precision tasks Deposit Coin and Play Xylophone improve the corresponding strongest baselines by 59.33 and 40.67 points.
译文
记忆类与高精度任务上的增益。RoboICL 兼具领先的 Memory 和 Open 得分,以及有竞争力的 Precision 和 Long-Horizon 表现;其在表 2 中的总分 50.64 比最强的比较方法高 16.96 分。逐任务的数据显示了优势来自哪里。锚点零保留了回合的第一次观测,保住了目标依赖于初始状态时所需的信息。在两个这样的任务 Cover Blocks 和 Swap T 上,RoboICL 分别得 100 和 80 分,而官方零样本 GPT-6 Astra 分别为 49.30 和 18.00。增益并不止于记住初始场景。Imitate Sorting Sequence 达到 75.00,而最强的 VLA/WAM 基线为 8.63;高精度任务 Deposit Coin 和 Play Xylophone 分别比对应的最强基线高 59.33 和 40.67 分。
解释
Cover Blocks 要求记住被盖住的方块原来的位置,Swap T 要求把物体换回初始位置,都离不开第一帧画面,这正是“锚点零”的作用。算术核对:Deposit Coin 78.00-18.67=59.33;Play Xylophone 44.00-3.33=40.67。注意这里的“最强基线”是 VLA/WAM 中最强的(Liber-0 Preview 和 Simate-beta);若与官方零样本 GPT-6 Astra 比,Play Xylophone 的增益是 44-8=36 分。Imitate Sorting Sequence 中 RoboProbe 为 58.90,RoboICL 比它高 16.1 分。
原文
Grasp and insertion correction on Deposit Coin. Deposit Coin requires more than lifting a small, thin object: a score of 100 requires the coin's bounding box to enter the bank's narrow slot region and both arms to return to origin. Every comparison method in Table 2 scores at most 18.67, whereas RoboICL averages 78.00 over 50 layouts, including 37 full-score episodes. The selected layout-0 episode exposes the closed-loop precision behind this aggregate result. At step 15, GPT-6 Astra explicitly switches from coarse approach to “wrist imagery for millimetric centering.” It detects failed retention from RGB at steps 45, 65, and 90, changes both overlap and grasp height, confirms a stable pinch at step 110, and then transfers the coin between the two hands.
译文
Deposit Coin 中的抓取与插入纠正。Deposit Coin 不只是拿起一个又小又薄的物体:要得 100 分,硬币的包围盒必须进入存钱罐狭窄的投币口区域,并且双臂都要回到原位。表 2 中所有比较方法的得分都不超过 18.67,而 RoboICL 在 50 个布局上平均 78.00,其中 37 个回合满分。所选的布局 0 回合展示了这一总体结果背后的闭环精度。在第 15 步,GPT-6 Astra 明确地从粗略接近切换为“用腕部图像做毫米级居中”。它在第 45、65 和 90 步从 RGB 图像中检测到没有夹住,于是改变了夹爪重叠量和抓取高度,在第 110 步确认稳定捏住,然后把硬币在两只手之间传递。
解释
引号中的话来自模型在
act 调用里写的执行备注,可以看作模型的“思考过程”。这个案例展示了交互记忆的价值:模型三次失败(第 45、65、90 步),每次都根据回执和图像调整策略,第四次才成功。若没有执行反馈,模型无从知道硬币没夹住。37/50=74\% 的回合满分,平均 78 分,说明多数回合要么满分、要么只拿部分分。
图 5:Deposit Coin 中关键的腕部引导请求。图中为第 205 步请求中的右腕观测。GPT-6 Astra 识别出硬币与投币口之间的偏移,发出五条 25 Hz 指令,包含毫米级平移和一个小的偏航修正。随后的请求完成对准、落入和松开;所选回合最终得 100 分。
原图注:The critical wrist-guided request in Deposit Coin. The figure shows the right-wrist observation from the request at step 205. GPT-6 Astra identifies the coin–slot offset and emits five 25 Hz commands with millimeter-scale translation and a small yaw correction. Subsequent requests complete alignment, seating, and release; the selected episode receives score 100.
图 5 解读
左侧是第 205 步右腕相机看到的画面:粉色的存钱罐顶部、黑色的夹爪和夹在指间的硬币,投币口是一道深色细缝。右上是 GPT-6 Astra 在
act 调用中写的执行备注:“投币口在腕部图像中略偏硬币右侧。横向平移并微调偏航,同时保持在存钱罐上方。”下面一行说明实际动作:五条 25 Hz 指令,横向增量 1.0 和 3.5 毫米,每步偏航修正 0.012 弧度(约 0.7°)。右下是之后的闭环过程:第 210 步对准并下降,第 215–220 步毫米级修正并落入,第 225 步松开,最终得 100 分。 要点:这张图说明通用大模型可以从腕部图像中读出毫米级的相对偏差,并直接输出相应大小的增量动作。这正是“逐步增量”动作接口的优势:小幅修正很自然,而“绝对目标”接口需要模型给出精确的世界坐标。 原文
The decisive insertion request occurs at step 205 (Figure 5). From the current right-wrist image, the model identifies which side of the slot remains misaligned and emits five small Cartesian and yaw corrections while holding the coin above the bank. The next requests align and descend, correct the remaining offset by a few millimeters, seat the coin, and release it at step 225. The wrist view confirms release at step 230 with score 100 at step 259. This trace shows how the demonstration supplies the task procedure while interaction memory and the latest observation support repeated visual correction within that procedure. Appendix B.1 provides complementary examples on contact-rich screw fastening and bimanual role adaptation in Fill Pen Holder.
译文
决定性的插入请求出现在第 205 步(图 5)。模型根据当前右腕图像判断投币口哪一侧仍未对准,并在把硬币保持在存钱罐上方的同时,发出五个小幅的笛卡尔平移和偏航修正。接下来的请求完成对准和下降,把剩余偏移修正几毫米,使硬币落入,并在第 225 步松开。腕部视图在第 230 步确认已松开,第 259 步得到 100 分。这条轨迹说明:示范提供任务流程,而交互记忆和最新观测支持在该流程内反复进行视觉纠正。附录 B.1 给出了接触丰富的拧螺丝任务以及 Fill Pen Holder 中双臂角色适应的补充示例。
解释
分工总结:示范告诉模型“先抓、再交接、再对准投币口、最后松开并双臂复位”这个流程;具体到“现在往右挪 3.5 毫米”则靠当前画面和最近的反馈。第 259 步得满分,是因为满分还要求双臂回到原位,松开后又花了约 30 步复位。这是一个精选的成功案例,不代表典型回合;平均分 78 说明也有失败回合。
4.3迁移到真机操作
图 6:真机操作。使用带腕部和外部 RGB 相机的 Franka Research 3 执行 Peg in Hole、Folding Towel 和 Building Bridge。
原图注:Real-robot manipulation. Executions of Peg in Hole, Folding Towel, and Building Bridge using a Franka Research 3 with wrist and external RGB cameras.
图 6 解读
三组连续截图分别是三个真机任务,每组上方给出发给模型的指令。Peg in Hole(“把销钉插进孔里”):抓起木销、移到孔上方、插入,共三帧。Folding Towel(“沿对角线折叠毛巾”):抓住一角、提起、对折到对角,共三帧。Building Bridge(“把两块积木摆成桥墩,再把木板横放在上面”):六帧依次是抓第一块积木、放下、抓第二块、放下、抓木板、搭上,对应附录 B.2 中“六个拾取或放置阶段各占 100/6 分”的评分方式。桌面上的红色小标记用于物体位置随机化的参照。
原文
To test demonstration-conditioned control on a different embodiment, we evaluate RoboICL on a Franka Research 3 arm. A human expert collects three demonstrations per task through GELLO, and observations combine a wrist-mounted D405 camera with an external D515 camera. We test
Peg in Hole, Folding Towel, and Building Bridge, spanning precision, deformable-object, and long-horizon manipulation. Each zero-, one-, and three-shot condition contains five trials with randomized object positions and orientations. The metric averages normalized credit for predefined task stages. Figure 6 illustrates the three tasks. 译文
为了在不同的机器人本体上检验以示范为条件的控制,我们在 Franka Research 3 机械臂上评估 RoboICL。一位人类专家通过 GELLO 为每个任务采集三条示范,观测由腕部安装的 D405 相机和外部 D515 相机组成。我们测试
Peg in Hole(插销入孔)、Folding Towel(叠毛巾)和 Building Bridge(搭桥),分别涵盖高精度、可变形物体和长时程操作。零样本、单样本和三样本每种条件各包含五次试验,物体位置和朝向随机。指标为预定义任务阶段的归一化得分的平均。图 6 展示了这三个任务。 解释
GELLO 是一种低成本遥操作设备:一个与机械臂同构的小型主手,人拖动它,真机跟随运动。D405 是英特尔 RealSense 的近距离深度相机,这里只用其 RGB 图像。真机是单臂(d_a=7),只有两个相机,与仿真的双臂三相机不同,因此这一实验检验的是方法能否换本体使用。每种条件只有 5 次试验,一次试验相当于 20 分的权重,结果应视为初步验证。
原文
On the real robot, every task improves from zero to one to three demonstrations (Figure 7, right); the three-task mean rises from 14.45 to 63.33 and 78.89. This result extends demonstration conditioning to precision, deformable-object, and longer-horizon real-robot manipulation without parameter updates. At three shots, two of five
Peg in Hole trials complete insertion, and Building Bridge gains 26.67 points over one shot. 译文
在真机上,每个任务都随示范数从零到一再到三而提升(图 7 右);三任务均值从 14.45 升到 63.33,再到 78.89。这一结果在不更新参数的情况下,把以示范为条件的控制扩展到高精度、可变形物体和较长时程的真机操作。在三样本条件下,五次
Peg in Hole 试验中有两次完成插入,Building Bridge 比单样本提高了 26.67 分。 解释
算术核对(数值读自图 7 右):零样本 (10+30+3.33)/3=14.44;单样本 (60+90+40)/3=63.33;三样本 (70+100+66.67)/3=78.89,与原文一致。Peg in Hole 三样本得 70 分,按“拾取 50 + 插入 50”的评分,正好对应 2 次完全成功(各 100)加 3 次只完成拾取(各 50):(200+150)/5=70。最大的跳跃发生在零到一(+48.9),一到三的增益较小(+15.6),说明第一条示范提供了最关键的信息。
原文
The left panel supplies a complementary simulator shot-scaling study at H=15 and J=B=5. Both tasks improve from zero to three demonstrations, with a dip from one to two shots. Every added demonstration contributes five blocks, whereas the context-allocation study holds J+B fixed.
译文
左图给出一个补充的仿真示范数扩展研究,设置为 H=15、J=B=5。两个任务都从零到三条示范有所提升,但从一条到两条示范时略有下降。每增加一条示范就增加五个片段,而上下文分配研究则固定 J+B。
解释
这个仿真实验的配置与主实验不同(J=B=5,记忆只有 5 个槽位),所以单样本的 Build Tower 只有 32 分,远低于主配置的 100 分。这再次说明上下文配置对结果影响很大。“一到二下降”(Build Tower 32\to30,Put Bottles 55\to52)幅度很小,在 5 个布局的样本下属于噪声范围。
图 7:仿真与真机中的示范数扩展。左:H=15、J=B=5 下五个布局的仿真均值。右:按阶段进度评分的五次真机试验均值。在所示的每个任务上,三条示范都优于零样本。
原图注:Shot scaling in simulation and on a real robot. Left: five-layout simulator means at H=15 and J=B=5. Right: five-trial real-robot means under staged progress scoring. Three demonstrations improve every shown task over zero shot.
图 7 解读
(a) 仿真:横轴为示范数 0、1、2、3,纵轴为平均进度分。Put Bottles into Dustbin(橙)依次为 34、55、52、88;Build Tower(蓝)依次为 4、32、30、82。两条线形状相似:零到一明显上升,一到二持平略降,二到三大幅上升。 (b) 真机:横轴为示范数 0、1、3(没有两样本条件)。Folding Towel(橙)30\to90\to100;Peg in Hole(蓝)10\to60\to70;Building Bridge(绿)3.33\to40\to66.67。 要点:真机上零样本几乎不可用(除叠毛巾外都在 10 分以下),一条示范就能把分数提高到可用水平。长时程的搭桥任务从更多示范中获益最大,可能是因为更多示范覆盖了更多中间阶段。仿真中零样本 Build Tower 只有 4 分,与表 1 主配置零样本的 16 分不同,同样是因为配置不同(这里 B=5,主配置 B=25)。
原文
To examine robustness beyond the demonstrated instance, we further evaluate
Folding Towel in the three-shot setting with two unseen towels. Performance remains high on Unseen 1, whereas the larger Unseen 2 scores 40, which is 60 points below the seen towel, and only one of its five trials receives full credit (Table 3). Although the high-level goal remains a diagonal fold, the model does not reliably adapt its motion to the change in object scale. This behavior suggests that the frozen model uses demonstrations to ground broad folding knowledge in the embodiment and action space but may follow the demonstrated motion too closely. Appendix B.2 describes the detailed failure modes and OOD examples. 译文
为了考察示范实例之外的鲁棒性,我们进一步在三样本设置下用两条未见过的毛巾评估
Folding Towel。在未见毛巾 1 上性能仍然很高,而更大的未见毛巾 2 得 40 分,比见过的毛巾低 60 分,五次试验中只有一次得满分(表 3)。尽管高层目标仍是沿对角线折叠,模型并不能可靠地根据物体尺寸的变化调整动作。这一现象表明,冻结模型利用示范把宽泛的折叠知识落实到具体本体和动作空间中,但可能过于紧密地照搬示范动作。附录 B.2 描述了详细的失败模式和分布外示例。 解释
这是本文最诚实也最有价值的负面结果之一。按评分规则(拾起 50 + 完成折叠 50),5 次共 200 分,已知只有 1 次满分(100),剩下 100 分只能来自 2 次“只拾起”(各 50),即 1 次满分 + 2 次只拾起 + 2 次零分。解读:大毛巾需要更大的拉动距离,但模型似乎复制了示范中的位移幅度,导致折不到对角。这揭示了 ICL 的一个普遍风险:模型可能做的是“模仿轨迹”而非“理解意图后重新规划”。对具身 ICL 研究而言,如何让模型从示范中提取可泛化的结构而非具体数值,是值得追问的问题。
表 3:Folding Towel 分布外进度分。每条毛巾五次试验的三样本平均进度分(0–100)。未见毛巾不出现在示范中。
| 测试条件 | 进度分 |
| 见过的毛巾 1(Seen 1) | 100.00 |
| 未见毛巾 1(Unseen 1) | 90.00 |
| 未见毛巾 2(Unseen 2,更大的毛巾) | 40.00 |
| 未见条件平均 | 65.00 |
原表注:Folding Towel OOD progress scores. Three-shot mean progress score (0–100) over five trials per towel. Unseen towels do not appear in the demonstrations.
表 3 解读
三行分别是示范中用过的毛巾和两条新毛巾,最后一行是两条新毛巾的平均 (90+40)/2=65。见过的毛巾三样本得 100,与图 7 右一致。未见毛巾 1 得 90,说明换颜色、材质但尺寸相近时迁移良好(附录图 11 中为一条浅色薄毛巾);未见毛巾 2 是一条明显更大的深色毛巾,分数降到 40。两条新毛巾同时改变了外观和尺寸,作者把下降归因于尺寸,但实验没有单独控制这两个因素。
4.4推理成本、延迟与缓存复用
原文
Having established control performance, we measure its inference demand under the context and action interfaces of Section 3.4: cached tokens, model calls, API latency, and end-to-end wall time.
译文
在确立控制性能之后,我们在第 3.4 节的上下文和动作接口下测量其推理需求:缓存的 token、模型调用次数、API 延迟以及端到端的实际耗时。
解释
这一节回答“这套方法有多贵、多慢”。对于依赖商业 API 的方法,成本和延迟是决定能否实用的关键。
原文
Token use and elapsed time. Table 4 uses three tasks for which all five zero-shot and five one-shot episodes from Table 1 have complete usage records, totaling 30 episodes. Each request uses native 1920\times480 JPEG triptychs, comprising three 640\times480 views, with
original image detail and a 50-image limit. The zero-shot setting uses B=25; one shot uses J=B=12. 译文
Token 用量与耗时。表 4 选用三个任务,它们在表 1 中的五个零样本回合和五个单样本回合都有完整的用量记录,共 30 个回合。每个请求使用原生 1920\times480 的 JPEG 三联图(由三张 640\times480 视图组成),图像细节设置为
original,图片上限 50 张。零样本设置使用 B=25,单样本使用 J=B=12。 解释
original 是 API 的图像细节档位,表示不压缩、按原分辨率编码,token 开销最大但细节最全。“有完整用量记录”的筛选条件意味着其他七个任务的记录不完整,因此表 4 只是三个任务的样本,不是全部十个任务的平均。 表 4:三个五布局任务对上的推理用量与延迟。每行为五个已评分回合的平均。Token 为服务商报告的输入加输出;KV 缓存命中率为输入中被缓存部分按 token 加权的比例。调用数统计完成的 API 请求,动作块数统计已执行的工具调用,API 时间为请求延迟之和,实际耗时包含仿真器和传输开销。
| 任务 | 示范数 | 进度分 | Token (百万) | KV 缓存 命中(%) | 调用数 / 动作块数 | API (分钟) | 实际耗时 (分钟) |
| Build Tower | 0 | 16 | 5.040 | 91.66 | 77.4 / 72.4 | 48.8 | 58.7 |
| 1 | 100 | 3.265 | 92.28 | 40.2 / 39.6 | 31.5 | 37.9 | |
| Classify Objects | 0 | 100 | 2.632 | 89.27 | 55.6 / 53.4 | 29.9 | 37.4 |
| 1 | 71 | 5.573 | 94.03 | 62.6 / 62.2 | 43.3 | 52.8 | |
| Put Bottles into Dustbin | 0 | 70 | 3.246 | 90.93 | 64.4 / 61.2 | 31.4 | 37.9 |
| 1 | 73 | 5.091 | 93.78 | 61.8 / 61.0 | 38.8 | 46.3 |
原表注:Inference use and latency on three five-layout task pairs. Each row averages five scored episodes. Tokens are provider-reported input plus output; KV-cache hit rate is the token-weighted cached share of input. Calls count completed API requests, chunks count executed tool calls, API time sums request latency, and wall time includes simulator and transport overhead.
表 4 解读
列依次是任务、示范数(0 或 1)、平均进度分、每回合总 token(百万)、KV 缓存命中率、每回合 API 调用数 / 实际执行的动作块数、API 等待总时间、实际总耗时。 读法:(1) 调用数与动作块数的差就是没有产生任何执行的调用(被拒绝或出错),例如 Build Tower 零样本 77.4 次调用中有 5 次左右没执行。(2) 每次调用的延迟约为 API 时间除以调用数:Build Tower 零样本 48.8\times60/77.4\approx38 秒,单样本 31.5\times60/40.2\approx47 秒;单样本请求更大(多了示范图片),每次更慢,但调用次数少得多。(3) API 时间占实际耗时的约 80%,仿真和传输只占少部分,瓶颈在大模型推理。(4) 一个回合要 30–60 分钟、2.6–5.6 百万 token。 核对:六行调用数之和 77.4+40.2+55.6+62.6+64.4+61.8=362,乘以 5 个回合为 1,810,与正文“1,810 个完成的请求”一致;六行 token 之和乘以 5 为 124.24 百万,与正文一致。
原文
Demonstrations can shorten an episode while enlarging each request. On Build Tower, mean progress score increases from 16 to 100 as calls fall from 77.4 to 40.2 and total tokens from 5.04 to 3.27 million. Classify Objects and Put Bottles consume more tokens with one shot. Across the six conditions, mean uncached input ranges from 248,000 to 413,000 tokens per episode and mean output from 45,000 to 85,000.
译文
示范可以缩短一个回合,同时增大每个请求。在 Build Tower 上,平均进度分从 16 升到 100,调用次数从 77.4 降到 40.2,总 token 从 5.04 百万降到 3.27 百万。Classify Objects 和 Put Bottles 在单样本下消耗更多 token。在六个条件中,每回合平均未缓存输入为 248,000 到 413,000 个 token,平均输出为 45,000 到 85,000 个 token。
解释
为什么示范能省 token:Build Tower 零样本时模型一直失败、一直重试,直到步数用完;有了示范后很快完成任务,回合提前结束。反之,Classify Objects 零样本就能拿满分,加了示范后每个请求变大、分数还降了(71),token 翻倍。所以示范是否划算取决于任务。计费角度:缓存 token 通常比未缓存便宜得多,真正决定费用的是每回合约 25–41 万未缓存输入和 4.5–8.5 万输出 token。
原文
Across all 1,810 completed requests, the provider reports 113.15 million of 122.51 million input tokens as cached, a token-weighted KV-cache hit rate of 92.4%. The remaining 9.35 million input tokens are uncached, and total input plus output is 124.24 million tokens.
译文
在全部 1,810 个完成的请求中,服务商报告 1.2251 亿输入 token 中有 1.1315 亿被缓存,按 token 加权的 KV 缓存命中率为 92.4%。其余 935 万输入 token 未被缓存,输入加输出总计 1.2424 亿 token。
解释
核对:113.15/122.51=92.36\%,约 92.4%;122.51-113.15=9.36 百万,原文写作 9.35,为四舍五入差异;输出 token 为 124.24-122.51=1.73 百万,平均每回合约 5.8 万,落在上段给出的 4.5–8.5 万区间内。命中率高正是第 3.4 节“稳定前缀”设计的效果。
原文
KV-cache hit rate across model calls. Figure 8 resolves the episode totals into individual model calls. For episode e and completed-call index t, the token-level KV-cache hit rate is \rho_{e,t}=C_{e,t}/I_{e,t}, where C and I are provider-reported cached and total input tokens. The traces reach high hit rates after the initial calls, with occasional sharp drops hidden by episode averages. Pooling input tokens across the three tasks, the first-call rate is 25.9% at zero shot and 71.1% at one shot; over calls six onward, it reaches 91.4% and 94.3%, respectively.
译文
各次模型调用的 KV 缓存命中率。图 8 把回合总量分解到每一次模型调用。对回合 e 和完成调用的序号 t,token 级的 KV 缓存命中率为 \rho_{e,t}=C_{e,t}/I_{e,t},其中 C 和 I 分别是服务商报告的缓存输入 token 和总输入 token。曲线在最初几次调用之后达到很高的命中率,偶尔出现的骤降被回合平均值掩盖了。把三个任务的输入 token 合并计算,第一次调用的命中率在零样本下为 25.9%,单样本下为 71.1%;从第六次调用起,分别达到 91.4% 和 94.3%。
解释
为什么第一次调用也有缓存:原文未解释,一个可能的原因是同一任务的五个布局共享相同的任务说明和示范,前一个回合的请求已经把这些内容缓存在服务端,所以新回合的第一次调用也能命中一部分。单样本的固定前缀更长(含 24 张示范图),因此首次命中率高达 71.1%。骤降可能来自服务端缓存过期、请求被路由到不同服务器等外部因素,作者无法控制。
图 8:各次模型调用的 KV 缓存命中率。与表 4 相同的三任务、30 回合数据。细线为每个布局,粗线为每个调用序号上合并的 token 级命中率 100\sum_e C_{e,t}/\sum_e I_{e,t}。靠后的点只对达到该调用序号的回合取平均。曲线使用带有服务商用量信息的完成响应,并包含所有输入模态。
原图注:KV-cache hit rate across model calls. The same three-task, 30-episode panel as Table 4. Thin lines show each layout; thick lines give the pooled token-level rate 100\sum_e C_{e,t}/\sum_e I_{e,t} at each call index. Later points average the episodes that reach that call. Curves use completed responses with provider usage and include all input modalities.
图 8 解读
三幅子图分别对应 Build Tower、Classify Objects、Put Bottles into Dustbin。横轴是调用序号(1–80),纵轴是 KV 缓存命中率(%)。蓝色为零样本,橙色为单样本;细线是单个回合,粗线是合并值。 读法:橙线(单样本)几乎从第 2 次调用起就稳定在 90% 以上;蓝线(零样本)从约 25% 起步,在前 20 次调用中逐渐爬升,约 40 次后接近 95%。原因是零样本的固定前缀短,随着记忆锚点逐个被填满并固定下来,可缓存的部分才越来越多。Build Tower 的单样本曲线在约 40 次调用后结束(任务提前完成),零样本则延续到约 80 次。图中 Build Tower 在第 60 次附近和 Put Bottles 在第 37 次附近各有一次明显骤降。
原文
Relation to external resource reports. In a public resource report, GPT-as-Policy averages 22.65 million tokens per episode for direct GPT-6 Astra and 12.50 million for its \pi_{0.5} hybrid over 50 episodes per method (GPT-as-Policy authors, 2026). Their 154.6 and 75.5 reported decisions are executed action chunks, whereas Table 4 separately counts API requests and executed chunks. Their token-level KV-cache hit rates are approximately 97–98%, with mean uncached input of approximately 458,000 and 318,000 tokens per episode. These figures provide a resource reference under their published protocol; Table 4 provides the corresponding decomposition for RoboICL.
译文
与外部资源报告的关系。在一份公开的资源报告中,GPT-as-Policy 的直接 GPT-6 Astra 方法每回合平均使用 2,265 万 token,其 \pi_{0.5} 混合方法为 1,250 万 token,每种方法各 50 个回合(GPT-as-Policy authors, 2026)。其报告的 154.6 次和 75.5 次决策是已执行的动作块,而表 4 分别统计了 API 请求和已执行的动作块。其 token 级 KV 缓存命中率约为 97–98%,每回合平均未缓存输入约为 458,000 和 318,000 个 token。这些数字是在其发表的协议下的资源参考;表 4 为 RoboICL 提供了相应的分解。
解释
横向对比:RoboICL 每回合 2.6–5.6 百万 token,约为 Direct(22.65 百万)的 1/4 到 1/9;执行的动作块 40–72 个,也明显少于 Direct 的 154.6 个。但 Direct 的缓存命中率更高(97–98%),所以按未缓存输入计,两者差距缩小:RoboICL 为 25–41 万,Direct 为 45.8 万。作者措辞谨慎,只说“提供资源参考”,因为两者的任务集和协议不同,不能直接比较总成本。
4.5用 Jev 减少模型调用
原文
Cache reuse reduces repeated input processing, while every fresh model call still incurs inference. Jev provides a complementary mechanism: execute more of an existing proposal when feedback indicates that replanning is unnecessary. We evaluate it as an optional gate after the main RoboICL benchmarks. We tested Jev, a System One decision model that returns typed, probability-backed judgments from structured state and questions (Jev AI, 2026), as a gate for reusing a GPT-6 Astra-predicted action suffix.
译文
缓存复用减少了对重复输入的处理,但每一次新的模型调用仍然需要推理。Jev 提供了一种互补的机制:当反馈表明不需要重新规划时,继续执行已有方案的更多部分。我们在主要的 RoboICL 基准实验之后,把它作为一个可选的门控进行评估。我们测试了 Jev——一个“系统一”决策模型,它根据结构化状态和问题返回带类型、有概率支持的判断(Jev AI, 2026)——把它用作复用 GPT-6 Astra 已预测动作后缀的门控。
解释
思路:GPT-6 Astra 每次预测 20 步,但为了安全只执行前 5 步就重新规划;如果执行得很顺利,其实没必要重新调用大模型,直接执行接下来的 5 步就行。Jev 就是那个判断“顺不顺利”的裁判。系统一借用心理学“快思考”的说法,指 Jev 是一个快速、廉价的判断模型,与 GPT-6 Astra 这种“慢思考”模型互补。“带类型、有概率支持的判断”指它返回结构化答案(如“是/否”)和置信度,而不是自由文本。
原文
The zero-shot simulator study covers standard layouts 0–4 of Align Blocks and General Pickup, with five episodes per task and condition. Both conditions use GPT-6 Astra with
xhigh reasoning, the same task prompt, cameras, action constraints, 20 predicted actions per request, up to five executed actions per segment, and 25 interaction-memory slots. Pure GPT-6 Astra replans after each segment. Jev can approve one further five-action segment from the current plan using proprioception, execution tracking, and the plan note, but no RGB. It therefore controls action reuse without generating actions. The gate configuration was selected on these layouts, making this a development-set evaluation. 译文
这一零样本仿真研究覆盖 Align Blocks 和 General Pickup 的标准布局 0–4,每个任务和条件各五个回合。两种条件都使用
xhigh 推理强度的 GPT-6 Astra,以及相同的任务提示、相机、动作约束,每次请求预测 20 个动作,每段最多执行五个动作,交互记忆 25 个槽位。纯 GPT-6 Astra 在每段之后都重新规划。Jev 可以根据本体感知、执行跟踪和方案备注(但不使用 RGB 图像)批准从当前方案中再执行一段五个动作。因此,它只控制动作复用,而不生成动作。门控配置是在这些布局上选定的,所以这是一次开发集评估。 解释
注意设置与主实验不同:这里固定预测 20 步、每段执行 5 步,而主实验用的是自适应 H 并全部执行。Jev 看不到图像,只看关节状态、跟踪误差和 GPT-6 Astra 写的计划备注,所以它判断的是“机器人是否按计划在动”,无法判断“物体是否按预期在动”。这是 Align Blocks 成功率下降的一个可能原因:机器人动作执行得没问题,但积木可能已经被碰歪了。“开发集评估”是作者的自我限定,意味着这些数字偏乐观。
表 5:使用 Jev 时的完整任务成功次数和配对完成时间。计数基于五个布局。最后一列只对两种条件下都成功的布局求实际耗时(秒)之和,顺序为纯 GPT-6 Astra / GPT-6 Astra + Jev;n 为两者都成功的布局数。
| 任务 | 纯 GPT-6 Astra | GPT-6 Astra + Jev | 配对实际耗时(秒) |
| Align Blocks | 3/5 | 2/5 | 1128/865(n=1) |
| General Pickup | 4/5 | 5/5 | 3642/2327(n=4) |
原表注:Complete-task success and paired completion time with Jev. Counts are over five layouts. The last column sums wall-clock seconds only over layouts successful in both conditions, in the order pure GPT-6 Astra/GPT-6 Astra+Jev; n gives the number of jointly successful layouts.
表 5 解读
第二、三列是五个布局中完全成功的次数(这两个任务的得分只有 0 或 100)。第四列只比较两种条件都成功的布局,避免把“失败后跑满 200 步”的时间混进来。 读法:General Pickup 加 Jev 后成功次数从 4 增到 5,四个共同成功布局的总耗时从 3642 秒降到 2327 秒(-36.1\%);Align Blocks 成功次数从 3 降到 2,唯一共同成功的布局 1 耗时从 1128 秒降到 865 秒。逐布局数据见附录表 6。 样本量提醒:每格只有 5 个回合,3/5 与 2/5 的差别相当于一个回合,无法据此判断 Jev 对成功率是好是坏;比较可靠的结论是调用次数和 token 确实大幅下降。
原文
Table 5 shows the success tradeoff: General Pickup increases from 4/5 to 5/5, while Align Blocks changes from 3/5 to 2/5. On the four jointly successful General Pickup layouts, wall time falls by 36.1%. Across all five layouts, GPT-6 Astra requests fall from 181 to 121 on Align Blocks and from 116 to 60 on General Pickup; provider-reported GPT-6 Astra tokens fall from 9.53 to 5.08 million and from 4.95 to 1.39 million, respectively. Jev adds approximately 0.86 seconds per gate call.
译文
表 5 展示了成功率上的权衡:General Pickup 从 4/5 增加到 5/5,而 Align Blocks 从 3/5 变为 2/5。在 General Pickup 四个共同成功的布局上,实际耗时下降 36.1%。在全部五个布局上,GPT-6 Astra 请求数在 Align Blocks 上从 181 降到 121,在 General Pickup 上从 116 降到 60;服务商报告的 GPT-6 Astra token 分别从 953 万降到 508 万、从 495 万降到 139 万。Jev 每次门控调用约增加 0.86 秒。
解释
算术核对:耗时 (3642-2327)/3642=36.1\%;请求数 Align Blocks (181-121)/181=33.1\%,General Pickup (116-60)/116=48.3\%,即摘要中的“减少 33–48%”;token 分别减少 46.7\% 和 71.9\%。token 降幅大于调用降幅,可能是因为被省掉的往往是回合后期、上下文最长的那些调用。Jev 每次 0.86 秒,与 GPT-6 Astra 每次数十秒的延迟相比可以忽略。
原文
On General Pickup layout 3, Jev uses 103 robot steps versus pure GPT-6 Astra's 75 despite 13 versus 15 requests: fewer model calls can coexist with more robot actions. Appendix C.2, including Tables 6 and 7, reports every outcome and runtime measurement. The study establishes substantial GPT-6 Astra call and token reductions on both tasks, with task-dependent effects on success.
译文
在 General Pickup 布局 3 上,Jev 用了 103 个机器人步,而纯 GPT-6 Astra 用了 75 步,尽管请求数分别为 13 和 15:更少的模型调用可以与更多的机器人动作并存。附录 C.2(包括表 6 和表 7)报告了每个结果和运行时测量。这项研究表明,在两个任务上 GPT-6 Astra 的调用和 token 都大幅减少,而对成功率的影响因任务而异。
解释
这个例子说明复用动作的副作用:Jev 批准继续执行旧计划,但旧计划不一定是最优路径,机器人可能多走了冤枉路(103 步 vs 75 步)。不过总耗时仍然更短(648 秒 vs 658 秒,见附录表 6),因为省下的大模型调用时间超过了多走的步数。这体现了“推理成本”与“动作效率”之间的权衡。
5结论与局限(Conclusion and limitations)
原文
RoboICL organizes demonstrations and online experience into a shared context and control interface for a frozen multimodal model. Execution receipts connect actions to realized outcomes, bounded anchors retain temporally distributed visual evidence. RoboICL leads the compared RoboDojo methods on Memory and Open, achieves comparable performance on Precision, and remains competitive on Long-Horizon. Demonstration scaling on three real-robot tasks extends the approach beyond simulation without parameter updates.
译文
RoboICL 为一个冻结的多模态模型,把示范和在线经验组织成共享的上下文与控制接口。执行回执把动作与实际结果联系起来,有界锚点保留了时间上分布的视觉证据。RoboICL 在 Memory 和 Open 上领先所比较的 RoboDojo 方法,在 Precision 上达到相当的性能,在 Long-Horizon 上保持竞争力。在三个真机任务上的示范数扩展实验,把这一方法推广到仿真之外,且无需参数更新。
解释
结论第一段把贡献归结为两个机制:回执(动作与结果的因果连接)和锚点(时间上分布的证据)。这两个机制分别有实验支撑:回执的作用在 Deposit Coin 和 Build Tower 的案例中有定性展示,锚点的作用有“锚定 vs 最近”的对照实验(80.25 vs 73.50)。不过回执本身没有做消融(例如去掉回执只保留前后图像),所以它的贡献大小尚不清楚。
原文
Efficiency depends on both context reuse and feedback frequency. Provider counters show a 92.4% token-weighted KV-cache hit rate across 1,810 calls. Jev gating reduces GPT-6 Astra calls and tokens on both evaluated tasks with task-dependent effects on success. The experiments cover GPT-6 Astra, RoboDojo, and three real-robot tasks; Jev is evaluated on its development layouts. Broader models and hardware platforms, and held-out Jev evaluation are the next tests of generality.
译文
效率同时取决于上下文复用和反馈频率。服务商计数器显示,在 1,810 次调用中,按 token 加权的 KV 缓存命中率为 92.4%。Jev 门控在两个被评估的任务上都减少了 GPT-6 Astra 的调用和 token,而对成功率的影响因任务而异。实验覆盖 GPT-6 Astra、RoboDojo 和三个真机任务;Jev 是在其开发布局上评估的。更多的模型和硬件平台,以及留出数据上的 Jev 评估,是检验普适性的下一步。
解释
作者列出的局限是:只用了一个模型(GPT-6 Astra),一个仿真基准,三个真机任务,Jev 只在开发集上评估。译者补充几点正文提到但结论未列的:上下文配置是在评估任务上选出的;30 任务对比中 7 个任务未评测;与官方零样本基线的推理强度不同(
medium vs xhigh);每回合 30–60 分钟的延迟离实时控制很远;大尺寸毛巾的分布外失败提示模型可能照搬示范动作。对于具身 ICL 研究,本文的意义在于证明了不训练、只组织上下文这条路线在强大的通用模型上可以达到与专门训练的 VLA 相当的水平,并给出了一套可复用的上下文设计原则。 参考文献
参考文献从略,见原文第 14–16 页。正文引用沿用原文的“作者,年份”格式,可据此在原文参考文献表中查找。A方法与实现(Method and implementation)
A.1上下文构造
原文
Interaction memory. Interaction memory exposes how earlier decisions change the environment. After decision round t, the execution system returns receipt r_t and the next observation (o_{t+1},z_{t+1}), thereby completing interaction c_t. The deterministic update operator inserts this interaction and applies the retention policy in Section 3.3, allowing a later decision to relate the current state to earlier actions, task progress, unsuccessful contacts, and execution interruptions.
译文
交互记忆。交互记忆展示先前的决策如何改变环境。在决策轮次 t 之后,执行系统返回回执 r_t 和下一次观测 (o_{t+1},z_{t+1}),从而补全交互 c_t。确定性的更新算子插入这一交互,并执行第 3.3 节中的保留策略,使后续决策能够把当前状态与先前的动作、任务进展、不成功的接触以及执行中断联系起来。
解释
这是对公式 (4) 的展开说明。“不成功的接触”指例如夹爪碰到了物体但没抓住,这类信息只能从前后图像对比和回执中得知。
原文
Retaining every completed interaction would make the request grow with episode length. RoboICL instead allocates B slots to interaction memory. The first B-1 slots provide fixed temporal anchors across the episode, while the final slot preserves the latest completed interaction. With T denoting the maximum number of environment steps and i\in\{0,\ldots,B-2\} indexing a fixed anchor, its target is \tau_i=\lfloor iT/B\rfloor. The initial nonempty interaction occupies anchor zero, and every later anchor stores the first completed interaction c_j whose interval satisfies s_j<\tau_i\le e_j. The latest-interaction slot supplies the most recent outcome for local correction and is deduplicated if the same interaction occupies an anchor.
译文
保留每一次已完成的交互会使请求随回合长度增长。RoboICL 改为给交互记忆分配 B 个槽位。前 B-1 个槽位在整个回合中提供固定的时间锚点,最后一个槽位保存最近完成的交互。记 T 为最大环境步数,i\in\{0,\ldots,B-2\} 为固定锚点的索引,则其目标为 \tau_i=\lfloor iT/B\rfloor。第一次非空交互占据锚点零;之后的每个锚点存放区间满足 s_j<\tau_i\le e_j 的第一个已完成交互 c_j。最新交互槽位提供最近的结果用于局部纠正;如果同一交互已经占据了某个锚点,则对其去重。
解释
s_j 和 e_j 是交互 c_j 的起止步。条件 s_j<\tau_i\le e_j 的意思是“目标步 \tau_i 落在这次交互的区间内”。例如 \tau_1=140,而某次交互覆盖 (133,148],它就成为锚点 1。若机器人在某段时间被拒绝、没有执行(区间长度为 0),目标步可能落在“空隙”里,此时取之后第一个覆盖它的交互。
原文
Sparse retention can otherwise make observations separated by many environment steps appear adjacent. Explicit
<TRAJECTORY_GAP> records therefore mark intervals between retained interactions, omitting full images and action arrays while preserving interval boundaries and compact execution metadata. For T=700 and B=5, targets are 0,140,280,420. The released request retains intervals [0,15], [133,148], [268,283], [418,433], and the latest interval [672,687]. At most B complete interactions are retained, requiring at most 2B endpoint triptychs before deduplication. 译文
否则,稀疏保留会使相隔许多环境步的观测看起来是相邻的。因此,显式的
<TRAJECTORY_GAP> 记录标出保留交互之间的区间,省略完整图像和动作数组,但保留区间边界和简要的执行元数据。当 T=700、B=5 时,目标为 0,140,280,420。所发布的请求保留区间 [0,15]、[133,148]、[268,283]、[418,433] 以及最新区间 [672,687]。最多保留 B 个完整交互,去重前最多需要 2B 张端点三联图。 解释
这就是图 2 下半部分的具体数据。每个保留区间长 15 步,说明该任务 H=15。不过按公式 (5),T=700 应对应 H=10;这里的 15 步区间与 T=700 并存,最合理的解释是该示例来自图 7 左的示范数扩展研究:那组实验固定 H=15、B=5,且任务之一正是 Put Bottles into Dustbin(图 2 说明中的“瓶子任务”)。原文未明确说明。间隔记录保留“简要执行元数据”,即中间省略了多少步、执行了多少次等文字信息,但不含图片。
原文
Demonstration context. Expert demonstrations supply task knowledge before execution begins. The K demonstrations in \mathcal D_K remain unchanged throughout the episode while \mathcal M_t evolves. Each selected expert interaction contains the recorded action chunk, its endpoint observations, and a synthetic receipt constructed for serialization. Serializing complete demonstrations would consume the multimodal context budget before online interaction begins. RoboICL selects J non-overlapping action chunks from each trajectory. Each selected block preserves the source actions and its start and result observations, while explicit gaps identify omitted intervals. Retained block endpoints contribute at most 2JK+2B triptychs before deduplication; The three-shot scaling configuration uses K=3, J=5, 15 controller steps per block, and B=5, yielding at most 40 endpoint triptychs. The main one-shot configuration and its terminal-observation exceptions are specified in Section 4.1.
译文
示范上下文。专家示范在执行开始之前就提供任务知识。\mathcal D_K 中的 K 条示范在整个回合中保持不变,而 \mathcal M_t 不断演化。每个被选中的专家交互包含记录的动作块、其端点观测,以及为序列化而构造的合成回执。把完整示范序列化会在在线交互开始之前就耗尽多模态上下文预算。RoboICL 从每条轨迹中选出 J 个互不重叠的动作块。每个选中的片段保留原始动作及其起始和结果观测,而显式间隔标出被省略的区间。保留的片段端点在去重前最多贡献 2JK+2B 张三联图;三样本扩展配置使用 K=3、J=5、每个片段 15 个控制步、B=5,最多 40 张端点三联图。主实验单样本配置及其终止观测例外见第 4.1 节。
解释
为什么不能放完整示范:一条示范可能有 600 步,每步一张图就是 600 张,远超 50 张上限。只取 12 个片段的首尾图,相当于从示范中抽取 24 张“关键帧”,中间每段 15 步的具体动作数值仍完整保留(数字不占图片名额)。这里“每个片段 15 个控制步”与图 2 的 15 步区间一致,也支持上段的判断。
原文
Selecting main demonstration windows. The main preparation rule uses approximately uniform targets with deterministic action-validity adjustment. For a trajectory containing N source observations and action horizon H, the intended final start is \ell=N-1-H. The first and last windows must be valid. We form twelve targets q_i=\operatorname{round}(i\ell/11) for i=0,\ldots,11, using nearest rounding with ties to even. Interior starts are selected in temporal order: choose the valid integer start closest to q_i within [s_{i-1}+H,\ell-H(11-i)], breaking distance ties toward the earlier frame. The interval enforces nonoverlap and leaves space for the remaining blocks. Candidates are filtered by the translation and rotation-vector norm bounds for both arms. Subsequent reference validation checks the full action contract and observation alignment. Source actions are preserved without clipping or rewriting.
译文
选择主实验的示范窗口。主要的准备规则使用近似均匀的目标,并做确定性的动作有效性调整。对包含 N 个源观测、动作长度为 H 的轨迹,预期的最后起点为 \ell=N-1-H。第一个和最后一个窗口必须有效。我们构造十二个目标 q_i=\operatorname{round}(i\ell/11),i=0,\ldots,11,使用就近取整、平局取偶。内部起点按时间顺序选取:在 [s_{i-1}+H,\ell-H(11-i)] 内选择离 q_i 最近的有效整数起点,距离相同时取较早的帧。这一区间保证片段互不重叠,并为剩余片段留出空间。候选起点按双臂的平移和旋转向量范数上限进行筛选。随后的参考校验检查完整的动作约定和观测对齐。原始动作被保留,不做裁剪或改写。
解释
一个例子:设 N=601、H=15,则 \ell=585,十二个目标为 0, 53, 106, \ldots, 585(间隔 585/11\approx53.2)。第 i 个片段的起点必须 \ge 前一个起点 +15(不重叠),且 \le \ell-15(11-i)(给后面的片段留位置)。在此范围内找离目标最近且动作合法的起点。“平局取偶”即银行家舍入,例如 2.5\to2、3.5\to4,保证结果确定。“不裁剪、不改写原始动作”很重要:如果某段示范动作超出允许范围,就换一个起点,而不是把动作截断,以免给模型看“假”的示范。
原文
A terminal-fallback variant chooses the latest valid complete block at or before N-1-H and places the temporal targets relative to that start. The true terminal observation is retained separately if the last selected block ends earlier. This variant applies to Fill Pen Holder, Fill Egg Holder, Play Tic-Tac-Toe, and Play Stacking Toy. Only the latter two leave a terminal gap (15 and 18 source frames, respectively), each requiring one extra triptych. Explicit gaps separate these terminal frames from the final selected block's actual result.
译文
一种“末端回退”变体选择不晚于 N-1-H 的最后一个有效完整片段,并以该起点为参照放置时间目标。如果最后选中的片段提前结束,则单独保留真实的终止观测。这一变体用于 Fill Pen Holder、Fill Egg Holder、Play Tic-Tac-Toe 和 Play Stacking Toy。只有后两者留下了末端间隔(分别为 15 和 18 个源帧),各需要一张额外的三联图。显式间隔把这些终止帧与最后选中片段的实际结果分开。
解释
有些示范的最后几步动作不合法(例如松手时的突变),无法作为最后一个片段,只好往前找一个合法片段。这样最后一个片段就到不了轨迹结尾,模型看不到“任务完成时的样子”,所以额外补一张结尾画面。这就是第 4.1 节中“这两个任务最多 49 张图”的来历。
原文
The released evaluation configuration records each demonstration's source episode and selected starts; every result endpoint is start plus H. The five-block shot-scaling study uses a gripper-event heuristic followed by endpoint alignment.
译文
发布的评测配置记录了每条示范的来源回合和所选的起点;每个结果端点都是起点加 H。五片段的示范数扩展研究使用一种基于夹爪事件的启发式方法,再做端点对齐。
解释
“基于夹爪事件的启发式”指在夹爪开合时刻附近选片段,因为抓取和松开往往是任务的关键节点。这与主实验的均匀采样不同,又是一处主实验与扩展实验的配置差异,图 7 左的结果不能与主表直接对比。
A.2同期工作的接口细节
原文
GPT-as-Policy Direct (Su et al., 2026) uses a persistent conversation, history files, writable notes, and image tools to support decisions about the absolute targets in Figure 3. The distinct GPT-Policy framework (Cheng et al., 2026) uses
move_to for an absolute tool-center-point (TCP) pose, move_eef_chunk for an ordered sequence of absolute TCP waypoints, and set_gripper for a separate gripper change. Its controller interpolates waypoints, solves inverse kinematics, and assigns timing, holding gripper targets fixed during each motion request. Thus it supports numerical action chunks, but the controller determines the intervening samples and timing. RoboICL's single act tool instead accepts an H\times d_a matrix specifying Cartesian increments and gripper targets at every step, executed at 25 Hz in RoboDojo. 译文
GPT-as-Policy Direct(Su et al., 2026)使用持续对话、历史文件、可写笔记和图像工具来支持关于图 3 中绝对目标的决策。另一个不同的框架 GPT-Policy(Cheng et al., 2026)使用
move_to 指定绝对工具中心点(TCP)位姿,使用 move_eef_chunk 指定一组有序的绝对 TCP 路点,使用 set_gripper 单独改变夹爪。其控制器对路点插值、求解逆运动学并分配时间,在每次运动请求期间保持夹爪目标不变。因此它支持数值动作块,但中间的采样点和时间由控制器决定。RoboICL 唯一的 act 工具则接受一个 H\times d_a 矩阵,指定每一步的笛卡尔增量和夹爪目标,在 RoboDojo 中以 25 Hz 执行。 解释
注意 GPT-as-Policy(Su et al.)和 GPT-Policy(Cheng et al.)是两篇不同的论文,名字很像。关键区别在于“谁决定时间”:GPT-Policy 中模型只给路点,控制器决定走多快、怎么插值,夹爪在移动过程中不能改变;RoboICL 中模型逐步指定,可以在移动中途开合夹爪(例如边接近边张开)。后者更灵活,但要求模型输出更多数字。
原文
Both concurrent frameworks return execution feedback. GPT-Policy limits older live images while retaining accumulated text or host-generated summaries; RoboICL retains anchored visual endpoints and the latest interaction under a shared demonstration/memory budget, uses the same observation–action–receipt–observation grammar for both sources, and marks executed prefixes and omitted intervals through receipts and
<TRAJECTORY_GAP> records. GPT-Policy evaluates ten real-robot tasks with three trials per condition; its evaluation supports the interface comparison here, while our benchmark comparisons use methods evaluated on RoboDojo. 译文
两个同期框架都返回执行反馈。GPT-Policy 限制较早的实时图像,但保留累积的文本或由宿主生成的摘要;RoboICL 在共享的示范/记忆预算下保留锚定的视觉端点和最新交互,对两种来源使用相同的“观测—动作—回执—观测”语法,并通过回执和
<TRAJECTORY_GAP> 记录标出已执行的前缀和被省略的区间。GPT-Policy 在十个真机任务上评估,每种条件三次试验;其评估支持这里的接口比较,而我们的基准对比使用在 RoboDojo 上评估过的方法。 解释
这段解释了为什么 GPT-Policy 没有出现在表 1、表 2 中:它没有在 RoboDojo 上的结果。两者的记忆策略差别是:GPT-Policy 把旧图像“压缩成文字摘要”,RoboICL 保留“少量但分布均匀的原始图像”。哪种更好,本文没有直接比较。
B评测协议与分析(Evaluation protocols and analyses)
B.1补充定性案例
原文
Replanning after an interrupted prefix. Figure 9 connects the method's proposed–executed distinction to a recorded Build Tower trajectory. At step 165, the policy proposes 15 commands, but the controller executes only five before rejecting the next command. The following execution note requests smaller rotations, and the rollout subsequently completes the tower. A zero-shot rollout on the same layout receives 10 at the step limit.
译文
前缀被中断后的重新规划。图 9 把方法中“提出的 vs 实际执行的”这一区分,与一条记录下来的 Build Tower 轨迹联系起来。在第 165 步,策略提出 15 条指令,但控制器只执行了 5 条,随后拒绝了下一条指令。接下来的执行备注要求使用更小的旋转,之后这次推演完成了搭塔。同一布局上的零样本推演在达到步数上限时只得 10 分。
解释
这个案例展示了回执中“预测 15、执行 5”这类计数的作用:模型从回执中得知动作被中断,并在备注中给自己定下“旋转幅度要小”的规则。这相当于一次在线的自我纠错,正是 ReAct/Reflexion 思想在机器人控制中的体现。
图 9:动作前缀被中断后的恢复。在 Build Tower 布局 L0 上,单样本策略(H=15,J=B=12)在第 165 步提出 15 条指令。控制器执行了 5 条,在第 170 步因连续性检查而拒绝,并丢弃了剩余的 10 条后缀。下一条执行备注要求更小的旋转;搭建继续进行,在第 600 步达到 100 分。同一布局和种子下的零样本 RoboICL(B=25)在 1050 步上限时得 10 分。所有画面均为原生头部相机帧。
原图注:Recovery after an interrupted action prefix. On Build Tower L0, the one-shot policy (H=15, J=B=12) proposes 15 commands at step 165. The controller executes five before a continuity rejection at step 170 and discards the ten-command suffix. The next execution note requests smaller rotations; construction continues and reaches score 100 at step 600. The same layout and seed under zero-shot RoboICL (B=25) receive 10 at the 1050-step limit. All panels use native head-camera frames.
图 9 解读
上排三帧(单样本,头部相机):(a) 第 165 步提出动作,双臂正在操作木板;(b) 第 170 步前缀被中断;(c) 第 185 步重新规划后恢复。左下文字框总结:第 165 步提出 15 条,第 170 步执行了 5 条、丢弃 10 条;下一条备注为“从被中断的姿态重新规划,使用更小的旋转”。下排两帧是最终结果:(d) 单样本(TRAIN12 / LIVE12)在第 600 步得 100 分,木板架在两块积木上,绿色小块放在顶部;(e) 零样本(LIVE25)在第 1050 步只得 10 分,塔没有搭起来。 “连续性拒绝”(continuity rejection)指相邻两步之间的位姿变化过大(例如旋转跳变),控制器出于安全拒绝执行。T=1050 对应公式 (5) 的 H=15,与图中一致。
原文
Contact strategy in Fasten Screws. The selected layout-2 pair contrasts zero-shot control, which scores 20, with a three-shot rollout that scores 100 (Figure 10, top). The three-shot policy brings the yellow and white nuts to their corresponding screws, fastens them through repeated short clockwise motions with release-and-regrasp resets, and completes the red assembly after an additional recovery. The zero-shot rollout instead spends much of its longer execution searching for a stable grasp. The comparison shows how demonstrations can supply both the operation order and the contact strategy for a precision task.
译文
Fasten Screws 中的接触策略。所选的布局 2 对比了得 20 分的零样本控制和得 100 分的三样本推演(图 10 上)。三样本策略把黄色和白色螺母分别移到对应的螺丝上,通过反复的短促顺时针转动并配合“松开—重新抓取”的复位把它们拧紧,并在一次额外的恢复之后完成红色组件。零样本推演则把较长的执行时间大部分花在寻找稳定的抓取上。这一对比说明,示范可以同时为高精度任务提供操作顺序和接触策略。
解释
“松开—重新抓取”是拧螺丝的关键技巧:手腕不能无限旋转,拧一小段后要松手、转回、再抓,就像人用扳手。零样本模型不知道这个技巧,示范则直接展示了它。配置注意:这是三样本案例,而表 2 中 Fasten Screws 是单样本,平均 49.80 分,所以这个 100 分的案例不代表主表设置下的典型表现。
原文
Bimanual role adaptation in Fill Pen Holder. The demonstrations expose two valid hand assignments: episode 0 holds the holder with the left hand and inserts with the right, while episodes 96 and 99 reverse those roles. In the selected seed-1/layout-0 rollout, the policy begins with the right hand holding the filled holder, brings it to the left gripper, establishes a new left-hand grasp, and releases the right gripper. The rollout therefore connects role assignments that appear separately in the demonstrations, executing a stable mid-air transfer while the pens remain in the holder. A policy-service failure ends the recording after step 802 before an official task score is returned.
译文
Fill Pen Holder 中的双臂角色适应。示范展示了两种有效的手部分工:回合 0 用左手拿笔筒、右手插笔,而回合 96 和 99 则角色相反。在所选的种子 1、布局 0 推演中,策略一开始用右手拿着已装好笔的笔筒,把它移到左夹爪处,建立新的左手抓取,然后松开右夹爪。因此,这次推演把示范中分别出现的角色分工衔接了起来,在笔留在笔筒里的情况下完成了一次稳定的空中交接。一次策略服务故障使记录在第 802 步后结束,未能返回官方任务分数。
解释
这个案例说明模型能组合多条示范中的不同片段,而不只是照搬一条:示范中没有出现过“右手拿着笔筒交给左手”,模型自己把两种分工衔接起来。但要注意三点:从示范编号(0、96、99)看用了三条示范,而表 2 主配置为单样本(Fill Pen Holder 得 29.80 分);使用的是种子 1 而非主实验的种子 0;回合因服务故障中断,没有得分。所以它只是一个定性展示。
图 10:以示范为条件的操作的补充示例。上:Fasten Screws 布局 2 的终止画面,零样本 RoboICL 得 20 分,三样本 RoboICL 得 100 分。中:手部分工相反的 Fill Pen Holder 示范。下:所选推演中把装好笔的笔筒从右手交给左手之前和之后的画面。每张观测都按左腕、头部、右腕的顺序拼接三个视图。
原图注:Complementary examples of demonstration-conditioned manipulation. Top: terminal views from Fasten Screws layout 2, where zero-shot RoboICL scores 20 and three-shot RoboICL scores 100. Middle: Fill Pen Holder demonstrations with opposite hand assignments. Bottom: the selected rollout before and after transferring the filled holder from the right hand to the left. Each observation concatenates the left-wrist, head, and right-wrist views in that order.
图 10 解读
三行、每行两张三联图(左腕 | 头部 | 右腕)。第一行是 Fasten Screws 的终局画面:左边零样本(20 分)的左腕视图中可见一个红色螺母占据大半画面,尚未装好;右边三样本(100 分)的画面中各组件已就位。第二行是两条示范:示范 0 左手拿笔筒,示范 96 右手拿笔筒。第三行是推演:交接前(t=27.0 秒)右手拿着装笔的笔筒,交接后(t=31.96 秒)笔筒已到左侧。这里的时间是仿真时间,第 802 步对应约 32 秒(802/25\approx32.1)。
B.2真机协议与失败分析
原文
Platform and demonstrations. Experiments use a Franka Research 3 arm. A human expert collects three demonstrations per task using GELLO as the teleoperation interface. Visual observations comprise RGB images from a wrist-mounted D405 camera and an external third-person D515 camera. Zero-shot evaluation provides no demonstration, one-shot evaluation uses the same selected demonstration in every trial, and three-shot evaluation uses all three demonstrations.
译文
平台与示范。实验使用一台 Franka Research 3 机械臂。一位人类专家以 GELLO 作为遥操作接口,为每个任务采集三条示范。视觉观测包括腕部安装的 D405 相机和外部第三人称 D515 相机的 RGB 图像。零样本评测不提供示范,单样本评测在每次试验中都使用同一条选定的示范,三样本评测使用全部三条示范。
解释
单样本始终用同一条示范,避免“换不同示范”带来的额外方差。每个任务只采集了 3 条示范,说明方法对数据量的需求极低,这是 ICL 路线相比训练 VLA 的主要优势。
原文
Tasks and evaluation protocol. The three tasks span high-precision, deformable-object, and long-horizon manipulation.
Peg in Hole requires insertion with a nominal peg–hole tolerance of 1\,\mathrm{mm}. Folding Towel requires folding a towel along its diagonal. Building Bridge requires positioning two bridge piers before placing the deck. Each task and shot setting contains five trials, with object positions randomized within a 10\,\mathrm{cm}\times10\,\mathrm{cm} region and orientations randomized about the gravity-aligned axis. Each trial receives a progress score on the same 0–100 display scale used throughout the paper. For Peg in Hole, picking up and inserting the peg each contribute 50 points. For Folding Towel, picking up the towel and completing the fold each contribute 50 points. For Building Bridge, each of the six pickup or placement stages contributes 100/6 points. Figure 7 reports mean progress score, not complete-task success rate. 译文
任务与评测协议。三个任务涵盖高精度、可变形物体和长时程操作。
Peg in Hole 要求在名义配合公差为 1\,\mathrm{mm} 的情况下完成插入。Folding Towel 要求沿对角线折叠毛巾。Building Bridge 要求先摆好两个桥墩,再放上桥面。每个任务和示范数设置包含五次试验,物体位置在 10\,\mathrm{cm}\times10\,\mathrm{cm} 区域内随机,朝向绕重力方向的轴随机。每次试验得到一个进度分,采用全文统一的 0–100 显示尺度。对 Peg in Hole,拾起销钉和插入各占 50 分。对 Folding Towel,拾起毛巾和完成折叠各占 50 分。对 Building Bridge,六个拾取或放置阶段各占 100/6 分。图 7 报告的是平均进度分,而非完整任务的成功率。 解释
评分粒度的影响:Peg in Hole 和 Folding Towel 只有两档(拾起 / 完成),“拾起”就能拿一半分。例如零样本 Folding Towel 的 30 分可能只是“抓起了一角”。所以真机的进度分对“部分成功”相当宽容。1 mm 公差的插销对仅靠 RGB 图像的模型来说非常困难,这也解释了三样本下仍有 3 次卡在插入阶段。
原文
Failure analysis. Eleven of 15 zero-shot trials receive no progress credit, although some rollouts still exhibit basic manipulation; for example, the robot can pick up a towel corner without completing the diagonal fold. Demonstrations increase mean progress score to 63.33 with one shot and 78.89 with three shots. Three of five three-shot
Peg in Hole trials stop after pickup: the robot brings the peg near the hole and then stalls during insertion as successive RGB observations change little after contact. 译文
失败分析。15 次零样本试验中有 11 次没有得到任何进度分,尽管一些推演仍表现出基本的操作能力;例如,机器人能拿起毛巾的一角,但没有完成对角折叠。示范使平均进度分在单样本时提高到 63.33,在三样本时提高到 78.89。五次三样本
Peg in Hole 试验中有三次在拾起后停止:机器人把销钉移到孔附近,然后在插入时停滞,因为接触之后连续的 RGB 观测几乎没有变化。 解释
一致性核对:零样本三个任务分别为 10、30、3.33 分。Peg 10 分 = 1 次拾起(50)+ 4 次零分;Bridge 3.33 分 = 1 次完成一个阶段(16.67)+ 4 次零分;两者共 8 次零分,剩下 3 次零分属于 Towel,即 Towel 5 次中 2 次得分、合计 150 分(一次 100、一次 50)。合计 11 次零分,与原文一致。 “接触之后 RGB 几乎没有变化”揭示了纯视觉控制的根本局限:销钉碰到孔边时,画面看起来和对准时差不多,模型无法从图像判断是卡住了还是在下插。这类任务需要力觉/触觉反馈,而本文的系统没有使用。
原文
Building Bridge remains the lowest-scoring task at every shot count. It gains 26.67 points between one and three shots, compared with 10 points on each other task, and one of five three-shot trials receives full credit. Its longer trajectory is represented by a bounded set of demonstration blocks and interaction-memory anchors. 译文
Building Bridge 在每种示范数下都是得分最低的任务。从一条到三条示范,它提高了 26.67 分,而其他每个任务只提高 10 分;五次三样本试验中有一次得满分。它较长的轨迹只能用有限数量的示范片段和交互记忆锚点来表示。 解释
最后一句是作者对搭桥任务表现较差的解释:轨迹越长,固定数量的片段对每个阶段的覆盖就越稀疏。66.67 分对应 5 次试验共完成 20 个阶段(20\times100/6/5=66.67),平均每次完成 4 个阶段;结合“一次满分”,其余四次平均完成 3.5 个阶段,大致停在第二个桥墩前后。
图 11:三样本
Folding Towel 在两条未见毛巾上的执行示例:未见毛巾 1(左)和更大的未见毛巾 2(右)。表 3 报告了每种条件五次试验的进度分。原图注:Selected three-shot
Folding Towel executions with two unseen towels: Unseen 1 (left) and the larger Unseen 2 (right). Table 3 reports progress scores over five trials per condition.图 11 解读
左组是未见毛巾 1:一条浅色、较薄、尺寸与示范相近的毛巾,三帧依次为抓角、提起、对折,最终完成对角折叠。右组是未见毛巾 2:一条深蓝色、明显更大更厚的毛巾,机器人同样抓起一角并向对角拉,从最后一帧看,毛巾只被折起一部分。这与正文“模型没有根据尺寸调整动作幅度”的分析一致。
C缓存前缀检查与 Jev 详细结果(Cache-prefix checks and detailed Jev results)
C.1缓存前缀验证
原文
The 30 episodes used for the resource and cache figures contain 1,810 completed requests and 1,780 consecutive-request comparisons. Every marked cache frontier remains byte-identical across its comparison, and each episode retains one fixed-prefix identity. This verifies the stable request prefixes; provider cached-input counters supply the measured KV-cache hit rates.
译文
用于资源和缓存图表的 30 个回合包含 1,810 个完成的请求和 1,780 次相邻请求比较。每个标记的缓存边界在其比较中都保持字节完全一致,并且每个回合都保持同一个固定前缀标识。这验证了请求前缀的稳定性;实测的 KV 缓存命中率则来自服务商的缓存输入计数器。
解释
1{,}810-30=1{,}780:每个回合中相邻请求两两比较,n 个请求有 n-1 次比较,30 个回合共少 30 次。这一检查说明“我们这边发出的前缀确实没变”;至于服务商那边是否真的命中缓存,则看第 4.4 节的计数器(92.4%)。两者之间的差距(约 7.6% 未命中)来自可变后缀和服务端因素。
C.2Jev 门控执行:完整的五布局记录
原文
Section 4.5 describes the Jev protocol and reports success counts and paired completion times. Tables 6 and 7 give all 20 scored outcomes and condition-level model use.
译文
第 4.5 节介绍了 Jev 协议,并报告了成功次数和配对完成时间。表 6 和表 7 给出全部 20 个评分结果和各条件下的模型用量。
解释
20 个结果 = 2 个任务 \times 2 种条件 \times 5 个布局。
表 6:Jev 实验中的每个布局。每格为进度分(0–100)/ 已执行的机器人步数 / 实际耗时秒数(四舍五入)。本组实验的得分只有 0 或 100;失败的 200 步回合列出但不计入成功配对的完成时间比较。
| 任务 | 布局 | 纯 GPT-6 Astra | GPT-6 Astra + Jev |
| Align Blocks | 0 | 0/200/4489 | 0/200/1135 |
| 1 | 100/151/1128 | 100/148/865 | |
| 2 | 100/167/1490 | 0/200/1120 | |
| 3 | 100/138/1054 | 0/200/1199 | |
| 4 | 0/200/2358 | 100/141/827 | |
| General Pickup | 0 | 100/64/1335 | 100/70/440 |
| 1 | 100/99/857 | 100/73/557 | |
| 2 | 100/83/792 | 100/84/683 | |
| 3 | 100/75/658 | 100/103/648 | |
| 4 | 0/200/1436 | 100/89/576 |
原表注:Every Jev-panel layout. Each cell is progress score (0–100) / executed robot steps / wall-clock seconds (rounded). Scores in this panel are 0 or 100; Failed 200-step episodes are shown but excluded from successful-pair completion-time comparisons.
表 6 解读
每格三个数:得分 / 步数 / 秒数。失败的回合都跑满 200 步上限。 逐布局看:Align Blocks 上两种条件各自成功的布局并不重合:纯 GPT-6 Astra 成功于布局 1、2、3,加 Jev 后成功于布局 1、4。布局 2、3 上 Jev 版本失败,布局 4 上反而成功。这种“交换”说明在 5 个布局的样本下,成功与否带有很强的随机性,3/5 与 2/5 的差别不能说明 Jev 损害了成功率。General Pickup 上 Jev 版本 5 个布局全部成功。 时间:即便失败,Jev 版本的耗时也短得多(例如 Align Blocks 布局 0:4489 秒对 1135 秒),因为同样跑满 200 步,Jev 版本调用大模型的次数少得多。 核对:General Pickup 布局 0–3 纯版本耗时之和 1335+857+792+658=3642,Jev 版本 440+557+683+648=2328(附录正文为 2327.17,差别来自表中四舍五入),与表 5 一致。
表 7:每个五布局条件的总模型用量。GPT-6 Astra 调用次数和 API 秒数基于完成的请求;token 为服务商报告的响应用量。Jev 复用统计由门控批准并实际执行的步数。总量包含全部五个回合。
| 任务 | 条件 | 成功 | GPT-6 Astra 调用数 | GPT-6 Astra API 秒 | GPT-6 Astra token | Jev 投票数 / 复用步数 |
| Align Blocks | 纯 GPT-6 Astra | 3/5 | 181 | 9407 | 9,534,190 | 0 / 0 |
| GPT-6 Astra + Jev | 2/5 | 121 | 4101 | 5,083,650 | 113 / 315 | |
| General Pickup | 纯 GPT-6 Astra | 4/5 | 116 | 4192 | 4,952,887 | 0 / 0 |
| GPT-6 Astra + Jev | 5/5 | 60 | 2095 | 1,391,331 | 53 / 140 |
原表注:Total model use across each five-layout condition. GPT-6 Astra calls and API seconds use completed requests; tokens are provider-reported response usage. Jev reuse counts executed steps approved by the gate. Totals include all five episodes.
表 7 解读
列:成功次数;GPT-6 Astra 调用总数、API 总秒数、token 总数;Jev 被询问的次数(投票数)与由此复用并执行的步数。 读法:Align Blocks 上 Jev 被询问 113 次,批准后共复用 315 步;按每次批准 5 步计,约批准了 63 次,批准率约 56%。General Pickup 上询问 53 次、复用 140 步,约批准 28 次,批准率约 53%。API 秒数减半以上(9407\to4101,4192\to2095)。 每次调用的平均 API 延迟:纯版本 Align Blocks 9407/181\approx52 秒,Jev 版本 4101/121\approx34 秒;General Pickup 分别约 36 秒和 35 秒。Jev 版本单次延迟更低,可能因为被跳过的多是上下文较长的后期调用。 推理强度:本实验用的是
xhigh,所以单次调用都要 30–50 秒,这是控制频率的根本瓶颈。 C.3配对完成时间
原文
Jev and pure GPT-6 Astra both succeed on Align Blocks layout 1 (864.91 versus 1127.98 seconds) and General Pickup layouts 0–3 (summed wall times of 2327.17 versus 3641.54 seconds). Jev also succeeds on Align Blocks layout 4, where pure GPT-6 Astra fails, so that episode has no paired completion-time baseline. On General Pickup layout 3, Jev takes 103 robot steps versus 75 for pure GPT-6 Astra while using 13 versus 15 GPT-6 Astra requests. Fewer model calls can therefore coexist with more physical actions. Failed runs remain in the success denominator and outside the paired completion-time sum.
译文
Jev 与纯 GPT-6 Astra 都在 Align Blocks 布局 1(864.91 秒对 1127.98 秒)和 General Pickup 布局 0–3(实际耗时之和 2327.17 秒对 3641.54 秒)上成功。Jev 还在 Align Blocks 布局 4 上成功,而纯 GPT-6 Astra 在该布局失败,因此这一回合没有可配对的完成时间基线。在 General Pickup 布局 3 上,Jev 用了 103 个机器人步,纯 GPT-6 Astra 用了 75 步,而 GPT-6 Astra 请求数分别为 13 和 15。因此,更少的模型调用可以与更多的物理动作并存。失败的运行仍计入成功率的分母,但不计入配对完成时间之和。
解释
这一节是对表 5 第四列的精确展开。配对比较的好处是排除“失败回合跑满 200 步”对耗时的干扰;缺点是只用了 5 个共同成功的布局,样本更小。(3641.54-2327.17)/3641.54=36.1\%,与第 4.5 节一致。
译者附注:原文数字核对与阅读提示汇总
以下各条已在正文对应位置的解释框中说明,这里集中列出。总体而言,本文的数字自洽程度很高:表 1、表 2 的类别均值与总分、表 4 的调用与 token 合计、表 5–7 的 Jev 数据、真机图 7 的均值,按原文逐项数据重算均一致(仅有 0.01 级的四舍五入差异)。需要注意的主要是比较口径和实验设置。| 位置 | 说明 |
| 图 3 | 官方零样本 GPT-6 Astra 使用 medium 推理强度,RoboICL 使用 xhigh;正文未提及。相对官方基线的增益中可能包含推理强度的贡献。 |
| 表 2 | 7 个任务未评测、按 0 分计入;在评测过的 23 个任务上 RoboICL 平均约 66.1。 |
| 表 2 | 基线为 3 个种子 \times 50 回合,RoboICL 为种子 0、每任务 20 或 50 次,统计强度不同。 |
| 第 4.2 节 | “Long-Horizon 排第三”:RoboICL 44.11 低于 G0.5 的 44.12,严格说为第四,实际持平。 |
| 第 4.2 节 | Play Xylophone “比最强基线高 40.67”指 VLA/WAM 中最强者;对官方 GPT-6 Astra(8.00)为高 36 分。 |
| 表 1 与表 2 | 同一任务在两表中的分数相差 10–27 分(如 Build Tower 100 对 80.6,Classify Objects by Language 44 对 70.8),源于布局数(5 对 20/50)不同。 |
| 表 1 | 加示范后 Classify Objects(100\to71)、Arrange largest number(71\to58)下降,原文未分析。 |
| 第 4.1 节 | 上下文分配 (J,B) 和锚定/最近对比都在同四个任务上完成;(12,12) 与 (16,8) 只差 0.25 分,应视为并列。作者已承认需在留出任务上验证。 |
| 图 2 / 附录 A.1 | 示例(T=700,15 步区间,B=5)与公式 (5) 的 H(700)=10 不符,应来自图 7 左的扩展研究配置(H=15,B=5)。 |
| 引言 | 括注“第 4.4 节”指成本与缓存;Jev 实验在第 4.5 节。 |
| 第 4.4 节 | 未缓存输入 122.51-113.15=9.36 百万,原文为 9.35(四舍五入)。 |
| 附录 B.1 | Fasten Screws 案例为三样本(主表为单样本 49.80);Fill Pen Holder 案例为种子 1、三条示范且因服务故障无分数。 |
| 表 3 | 未见毛巾 2 同时改变了尺寸和外观,下降原因未单独控制。 |
| 第 4.5 节 / 附录 C | Jev 在开发布局上评估,每格 5 个回合;Align Blocks 两种条件成功的布局互不重合,成功率差异不具统计意义。 |
| 全文 | 执行回执本身没有消融实验;每回合 30–60 分钟、2.6–5.6 百万 token,远非实时。 |