InternW0-\Delta：以两万余小时开放数据桥接预测动力学与动作的世界动作模型 InternW0-\Delta: A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data 作者：Physical Intelligence Team, Shanghai AI Laboratory（上海人工智能实验室 物理智能团队） 项目主页：https://internrobotics.github.io/InternW0-Delta/ arXiv：2609.31394v1 [cs.RO]，2026 年 9 月 25 日 本文档为逐段中英对照翻译与解读。每段依次给出“原文”（英文原样）、“译文”和“解释”；图表附原图注、译文图注及“解读”框。
导读
这篇论文要解决什么问题。 机器人“通用操作策略”近两年的主流路线是 VLA（视觉—语言—动作模型）：把一个预训练的视觉语言大模型接上动作输出头，让它“看图读指令、输出动作”。VLA 的语义能力很强，但它对“世界接下来会怎么变化”的理解较弱——图文预训练数据里没有多少关于物体如何运动、接触后如何变形的知识。另一条路线是世界动作模型（World Action Model, WAM）：用在海量视频上预训练过的视频生成模型做骨干，让模型同时学会“预测未来画面”和“输出动作”，希望把视频模型中蕴含的物理与时序知识迁移到控制上。WAM 的难点在于：能预测未来画面 \neq 能做好控制。动作生成还需要知道“哪些变化与任务有关”、“物体的几何形状与运动”、“当前指令指的是场景里的哪个物体”。另外，如果推理时真的要先生成未来视频再出动作，速度会非常慢，难以实时控制。本文的核心问题即是：如何把视频预测中学到的知识，转化成对动作生成直接有用的表示，同时推理时不需要真的生成未来视频。核心方法。 InternW0-\Delta 由以下几部分组成：- 世界—动作混合 Transformer（World–Action MoT）：一个预训练视频专家（Wan2.2-TI2V-5B，50 亿参数的文/图生视频模型）与一个从头训练的动作专家（ActionDiT）各自保留独立参数，在 30 层中通过一次“拼接后的掩码自注意力”交换信息。注意力掩码是有向的：未来帧 token 可以看过去，但动作 token 和 Causal Imprint token 都看不到未来帧。
- Causal Imprint（因果印记，记作 \Delta）：一组可学习 token，放在视频流里，只能看到“最近帧”和“当前帧”，训练时却被要求（1）回归未来相邻视频潜变量的差分 \Delta Z_t，（2）在第 8 层特征上对齐第 20 层“未来帧”特征。于是它学会“从现在推断接下来会变什么”，并把这种预测性表示直接暴露给动作专家。推理时不需要未来视频。
- 冻结 VLM 提供场景语义：T5 文本编码器只懂语言、不看场景；作者额外接入冻结的 RynnBrain1.1-2B 视觉语言模型，把“当前多视角图像 + 指令”编码成场景语义 token，作为动作专家的交叉注意力条件。
- 稀疏记忆：视频专家只看三帧——回合起点的锚帧 A、上一个动作块之前的最近帧 R、当前帧 C，以很低的代价获得全局任务上下文与短期运动历史。
- 4D 感知蒸馏：用冻结的 Track4World（4D 几何与跟踪基础模型）作为教师，离线算出 1430 维的片段级“几何 + 2D/3D 运动 + 相机 + 可见性”描述子，让视频专家第 15 层的特征通过一个小学生网络去回归它。该分支只在训练时存在，推理时整体丢弃。
- Transformer 与注意力掩码：Query/Key/Value、自注意力与交叉注意力、用掩码控制“谁能看到谁”。
- 扩散模型 / 流匹配（flow matching）：从高斯噪声出发、通过学到的速度场逐步去噪得到样本；本文的视频与动作都用流匹配生成。
- VAE 潜空间：视频先被 VAE 压缩到潜变量 z，模型在潜空间里工作。
- 机器人基础：本体感觉（proprioception，即关节角、末端位姿、夹爪开合等）、末端执行器（EEF）、逆运动学（IK）、动作块（action chunk）、遥操作数据、UMI 手持采集设备。
- 知识蒸馏与表示对齐：让学生网络特征去回归/对齐教师网络特征；stop-gradient 的作用。
- 评测基准：LIBERO、RoboTwin、EBench、RoboDojo 等仿真基准，以及“成功率 SR”与“部分得分 Score”的区别。
目录
导读摘要（Abstract）首页总览图（未编号）1 引言（Introduction）2 相关工作（Related Work）2.1 视觉—语言—动作模型与世界动作模型（Vision–Language–Action and World Action Models）2.2 面向机器人控制的视觉表示（Visual Representations for Robot Control）2.3 面向机器人学习的开源系统（Open-Source Systems for Robot Learning）3 InternW0-\Delta 模型设计（InternW0-\Delta Model Design）3.1 架构总览（Architecture Overview）3.2 多模态上下文编码（Multimodal Context Encoding）3.3 稀疏记忆上下文（Sparse Memory Context）3.4 因果印记（Causal Imprint）3.5 4D 感知表示蒸馏（4D-Aware Representation Distillation）3.6 混合 Transformer 与注意力掩码（Mixture-of-Transformers and Attention Mask）3.7 训练目标（Training Objectives）3.8 高效推理（Efficient Inference）4 数据（Data）4.1 统一表示（Unified Representation）4.2 机器人数据（Robot Data）4.2.1 数据来源（Data Sources）4.2.2 处理规则（Processing Rules）4.3 第一人称与 Ego2Robot 数据（Ego and Ego2Robot Data）4.3.1 数据来源（Data Sources）4.3.2 处理规则（Processing Rules）4.4 UMI 数据（UMI Data）4.4.1 数据来源（Data Sources）4.4.2 过滤（Filtering）4.5 数据过滤与转换统计（Data Filtering and Conversion Statistics）5 训练（Training）5.1 预训练（Pretraining）5.2 面向仿真的后训练（Post-Training for Simulation）5.3 面向真实机器人的后训练（Post-Training for Real Robots）6 基础设施（Infrastructure）6.1 面向模型开发的训练基础设施（Training Infrastructure for Model Development）6.1.1 特征缓存（Feature Caching）6.1.2 逐层 MoT 优化（Layerwise MoT Optimization）6.1.3 训练效率（Training Efficiency）6.2 真机部署（Real-Robot Deployment）7 实验（Experiments）7.1 评测协议（Evaluation Protocol）7.2 仿真基准结果（Simulation Benchmark Results）7.2.1 LIBERO-Plus7.2.2 RoboTwin 2.07.2.3 EBench7.2.4 RoboDojo7.3 真机实验（Real-Robot Experiments）7.4 消融实验（Ablation）7.4.1 逐组件消融（Component-Wise Ablations）7.4.2 数据源消融（Data Source Ablations）7.5 GPT 引导策略的探索（Exploration of GPT-Guided Policy）8 结论（Conclusion）9 团队（Team）参考文献（References）A 人到机器人的逆运动学细节（Human-to-Robot IK Details）摘要（Abstract）
原文
World Action Models (WAMs) have emerged as a promising paradigm for generalist robot manipulation by jointly modeling visual dynamics and action generation. A central challenge is how to effectively integrate complementary priors from large-scale pretrained models—including visual dynamics, scene semantics, and geometric and motion understanding—into a unified framework for robot action generation. We introduce InternW0-\Delta, a unified World Action Model that meets this challenge: pretrained on a large-scale heterogeneous corpus, it outperforms prior methods across diverse simulation benchmarks and real-robot platforms.
译文
世界动作模型（World Action Model, WAM）通过对视觉动力学与动作生成进行联合建模，已成为通用机器人操作（generalist robot manipulation）的一种有前景的范式。其中的核心挑战在于：如何把大规模预训练模型所提供的互补先验——包括视觉动力学、场景语义以及几何与运动理解——有效地整合进一个统一的机器人动作生成框架。我们提出 InternW0-\Delta，一个应对这一挑战的统一世界动作模型：它在大规模异构语料上预训练，在多种仿真基准和真实机器人平台上均优于已有方法。
解释
这一段交代了论文的定位。“视觉动力学”指画面随时间如何演变（物体怎么移动、被推后怎么倒），通常由视频生成模型学到；“场景语义”指画面里有什么、指令说的是哪个物体，通常由视觉语言模型（VLM）提供；“几何与运动理解”指三维形状、深度、点的轨迹，通常由 3D/4D 视觉基础模型提供。三类能力分别来自三种不同的预训练模型，作者认为 WAM 的关键不在于再造一个大模型，而在于把这三种“先验”揉进同一个动作生成框架。模型名中的 \Delta 呼应后文的 Causal Imprint（用 \Delta 表示“变化”）。
原文
InternW0-\Delta brings together pretrained visual dynamics, scene-level semantic understanding, 4D geometric and motion priors, and action generation within a Mixture-of-Transformers (MoT) framework. Within the World–Action MoT, a pretrained video expert and an action expert interact under scene-grounded semantic guidance from a frozen VLM, while a pretrained 4D foundation model injects geometric and motion priors through training-only distillation. To translate predictive visual dynamics into representations useful for action prediction, we introduce Causal Imprint, which learns future-relevant scene changes from training-only future supervision and makes these predictive representations directly available to the action expert without requiring future-video rollout at inference.
译文
InternW0-\Delta 在一个混合 Transformer（Mixture-of-Transformers, MoT）框架中，把预训练的视觉动力学、场景级语义理解、4D 几何与运动先验以及动作生成结合在一起。在这个世界—动作 MoT 中，一个预训练的视频专家（video expert）与一个动作专家（action expert）在冻结 VLM 提供的、立足于场景的语义引导下相互交互；同时，一个预训练的 4D 基础模型通过仅在训练阶段使用的蒸馏注入几何与运动先验。为了把预测性的视觉动力学转化为对动作预测有用的表示，我们提出了因果印记（Causal Imprint）：它借助仅在训练时可用的未来监督，学习与未来相关的场景变化，并把这些预测性表示直接提供给动作专家，从而在推理时无需展开（rollout）生成未来视频。
解释
这里一次性列出了四个关键组件，与后文第 3 节一一对应：(1) MoT——两个“专家”各自有独立权重，只在注意力层共享信息，类似两条并行的 Transformer 通过“握手”交流；(2) 冻结 VLM——给动作专家提供“这是什么场景、要操作哪个物体”的语义；(3) 4D 蒸馏——用 4D 基础模型当老师，只在训练时提供监督信号，推理时不付出任何额外计算；(4) Causal Imprint——本文最核心的新概念。它的直觉是：训练时我们知道未来发生了什么，可以拿未来去“监督”一些 token，让它们学会从当前观测中“预感”接下来会怎么变；推理时这些 token 只依赖当前观测，所以不需要真的生成未来视频。这正是“桥接预测动力学与动作”这一标题的含义。
原文
To support large-scale joint training, we construct a heterogeneous corpus spanning robot demonstrations, UMI data, egocentric human demonstrations, and Ego2Robot data—carefully curated and filtered, unified under a common state-action representation, and temporally aligned—yielding over 20K hours of processed training data, to our knowledge the largest open-source corpus of its kind. We pretrain InternW0-\Delta on this heterogeneous corpus and demonstrate strong performance across diverse simulation benchmarks and real-robot platforms. We will open source training code and the model weights, infrastructure, and data-processing pipeline, together with processed data where licenses permit, to accelerate progress in embodied intelligence and physical AI.
译文
为了支持大规模联合训练，我们构建了一个异构语料库，涵盖机器人演示、UMI 数据、第一人称（egocentric）人类演示以及 Ego2Robot 数据；这些数据经过精心整理与过滤，统一到共同的状态—动作表示之下并完成时间对齐，最终得到超过 2 万小时的已处理训练数据——据我们所知，这是同类中规模最大的开源语料。我们在该异构语料上预训练 InternW0-\Delta，并在多种仿真基准和真实机器人平台上展示了强劲性能。我们将开源训练代码、模型权重、基础设施与数据处理流水线，并在许可允许的范围内公开处理后的数据，以加速具身智能（embodied intelligence）与物理 AI（physical AI）的进展。
解释
这段说明数据与开源。四类数据的含义：机器人演示是真实或仿真机器人通过遥操作录下的“图像 + 动作”轨迹，质量最高但采集最贵；UMI（Universal Manipulation Interface）是人手持一个带相机的仿夹爪装置做操作，能直接得到夹爪位姿和开合，接近机器人数据但成本低；第一人称人类演示是人戴头显录下自己的手部操作视频与手部关键点；Ego2Robot 是把人类视频里的手抠掉、换成渲染出的机器人手臂，使视觉和动作都“像机器人”。“统一状态—动作表示”是指把不同机器人五花八门的关节/末端格式塞进同一个 80 维向量（见第 4.1 节表 1）。
首页总览图（未编号）
原文
(Untitled teaser figure on page 1.) Panels: Multi-source data (TOTAL: 23,072h; Robot 11,302 h, UMI 2,075 h, Ego 4,061 h, Ego2Robot 5,634 h; Data filtering & verification; Canonical 80-D state-action), Key methods, Benchmark evaluations, Full-stack open source, Real-world manipulation.
译文
（首页无编号总览图。）各面板：多源数据（合计 23,072 小时；机器人 11,302 小时、UMI 2,075 小时、Ego 4,061 小时、Ego2Robot 5,634 小时；数据过滤与校验；规范 80 维状态—动作），关键方法，基准评测，全栈开源，真实世界操作。
首页总览图 解读
这张图是全文的“一页纸摘要”，由五个面板围绕中央的 InternW0-\Delta 标志排布：
- 左上 Multi-source data（多源数据）：四张缩略图分别是机器人、UMI 手持夹爪、第一人称人手、Ego2Robot（人手被替换为机器人臂）的样例画面，下面标注各自时长，总计 23,072 小时（11302+2075+4061+5634）。注意 Ego 与 Ego2Robot 有来源重叠：Ego2Robot 是从 Ego 视频转换来的，且其 5,634 是“机器人小时”（一个源视频可被转换到多种机器人上，见 4.5 节）。下方表格列出六种过滤/校验手段：信号与状态—动作一致性、画质、静止边界裁剪、指令与视频一致性、动作幅度、人工抽检；最底下是“规范 80 维状态—动作”，说明所有数据最终统一到同一格式。
- 右上 Key methods（关键方法）：A/R/C 三帧（锚帧、最近帧、当前帧）输入视频专家；视频专家内部有“已观测 token”和“Causal Imprint (\Delta) token”两类；VLM 语义输入动作专家；视频专家与动作专家通过 MoT 连接。底部的 4D-aware distillation 用虚线和“training only”标注，强调它只在训练时存在（教师 Teacher 对 t, t{+}1, t{+}2,\dots 的时空体积进行编码，蒸馏 Distill 给学生 Student）。
- 左下 Benchmark evaluations（基准评测）：三组柱状图，纵轴为成功率（%），每组三根柱子：最强对比方法、此前最好的 WAM、本文方法。LIBERO-Plus 上 91.4（Qwen-RobotManip-Context，图中缩写为 Qwen-RMC）/ 84.8 / 92.8；RoboTwin Clean2Random 上 69.4 / 48.7 / 71.9；RoboDojo 上 22.5（GPT-6-Astra）/ 11.9 / 23.9。可以读出：本文相对 VLA 强基线领先较小（约 1–2 个点），但相对此前最好的 WAM 领先很大（8–23 个点）。
- 中下 Full-stack open source（全栈开源）：数据工具、预训练、后训练、检查点四类开源内容。
- 右下 Real-world manipulation（真实世界操作）：夹爪平台上的“接水”和灵巧手平台上的“叠杯子”“滴管转移”三个真机示例。
1引言（Introduction）
原文
World Action Models (WAMs) offer a promising approach to generalist robot manipulation by jointly modeling visual dynamics and robot actions (Ye et al., 2026b; Bi et al., 2025). A key motivation behind this formulation is that large-scale video pretraining can provide strong visual and temporal knowledge about how scenes evolve over time. However, the ability to predict future observations does not directly translate into effective robot control. Action generation further requires identifying task-relevant changes, understanding object geometry and motion, and grounding these cues in the current instruction and scene. The central challenge（注：This challenge aligns with the broader goal of the InternW series: connecting perception, physical prediction, and action under limited sensing and computation (Chen et al., 2026d).） is therefore to transfer predictive knowledge from visual dynamics modeling into representations that are directly useful for action generation, without requiring explicit future generation during online control (Yuan et al., 2026b).
译文
世界动作模型（WAM）通过联合建模视觉动力学与机器人动作，为通用机器人操作提供了一条有前景的路径（Ye et al., 2026b; Bi et al., 2025）。这一建模方式背后的一个关键动机是：大规模视频预训练能够提供关于场景如何随时间演化的强大视觉与时序知识。然而，预测未来观测的能力并不能直接转化为有效的机器人控制。动作生成还需要识别与任务相关的变化、理解物体的几何与运动，并将这些线索落地（grounding）到当前的指令和场景中。因此，核心挑战（注：这一挑战与 InternW 系列更宏观的目标一致：在有限的感知与计算条件下，把感知、物理预测与动作连接起来（Chen et al., 2026d）。）在于：把视觉动力学建模中获得的预测性知识，迁移为对动作生成直接有用的表示，同时在线控制时不需要显式生成未来画面（Yuan et al., 2026b）。
解释
本段提出问题。可以把“视频预测”和“控制”的差距想象成：一个视频模型能画出“杯子被推倒后的样子”，但它画得再逼真，也不等于知道“手该往哪儿推、推多大力”。动作需要三样额外的东西：(1) 从众多画面变化中挑出与任务有关的那部分（比如背景里的人走动与任务无关）；(2) 物体的几何与运动（杯子多高、把手朝哪）；(3) 把这些和“指令说要拿哪个杯子”对上号。另一个约束是实时性：DreamZero 等早期 WAM 推理时要先生成未来视频，代价很大；Fast-WAM（Yuan et al., 2026b）已证明“训练时用视频监督、推理时不生成视频”可行，本文沿用这一思路。脚注把本文放进 InternW 系列的愿景中：在有限传感与算力下连接感知、物理预测与动作。
原文
To face this challenge, we introduce InternW0-\Delta, a directed world-action architecture that combines predictive visual dynamics, temporal context, and task-conditioned scene semantics for action generation. At its core, a pretrained video expert and an action expert are coupled through a directed Mixture-of-Transformers architecture. The video expert processes a lightweight sparse memory of anchor, recent, and current observations, providing both episode-level context and recent interaction history, while a frozen vision-language model (VLM) supplies task-conditioned scene semantics to the action expert. To make predictive dynamics directly useful for control, Causal Imprint learns future-relevant scene changes from training-only future supervision and makes these representations available to the action expert. In parallel, training-only 4D-aware distillation from a Track4World (Lu et al., 2026) teacher injects geometric and motion priors into the video expert through auxiliary supervision. The directed information flow ensures that neither Causal Imprint nor the action expert takes future observations as input, with future information used only as training supervision. This allows InternW0-\Delta to directly predict actions at inference without sampling future videos or invoking the distillation branch.
译文
为应对这一挑战，我们提出 InternW0-\Delta——一种有向的世界—动作架构，它将预测性视觉动力学、时间上下文以及任务条件化的场景语义结合起来用于动作生成。其核心是：一个预训练视频专家与一个动作专家通过有向的混合 Transformer 架构耦合在一起。视频专家处理由锚帧（anchor）、最近帧（recent）和当前帧（current）组成的轻量稀疏记忆，同时提供回合（episode）级上下文与近期交互历史；一个冻结的视觉语言模型（VLM）则向动作专家提供任务条件化的场景语义。为了让预测性动力学直接服务于控制，Causal Imprint 借助仅在训练时可用的未来监督学习与未来相关的场景变化，并将这些表示提供给动作专家。与此同时，以 Track4World（Lu et al., 2026）为教师的、仅训练期使用的 4D 感知蒸馏，通过辅助监督向视频专家注入几何与运动先验。有向的信息流保证 Causal Imprint 和动作专家都不以未来观测作为输入，未来信息只用作训练监督。这使得 InternW0-\Delta 在推理时可以直接预测动作，既不需要采样未来视频，也不需要调用蒸馏分支。
解释
这段是方法的“电梯演讲”，关键词是有向（directed）。普通的 MoT 或 joint attention 里，所有 token 互相可见；如果动作 token 能看到未来帧 token，训练时就等于“偷看答案”，推理时没有未来帧可看，就会崩。作者用注意力掩码规定信息只能“从过去/现在流向未来、从视频流流向动作流”，而未来帧只作为监督目标（损失函数里的答案），不作为任何前向计算的输入。于是训练与推理的计算路径一致，推理时可以把未来帧 token 和蒸馏分支整个删掉。“稀疏记忆”只取三帧：回合起点（知道整体任务布局）、上一个动作块之前（知道刚刚发生了什么运动）、当前（知道现在的状态）。
原文
To support large-scale joint training, we curate a heterogeneous corpus spanning robot demonstrations, UMI data, egocentric human demonstrations, and Ego2Robot data, drawing primarily on public datasets. These sources differ substantially in robot embodiment, control space, camera configuration, and temporal convention. We therefore convert them into a canonical state-action representation and apply systematic quality filtering and temporal alignment, resulting in over 20K hours of processed training data. On this corpus, we adopt a two-stage training recipe that first pretrains InternW0-\Delta to jointly learn visual dynamics and action generation, and then adapts the resulting checkpoint to target embodiments and tasks through post-training.
译文
为支持大规模联合训练，我们主要基于公开数据集整理了一个异构语料库，涵盖机器人演示、UMI 数据、第一人称人类演示与 Ego2Robot 数据。这些来源在机器人本体（embodiment）、控制空间、相机配置和时间约定上差异巨大。因此，我们将它们转换为规范的（canonical）状态—动作表示，并进行系统的质量过滤与时间对齐，最终得到超过 2 万小时的已处理训练数据。在该语料上，我们采用两阶段训练方案：先预训练 InternW0-\Delta，联合学习视觉动力学与动作生成；再通过后训练（post-training）把得到的检查点适配到目标本体与任务上。
解释
“异构”具体指四个维度的不一致：本体（单臂/双臂/人形/灵巧手/移动底盘）、控制空间（关节角 vs. 末端位姿，绝对量 vs. 增量）、相机配置（头部相机、腕部相机、外部相机的数量与位置不同）、时间约定（帧率 10–62 Hz 不等、动作是“下一帧目标”还是“当前帧命令”）。把这些统一起来是大规模跨本体预训练的前提，否则同一维数字在不同数据集里含义不同，模型会学乱。两阶段训练是当前机器人基础模型的通用做法：预训练学通用知识，后训练适配具体机器人和任务。
原文
In addition, we develop complementary infrastructure to support efficient model iteration and online execution. For model development, we optimize the training pipeline to reduce the cost of repeated architecture and hyperparameter experiments. Caching video autoencoder latents and frozen vision-language features avoids redundant encoding across repeated training runs, while layerwise compilation and activation checkpointing improve backbone throughput and memory efficiency. Together, these optimizations substantially accelerate model iteration and make large-scale experimentation more practical. For deployment, context caching and compiled action execution reduce inference overhead and support asynchronous action-chunk execution. On the physical dexterous-hand deployment, the optimized runtime achieves an average controller-observed round-trip latency of 152.8 ms on a single NVIDIA RTX 5090 GPU, corresponding to a 5.11\times speedup over the standard runtime.
译文
此外，我们开发了配套的基础设施，以支持高效的模型迭代和在线执行。在模型开发方面，我们优化训练流水线，降低反复进行架构与超参数实验的成本：缓存视频自编码器潜变量和冻结视觉语言特征，避免在多次训练中重复编码；逐层编译与激活检查点（activation checkpointing）则提升骨干网络的吞吐量与显存效率。这些优化共同大幅加快了模型迭代，使大规模实验更可行。在部署方面，上下文缓存与编译后的动作执行降低了推理开销，并支持异步的动作块执行。在真实灵巧手部署中，优化后的运行时在单张 NVIDIA RTX 5090 GPU 上实现了 152.8 ms 的平均控制器侧往返延迟，相比标准运行时加速 5.11 倍。
解释
这段讲工程贡献（详见第 6 节）。训练侧两招：(1) VAE 和 VLM 都是冻结的，同一个样本每个 epoch 编码结果都一样，所以算一次存下来即可；(2) 把 30 层 MoT 逐层用 PyTorch 编译器优化，并在显存紧张时用“激活检查点”（前向不存中间结果、反向时重算）换显存。推理侧：视频侧特征在一次动作去噪中不变，可以缓存 K/V；动作侧形状固定，可以编译并用 CUDA Graph 回放。152.8 ms 的“往返延迟”是从控制器发出请求到拿到动作块的完整时间，比纯模型前向时间更贴近实际。在 30 Hz 控制下，它远小于后文所说的 533 ms 时间预算。
原文
We will release code, checkpoints, recipes, and infrastructure covering the entire pipeline, from data processing and two-stage training to evaluation and deployment. Processed data will be shared where licenses permit, and versioned indices will reference the original samples and record our filtering decisions, so that the community can more easily reproduce our work.
译文
我们将发布覆盖整条流水线的代码、检查点、训练配方与基础设施，从数据处理、两阶段训练到评测与部署。处理后的数据将在许可允许的范围内共享，带版本号的索引会指向原始样本并记录我们的过滤决策，以便社区更容易复现我们的工作。
解释
由于很多原始数据集的许可证不允许二次分发，作者采取“发索引而非发数据”的折中：公开每条样本在原数据集里的位置以及是否被过滤掉、为什么被过滤，别人下载原数据后即可复现同样的训练集。
原文
We evaluate InternW0-\Delta on LIBERO-Plus (Fei et al., 2026), RoboTwin 2.0 (Chen et al., 2026c), EBench (Gao et al., 2026), and RoboDojo (Chen et al., 2026b), spanning different embodiments, task demands, and distribution shifts. Post-trained only on unperturbed demonstrations, InternW0-\Delta achieves the best success rates under distribution shift on both LIBERO-Plus (92.8%) and RoboTwin 2.0 Clean2Random (71.9%), while also leading on Clean2Clean (90.0%). On EBench, which targets mobile bimanual manipulation, it obtains the highest overall score of 66.0. On RoboDojo, whose memory, precision, and long-horizon tasks remain challenging for all methods, it achieves the best average success rate of 23.9%, nearly double that of the strongest prior WAM. We further demonstrate real-robot deployment on two gripper-based and two dexterous-hand platforms, adapting the same pretrained checkpoint to their respective control interfaces through post-training.
译文
我们在 LIBERO-Plus（Fei et al., 2026）、RoboTwin 2.0（Chen et al., 2026c）、EBench（Gao et al., 2026）和 RoboDojo（Chen et al., 2026b）上评测 InternW0-\Delta，覆盖不同本体、任务需求与分布偏移。仅在未加扰动的演示上后训练后，InternW0-\Delta 在 LIBERO-Plus（92.8%）和 RoboTwin 2.0 Clean2Random（71.9%）两项分布偏移评测中均取得最高成功率，同时在 Clean2Clean 上也领先（90.0%）。在面向移动双臂操作的 EBench 上，它获得最高总分 66.0。在 RoboDojo 上——其记忆、精度与长时程任务对所有方法仍具挑战——它取得最高平均成功率 23.9%，接近此前最强 WAM 的两倍。我们还在两个夹爪平台和两个灵巧手平台上展示了真机部署，通过后训练把同一个预训练检查点适配到各自的控制接口。
解释
四个基准各有侧重：LIBERO-Plus 测单臂在相机、机器人初始化、语言、光照、背景、噪声、布局七类扰动下的鲁棒性；RoboTwin 2.0 测双臂在“干净环境训练、随机化环境测试”下的泛化；EBench 测移动双臂；RoboDojo 测记忆、精度、长时程、开放词汇等高阶能力。“仅在未扰动演示上后训练”很重要：测试时的扰动在训练中从未见过，所以这是零样本鲁棒性，能更公平地反映预训练表示的质量。RoboDojo 23.9% 虽然绝对值低，但该基准对所有方法都难，相对此前最强 WAM（OpenWAM-\alpha，11.92%）约翻倍。
原文
The main contributions of this work are as follows:
- A World Action Model with action-relevant predictive representations. InternW0-\Delta couples a pretrained video expert and an action expert through a directed Mixture-of-Transformers. Causal Imprint learns future-relevant scene changes for the action expert without future-video sampling at inference, while training-only 4D-aware distillation adds geometric and motion priors to the video expert.
- A scalable and reproducible data-to-deployment recipe. We curate and unify over 20K hours of heterogeneous robot and human demonstrations under a canonical state-action representation, pretrain on this corpus, and adapt the resulting checkpoint to target embodiments through post-training. Our infrastructure further speeds up both model iteration and online execution. We will release the code, checkpoints, recipes, and filtered-data indices.
- Comprehensive evaluation across embodiments, from simulation to real robots. We evaluate InternW0-\Delta on LIBERO-Plus, RoboTwin 2.0, EBench, and RoboDojo, covering single-arm, bimanual, and mobile manipulation under diverse task demands and distribution shifts. We further deploy it on gripper-based and dexterous-hand real robots, adapting the same pretrained checkpoint to each platform through post-training.
译文
本文的主要贡献如下：
- 一个具有动作相关预测表示的世界动作模型。InternW0-\Delta 通过有向混合 Transformer 耦合预训练视频专家与动作专家。Causal Imprint 为动作专家学习与未来相关的场景变化，推理时无需采样未来视频；仅训练期使用的 4D 感知蒸馏则为视频专家补充几何与运动先验。
- 一套可扩展、可复现的从数据到部署的方案。我们整理并统一了超过 2 万小时的异构机器人与人类演示，采用规范状态—动作表示，在该语料上预训练，并通过后训练把检查点适配到目标本体。我们的基础设施进一步加速了模型迭代与在线执行。我们将发布代码、检查点、训练配方和过滤后数据的索引。
- 从仿真到真机、跨本体的全面评测。我们在 LIBERO-Plus、RoboTwin 2.0、EBench 和 RoboDojo 上评测 InternW0-\Delta，覆盖单臂、双臂和移动操作，以及多样的任务需求与分布偏移。我们还将其部署在夹爪和灵巧手真机上，通过后训练把同一预训练检查点适配到各平台。
解释
三条贡献分别对应“模型—数据/工程—评测”。贡献 1 的两个新点（Causal Imprint、训练期 4D 蒸馏）是方法创新；贡献 2 更偏系统与资源（统一表示、过滤流程、开源索引、训练/推理加速）；贡献 3 强调广度（单臂、双臂、移动、灵巧手；仿真与真机）。读后文时可以按这三条对照：第 3 节对应贡献 1，第 4–6 节对应贡献 2，第 7 节对应贡献 3。
2相关工作（Related Work）
2.1视觉—语言—动作模型与世界动作模型（Vision–Language–Action and World Action Models）
原文
Vision–language–action (VLA) models transfer the semantic knowledge of pretrained vision–language models to robot control. RT-2 (Brohan et al., 2023) and OpenVLA (Kim et al., 2024) adapt these backbones to predict tokenized actions, while \pi_0 (Black et al., 2025b) and GR00T N1 (NVIDIA et al., 2025) couple multimodal understanding with continuous action generation. Subsequent efforts expand the breadth of policy learning: \pi_{0.5} (Black et al., 2025a) combines heterogeneous training sources for open-world generalization, LingBot-VLA (Wu et al., 2026a;b) studies large-scale cross-embodiment learning and practical adaptation, and Qwen-RobotManip (Yuan et al., 2026a) emphasizes alignment across heterogeneous manipulation data. These works establish strong semantic and instruction-following foundations for generalist policies.
译文
视觉—语言—动作（Vision–Language–Action, VLA）模型把预训练视觉语言模型的语义知识迁移到机器人控制上。RT-2（Brohan et al., 2023）和 OpenVLA（Kim et al., 2024）改造这些骨干网络，使其预测离散化（token 化）的动作；而 \pi_0（Black et al., 2025b）和 GR00T N1（NVIDIA et al., 2025）则将多模态理解与连续动作生成结合起来。后续工作拓展了策略学习的广度：\pi_{0.5}（Black et al., 2025a）结合异构训练数据以实现开放世界泛化，LingBot-VLA（Wu et al., 2026a;b）研究大规模跨本体学习与实际适配，Qwen-RobotManip（Yuan et al., 2026a）强调异构操作数据之间的对齐。这些工作为通用策略奠定了强大的语义理解与指令跟随基础。
解释
本段梳理 VLA 的两代演进：第一代（RT-2、OpenVLA）把动作离散成“词”，用语言模型的方式逐个预测；第二代（\pi_0、GR00T N1）在 VLM 后接一个扩散/流匹配“动作头”，输出连续动作，精度更高。之后的工作重点转向数据：多源数据混合（\pi_{0.5}）、跨本体（LingBot-VLA）、异构数据对齐（Qwen-RobotManip，本文的数据处理很多借鉴于它，也是实验中最强的 VLA 基线）。作者的潜台词是：VLA 的强项是语义与指令理解，弱项是对物理动态的建模。
原文
World Action Models (WAMs) additionally couple action learning with predictions of how the visual world evolves. DreamZero (Ye et al., 2026b) transfers pretrained video priors through joint video–action prediction, while Motus (Bi et al., 2025) integrates understanding, video generation, and action modeling within a mixture-of-transformers architecture. LingBot-VA (Li et al., 2026b) adopts causal video–action modeling for streaming control, and LingBot-VA 2.0 (Zhang et al., 2026b) further explores native video–action pretraining. A key design choice is whether action inference requires generating future video. Fast-WAM (Yuan et al., 2026b) separates future-video supervision from the action inference path, showing that video prediction can benefit policy learning without test-time future imagination. Following this separation, InternW0-\Delta retains a trainable video expert and video-generation supervision, while using a frozen VLM for scene semantics. Its directed video–action interface allows the action expert to exploit learned predictive representations without sampling future video.
译文
世界动作模型（WAM）进一步把动作学习与“视觉世界如何演化”的预测耦合起来。DreamZero（Ye et al., 2026b）通过联合视频—动作预测迁移预训练视频先验；Motus（Bi et al., 2025）在混合 Transformer 架构中整合理解、视频生成与动作建模。LingBot-VA（Li et al., 2026b）采用因果的视频—动作建模以实现流式控制，LingBot-VA 2.0（Zhang et al., 2026b）进一步探索原生的视频—动作预训练。一个关键的设计选择是：动作推理是否需要生成未来视频。Fast-WAM（Yuan et al., 2026b）把未来视频监督与动作推理路径分离，表明视频预测可以在测试时不进行未来“想象”的情况下惠及策略学习。沿着这一分离思路，InternW0-\Delta 保留了可训练的视频专家与视频生成监督，同时使用冻结 VLM 提供场景语义。其有向的视频—动作接口使动作专家能够利用学到的预测性表示，而无需采样未来视频。
解释
WAM 的谱系：DreamZero 是“先想象再行动”的代表；Motus 首先把 MoT 用到这个问题；LingBot-VA 系列强调因果性与流式控制。作者指出本领域的分水岭：推理时是否生成未来视频。Fast-WAM 证明了不生成也行，但它在后文的鲁棒性评测（表 9、表 10）中表现较差（如 RoboTwin Clean2Random 只有 1.9%）。本文在 Fast-WAM 的基础上多做了三件事：加冻结 VLM 提供语义；用 Causal Imprint 把视频专家的预测知识“显式地”转交给动作专家；用 4D 蒸馏补几何。
2.2面向机器人控制的视觉表示（Visual Representations for Robot Control）
原文
Beyond the policy architecture, the choice of representation determines which aspects of visual dynamics are made available to action generation. Video Prediction Policy (Hu et al., 2025) extracts predictive visual features from a video diffusion model for control. V-JEPA (Bardes et al., 2024) instead learns video representations by predicting in embedding space, and V-JEPA 2 (Assran et al., 2025) extends this approach to latent planning through action-conditioned post-training. Within robot policies, VLA-JEPA (Sun et al., 2026) uses future-state embedding prediction for pretraining, while JEPA-WAM (Lin et al., 2026) couples spatially structured transition prediction and action generation through a shared predictor. InternVLA-A1.5 (Ma et al., 2026a) distills a frozen video generator into foresight queries attached to a VLM-based policy. ST-WAM (Wang et al., 2026b) combines future VAE-latent and DINO-feature (Caron et al., 2021) prediction with semantic history retrieval, illustrating how generative and semantic prediction targets can complement each other.
译文
除了策略架构之外，表示的选择决定了视觉动力学的哪些方面能被动作生成所利用。Video Prediction Policy（Hu et al., 2025）从视频扩散模型中提取预测性视觉特征用于控制。V-JEPA（Bardes et al., 2024）则通过在嵌入空间中预测来学习视频表示，V-JEPA 2（Assran et al., 2025）通过动作条件化的后训练把这一方法扩展到潜空间规划。在机器人策略中，VLA-JEPA（Sun et al., 2026）使用未来状态嵌入预测进行预训练，JEPA-WAM（Lin et al., 2026）则通过共享预测器把空间结构化的状态转移预测与动作生成耦合起来。InternVLA-A1.5（Ma et al., 2026a）把冻结的视频生成器蒸馏为挂在 VLM 策略上的“前瞻查询”（foresight queries）。ST-WAM（Wang et al., 2026b）结合了对未来 VAE 潜变量和 DINO 特征（Caron et al., 2021）的预测以及语义历史检索，说明生成式与语义式的预测目标可以相互补充。
解释
这一段讨论“预测什么”：(a) 像素/VAE 潜变量（生成式目标，信息完整但包含大量无关细节）；(b) 嵌入空间（JEPA 系列，只预测抽象特征，忽略纹理等细节）；(c) 二者结合（ST-WAM）。这为 Causal Imprint 的两个损失做了铺垫：\mathcal{L}_\Delta 预测 VAE 潜变量的差分（偏生成式），\mathcal{L}_{\text{align}} 对齐视频专家中间层的未来特征（偏表示式）——恰好也是“生成式 + 语义式”的互补组合。InternVLA-A1.5 的“foresight queries”与 Causal Imprint token 思想相近，都是一组可学习查询来承载对未来的预期。
原文
Geometric supervision provides another source of action-relevant structure. Spatial Forcing (Li et al., 2026a) aligns intermediate VLA features with pretrained 3D representations, and LingBot-VLA 2.0 (Wu et al., 2026b) supervises current and future queries with depth and causal video features. Moving beyond per-frame geometry, 4D-WAM (Yang et al., 2026a) transfers trajectory-field knowledge through temporal feature-difference alignment and source-to-destination correspondence. Track4Action (Wang et al., 2026a) predicts pooled Track4World (Lu et al., 2026) descriptors from policy observations and uses the resulting features to condition action generation.
译文
几何监督提供了另一种与动作相关的结构信息来源。Spatial Forcing（Li et al., 2026a）将 VLA 的中间特征与预训练 3D 表示对齐；LingBot-VLA 2.0（Wu et al., 2026b）用深度和因果视频特征监督当前与未来的查询。超越逐帧几何，4D-WAM（Yang et al., 2026a）通过时间上的特征差分对齐和源—目标对应关系迁移轨迹场知识。Track4Action（Wang et al., 2026a）从策略观测中预测池化后的 Track4World（Lu et al., 2026）描述子，并用所得特征来条件化动作生成。
解释
这段关于“几何先验”。3D（每帧深度/点云）只描述静态形状，4D（3D + 时间）还描述点如何运动。Track4Action 与本文最接近：它也用 Track4World 描述子做目标，但把学生特征送进动作生成；而本文的消融（表 15）显示，把学生描述子注入动作专家反而略差（77.78% vs. 78.37%），所以本文只把它当辅助损失，推理时丢弃。
原文
InternW0-\Delta combines predictive and geometric supervision within the video expert, with distinct roles for the two representations. Causal Imprint predicts clean video-latent changes and aligns with future video-expert features; its hidden states directly inform the action expert. Separately, we use Track4World (Lu et al., 2026) as a training-only teacher to distill clip-level geometry and motion information into the video expert. The teacher and distillation branch are discarded at inference, so this supervision does not add an extra policy inference path.
译文
InternW0-\Delta 在视频专家内部结合了预测性监督和几何监督，两种表示扮演不同角色。Causal Imprint 预测干净视频潜变量的变化，并与视频专家的未来特征对齐；它的隐状态直接为动作专家提供信息。另外，我们把 Track4World（Lu et al., 2026）作为仅训练期使用的教师，将片段级的几何与运动信息蒸馏进视频专家。教师和蒸馏分支在推理时被丢弃，因此这种监督不会增加额外的策略推理路径。
解释
这是本节的“定位句”：两种监督作用对象不同。Causal Imprint 是会被动作专家读取的 token，属于推理路径的一部分；4D 蒸馏只是改造视频专家内部特征的辅助训练信号，推理路径上不存在。可以把前者理解为“给动作专家递一张写着‘接下来会怎样’的纸条”，后者理解为“让视频专家在训练中多上一门几何课”。
2.3面向机器人学习的开源系统（Open-Source Systems for Robot Learning）
原文
Open robot learning depends on reusable data interfaces, training implementations, and evaluation and deployment tools in addition to model checkpoints. LeRobot (Cadene et al., 2026) provides shared infrastructure for dataset handling, policy training, and robot interaction. OpenVLA (Kim et al., 2024) and openpi (Physical Intelligence, 2025) make pretrained policies accessible through public implementations and adaptation workflows, while StarVLA (StarVLA Community, 2026) modularizes VLA development to support interchangeable components and controlled experimentation. These systems lower the cost of reproducing and extending robot policies, although their supported models, data pipelines, and deployment settings differ.
译文
开放的机器人学习不仅依赖模型检查点，还依赖可复用的数据接口、训练实现以及评测与部署工具。LeRobot（Cadene et al., 2026）为数据集处理、策略训练和机器人交互提供了共享基础设施。OpenVLA（Kim et al., 2024）与 openpi（Physical Intelligence, 2025）通过公开实现与适配流程让预训练策略变得易于获取；StarVLA（StarVLA Community, 2026）则将 VLA 开发模块化，支持可替换组件与受控实验。这些系统降低了复现和扩展机器人策略的成本，尽管它们支持的模型、数据流水线和部署设置各不相同。
解释
本段说明“开源”不仅是放权重：机器人领域的复现门槛主要在数据格式转换、训练脚本、真机部署代码上。LeRobot 是社区事实标准的数据与训练库，openpi 是 \pi_0 系列的官方开源实现。
原文
Recent foundation-model efforts also expose larger-scale training recipes. LingBot-VLA (Wu et al., 2026a) releases checkpoints and a training and evaluation codebase. Qwen-RobotManip (Yuan et al., 2026a) documents the data-alignment pipeline underlying its manipulation policy. OpenWAM (Wang et al., 2026d) brings modular architectures, data processing, training, and deployment into a common framework for systematic WAM research. We share this emphasis on accessible research infrastructure. Alongside the policy, InternW0-\Delta documents a unified data representation, multi-stage training, reusable frozen-encoder and teacher-feature caches, and compilation and memory optimizations. We will release these components together with the data-processing and filtering code, versioned filtered-data indices, training and evaluation code, model checkpoints, and deployment utilities, so that subsequent work can investigate model and representation choices with a concrete, inspectable training recipe.
译文
近期的基础模型工作也公开了更大规模的训练方案。LingBot-VLA（Wu et al., 2026a）发布了检查点以及训练与评测代码库。Qwen-RobotManip（Yuan et al., 2026a）记录了其操作策略背后的数据对齐流水线。OpenWAM（Wang et al., 2026d）将模块化架构、数据处理、训练与部署纳入统一框架，用于系统性的 WAM 研究。我们同样重视易获取的研究基础设施。除策略本身外，InternW0-\Delta 还记录了统一的数据表示、多阶段训练、可复用的冻结编码器与教师特征缓存，以及编译与显存优化。我们将连同数据处理与过滤代码、带版本的过滤数据索引、训练与评测代码、模型检查点和部署工具一起发布这些组件，使后续工作能够基于一个具体、可检查的训练方案研究模型与表示的选择。
解释
OpenWAM 是本文在实验中最主要的 WAM 对手（OpenWAM-\alpha）。作者强调自己开源的是“全栈”，从过滤代码到部署工具；“可检查（inspectable）”意味着别人能看到每一步做了什么、过滤掉了哪些样本，而不只是拿到一个黑盒权重。
3InternW0-\Delta 模型设计（InternW0-\Delta Model Design）
3.1架构总览（Architecture Overview）
原文
Figure 1: Architecture overview of InternW0-\Delta. A frozen Wan VAE encodes sparse visual memory comprising anchor (A), recent (R), and current (C) observations. The pretrained Wan2.2-TI2V-5B video expert and the ActionDiT action expert are coupled through 30 directed Mixture-of-Transformers (MoT) blocks. T5 instruction embeddings condition the video expert, while a frozen VLM provides task-conditioned scene semantics to the action expert; current proprioception is independently projected for both experts. Causal Imprint tokens encode change-oriented predictive features from recent and current observations to guide action generation.
译文
图 1：InternW0-\Delta 架构总览。冻结的 Wan VAE 对由锚帧（A）、最近帧（R）和当前帧（C）组成的稀疏视觉记忆进行编码。预训练的 Wan2.2-TI2V-5B 视频专家与 ActionDiT 动作专家通过 30 个有向混合 Transformer（MoT）块耦合。T5 指令嵌入为视频专家提供条件，冻结 VLM 则为动作专家提供任务条件化的场景语义；当前本体感觉（proprioception）分别独立投影后输入两个专家。Causal Imprint token 从最近帧与当前帧中编码面向“变化”的预测性特征，用于引导动作生成。
图 1 解读
这张图是全文最重要的结构图，从左到右可分三列阅读。
- 左列：输入与编码。最上方三张图片是 A（锚帧，回合起点）、R（最近帧）、C（当前帧），经雪花图标（表示冻结）的 Wan VAE 编码成蓝色方块（观测 token）；其后接灰色的“noisy video tokens”（加噪的未来视频 token，训练时用于视频生成）和紫色的“Causal Imprint tokens”。这三类拼在一起构成视频流的输入。中间“task instruction”经 T5 编码，与 “current proprio”（当前本体状态）经 Linear 投影后的 token 合成绿色的“video context”，通过交叉注意力（cross attention）进入视频专家。最下方“current observation”与指令（由 task instruction 引出的连线）一起进入冻结的 VLM，其输出（紫色方块）与另一路 Linear 投影的本体 token 组成“action context”，通过交叉注意力进入动作专家。注意本体状态被投影了两次（两个 Linear），分别给两个专家，对应式 (3)。
- 中列：30 层 World–Action MoT。每层上半部是视频专家（Wan 2.2-TI2V-5B），下半部是动作专家（输入为“noisy action tokens”，即加噪的动作块），中间的“masked self-attention”表示两条流在这一步拼接后共同做一次带掩码的自注意力，上下双向箭头表示信息在此交换。叠放的三层卡片表示重复 30 次。
- 右列：输出。视频专家输出“Predicted Causal Imprint”（紫色）和“future world”（未来画面，仅训练时作为生成目标）；动作专家输出“action chunk”——一条 32 步的动作曲线（横轴 timestep 从 1 到 32）。底部标语“predict what changes — and act accordingly”（预测会变什么，然后据此行动）概括了 Causal Imprint 的设计哲学。
原文
As shown in Figure 1, InternW0-\Delta integrates pretrained visual dynamics, task-conditioned scene semantics, and action generation within a directed world-action architecture. A pretrained video expert and an action expert are coupled through a directed Mixture-of-Transformers, while a frozen vision-language model provides scene-grounded task semantics to the action expert. The video expert processes a lightweight sparse memory of anchor, recent, and current observations, with proprioceptive states conditioning both experts. These components are detailed in Sections 3.2, 3.3 and 3.6.
译文
如图 1 所示，InternW0-\Delta 在一个有向的世界—动作架构中整合了预训练视觉动力学、任务条件化的场景语义与动作生成。预训练视频专家和动作专家通过有向混合 Transformer 耦合，冻结的视觉语言模型则为动作专家提供立足于场景的任务语义。视频专家处理由锚帧、最近帧和当前帧组成的轻量稀疏记忆，本体感觉状态同时为两个专家提供条件。这些组件将在第 3.2、3.3 和 3.6 节详述。
解释
本段是第 3 节的“目录”之一：讲“输入怎么进、两专家怎么连”。3.2 节讲各种输入（图像、本体、动作、语言/场景）怎样编码；3.3 节讲为什么只用三帧；3.6 节讲 MoT 与注意力掩码。
原文
To learn action-relevant dynamic representations, Causal Imprint uses training-only future supervision to capture future-relevant scene changes, while 4D-aware distillation from a frozen Track4World (Lu et al., 2026) teacher further introduces geometric and motion priors. The directed information flow prevents any forward activation path from realized future observations to the action prediction path, allowing InternW0-\Delta to directly generate actions at inference without future-video rollout. We describe these representation-learning objectives and the resulting inference procedure in Sections 3.4, 3.5, 3.7 and 3.8.
译文
为了学习与动作相关的动态表示，Causal Imprint 利用仅训练期可用的未来监督来捕捉与未来相关的场景变化；而以冻结 Track4World（Lu et al., 2026）为教师的 4D 感知蒸馏进一步引入几何与运动先验。有向信息流阻断了从“已实现的未来观测”到动作预测路径的任何前向激活通路，使 InternW0-\Delta 在推理时无需展开未来视频即可直接生成动作。我们将在第 3.4、3.5、3.7 和 3.8 节介绍这些表示学习目标及由此得到的推理过程。
解释
这是“目录”之二：讲“学什么、怎么推理”。“前向激活通路（forward activation path）”是个精确的说法：未来帧可以通过损失函数的梯度影响模型参数（这是允许的，就是监督学习本身），但不能作为前向计算的输入流进动作专家（否则训练—推理不一致）。“已实现的未来（realized future）”指数据集中真实发生过的未来帧，区别于模型自己预测的未来。
3.2多模态上下文编码（Multimodal Context Encoding）
原文
Multi-view visual encoding. At each time step \tau, InternW0-\Delta receives observations from up to K camera views. We denote the k-th view by o^{(k)}_\tau and use a binary indicator m^{(k)}_\tau \in \{0,1\} to specify whether the corresponding view is available. To support heterogeneous camera configurations across embodiments, valid views are first resized and arranged into a unified visual canvas through an embodiment-dependent composition operator \Pi,
x_\tau = \Pi\Big(\big\{o^{(k)}_\tau\big\}_{k=1}^{K},\ \big\{m^{(k)}_\tau\big\}_{k=1}^{K}\Big). \tag{1}
The composed observation is then encoded by the pretrained video VAE, z_\tau = E_{\text{VAE}}(x_\tau). \tag{2}
where z_\tau serves as the visual latent input to the video expert. 译文
多视角视觉编码。在每个时间步 \tau，InternW0-\Delta 接收至多 K 个相机视角的观测。记第 k 个视角为 o^{(k)}_\tau，并用二值指示量 m^{(k)}_\tau\in\{0,1\} 表示该视角是否可用。为了支持不同本体之间各异的相机配置，有效视角先被缩放，并通过一个依赖于本体的组合算子 \Pi 排布到统一的视觉画布（canvas）上：
x_\tau = \Pi\Big(\big\{o^{(k)}_\tau\big\}_{k=1}^{K},\ \big\{m^{(k)}_\tau\big\}_{k=1}^{K}\Big). \qquad (1)
组合后的观测再由预训练视频 VAE 编码： z_\tau = E_{\text{VAE}}(x_\tau), \qquad (2)
其中 z_\tau 作为视频专家的视觉潜变量输入。 解释
问题：不同机器人相机数量不同（Franka+XHand 只有 1 个外部相机，AC-One 有 1 个头部 + 2 个腕部相机），而视频模型只能吃“一段视频”。做法：把多路画面拼成一张大图（后文统一为 384\times256 的画布），就像监控屏幕上的“画中画”宫格。
- \tau：任意时间步（区别于后文的“当前时刻” t）；K：最大视角数；o^{(k)}_\tau：第 k 个相机的原始图像。
- m^{(k)}_\tau：可用性掩码，1 表示该相机存在且有图像，0 表示缺失（例如某数据集没有左腕相机）。
- \Pi：“组合算子”，按本体决定的排版规则把有效视角缩放并摆放到画布上；“依赖本体”意味着双臂机器人和单臂机器人的宫格布局可以不同。
- E_{\text{VAE}}：Wan2.2 自带的视频 VAE，把像素压缩成低分辨率、多通道的潜变量 z_\tau。之所以用它，是因为视频专家本来就是在这个潜空间里预训练的，沿用才能保留其先验。
原文
Proprioceptive encoding. In addition to visual observations, InternW0-\Delta conditions on the current proprioceptive state s_t, expressed in the canonical representation defined in Section 4.1. The canonical state stores the current joint positions, absolute end-effector (EEF) pose, and gripper or hand configuration in fixed semantic slots. We independently project the canonical state into the embedding spaces of the video and action experts,
e^v_t = E^v_s(s_t), \qquad e^a_t = E^a_s(s_t), \tag{3}
where E^v_s and E^a_s are separately parameterized state encoders, each implemented as a single linear layer, and e^v_t and e^a_t denote the resulting proprioceptive embeddings for the video and action experts, respectively. 译文
本体感觉编码。除视觉观测外，InternW0-\Delta 还以当前本体感觉状态 s_t 为条件，该状态采用第 4.1 节定义的规范表示。规范状态在固定的语义槽位中存储当前关节位置、绝对末端执行器（end-effector, EEF）位姿以及夹爪或灵巧手的构型。我们将规范状态分别投影到视频专家和动作专家的嵌入空间：
e^v_t = E^v_s(s_t), \qquad e^a_t = E^a_s(s_t), \qquad (3)
其中 E^v_s 与 E^a_s 是参数各自独立的状态编码器，均实现为单个线性层；e^v_t 和 e^a_t 分别是供视频专家与动作专家使用的本体感觉嵌入。 解释
本体感觉（proprioception）指机器人“对自身的感知”：各关节角度、手在空间中的位置与朝向、夹爪张开多少。上标 v/a 分别代表 video/action，下标 s 代表 state。为什么要两个独立的线性层？因为两位专家的隐空间维度不同（3072 vs. 1024），用途也不同：视频专家用它辅助预测画面（例如知道手臂位置有助于画出手臂），动作专家用它作为动作生成的起点（下一步动作是相对于当前状态而言的）。线性层足够，因为 s_t 已经是低维、语义明确的向量（80 维槽位，见表 1）。
原文
Action encoding. To support heterogeneous embodiments, robot-specific control signals are mapped into the canonical action representation defined in Section 4.1, following the fixed semantic layout in Table 1. Joint, gripper, and hand actions specify absolute target configurations, whereas EEF actions specify motion relative to the current EEF pose. We denote an action chunk and its validity mask by
A_t \in \mathbb{R}^{H_a\times D_a}, \qquad M_A \in \{0,1\}^{H_a\times D_a}, \tag{4}
where H_a denotes the action horizon, D_a = 80 is the dimensionality of the canonical action space, and M_A indicates the valid timesteps and action dimensions for the active embodiment. The canonical action vectors are projected into the action expert's embedding space through an action encoder, e^A_t = E_A(A_t), \tag{5}
where E_A is implemented as a single linear layer and e^A_t denotes the resulting action-token embeddings. 译文
动作编码。为支持异构本体，各机器人特有的控制信号按照表 1 的固定语义布局映射到第 4.1 节定义的规范动作表示中。关节、夹爪和灵巧手动作指定绝对目标构型，而 EEF 动作指定相对于当前 EEF 位姿的相对运动。我们将动作块（action chunk）及其有效性掩码记为
A_t \in \mathbb{R}^{H_a\times D_a}, \qquad M_A \in \{0,1\}^{H_a\times D_a}, \qquad (4)
其中 H_a 为动作时域长度（action horizon），D_a=80 为规范动作空间的维度，M_A 指示当前本体有效的时间步和动作维度。规范动作向量通过动作编码器投影到动作专家的嵌入空间： e^A_t = E_A(A_t), \qquad (5)
其中 E_A 实现为单个线性层，e^A_t 为得到的动作 token 嵌入。 解释
动作块：模型一次不只输出下一步动作，而是输出未来 H_a 步（后文 H_a=32）的动作序列 A_t，每一行是一个 80 维动作向量。这是 ACT、\pi_0 以来的通用做法，可以减少推理次数、让动作更平滑。 掩码 M_A：80 维是为“最复杂的机器人”（双臂 + 灵巧手 + 躯干 + 底盘 + 头）准备的，一台单臂夹爪机器人只用到其中十来维。M_A 中为 0 的位置在损失中被忽略，模型不会被逼着去预测不存在的关节；在时间维上，回合末尾不足 32 步的部分也被掩掉。 绝对 vs. 相对：关节/夹爪用绝对目标值（“把关节转到 30°”），EEF 用相对增量（“往前移动 1 cm、绕自身转 2°”）。相对增量对不同机器人的工作空间尺度、坐标原点更不敏感，利于跨本体迁移。
原文
Task and scene semantic encoding. The pretrained video expert inherits the T5-based (Raffel et al., 2020) language conditioning pathway from Wan2.2-TI2V-5B (Wan Team, 2025). Given the instruction \ell, we construct the video-side conditioning sequence as
C^v_t = \big[E_{\text{T5}}(\ell);\ e^v_t\big]. \tag{6}
Retaining this pathway preserves the language conditioning learned during video pretraining. However, T5 only encodes the linguistic content of the instruction and does not directly perceive the current environment. As a result, it provides limited information about the scene in which the instruction must be executed, including the objects present in the scene, their spatial configuration, the robot–object relationships, and the current interaction state. Such scene understanding is essential for action prediction, since the same language instruction may correspond to different actions under different visual states. 译文
任务与场景语义编码。预训练视频专家继承了 Wan2.2-TI2V-5B（Wan Team, 2025）中基于 T5（Raffel et al., 2020）的语言条件通路。给定指令 \ell，我们构造视频侧的条件序列：
C^v_t = \big[E_{\text{T5}}(\ell);\ e^v_t\big]. \qquad (6)
保留这一通路可以维持视频预训练中学到的语言条件能力。然而，T5 只编码指令的语言内容，并不直接感知当前环境。因此，它对指令需要在其中执行的场景提供的信息有限，包括场景中有哪些物体、它们的空间布局、机器人与物体的关系以及当前的交互状态。而这种场景理解对动作预测至关重要，因为同一条语言指令在不同视觉状态下可能对应不同的动作。 解释
式 (6) 中 [\,\cdot\,;\,\cdot\,] 表示沿序列维拼接：T5 编码出的一串文本 token 后面再接一个本体 token e^v_t，共同作为视频专家交叉注意力的 Key/Value。保留 T5 的原因是 Wan2.2 在预训练时就是“看着 T5 文本生成视频”的，换掉它会破坏预训练学到的“文本—视频”对应。作者随后指出 T5 的局限：它是纯文本模型。举例：指令“把红杯子放进盒子”——T5 知道“红杯子”这个词，但不知道红杯子在画面左边还是右边、是否已被抓起。同一条指令，在“杯子还在桌上”和“杯子已在手中”两种状态下对应的动作完全不同。这就引出下一段的 VLM。
原文
We therefore introduce an additional frozen vision–language model to complement the T5 pathway with scene-level visual understanding. The VLM jointly processes all valid current views together with their view identities and the instruction,
H^{\text{VLM}}_t = f_{\text{VLM}}\Big(\Big\{\big(o^{(k)}_t,\ \mathrm{id}(k)\big)\ \Big|\ m^{(k)}_t = 1\Big\},\ \ell\Big). \tag{7}
The resulting multimodal tokens provide the action expert with a richer understanding of the current scene while relating this visual context to the task instruction. We combine these features with the action-side proprioceptive embedding as C^a_t = \big[H^{\text{VLM}}_t;\ e^a_t\big]. \tag{8}
which is used to condition action prediction. 译文
因此，我们引入一个额外的冻结视觉语言模型，以场景级视觉理解来补充 T5 通路。VLM 联合处理所有有效的当前视角（连同其视角标识）以及指令：
H^{\text{VLM}}_t = f_{\text{VLM}}\Big(\Big\{\big(o^{(k)}_t,\ \mathrm{id}(k)\big)\ \Big|\ m^{(k)}_t = 1\Big\},\ \ell\Big). \qquad (7)
得到的多模态 token 为动作专家提供对当前场景更丰富的理解，同时把这一视觉上下文与任务指令关联起来。我们将这些特征与动作侧的本体感觉嵌入组合为 C^a_t = \big[H^{\text{VLM}}_t;\ e^a_t\big], \qquad (8)
用于条件化动作预测。 解释
式 (7)：集合 \{\cdot \mid m^{(k)}_t=1\} 只取当前时刻存在的视角；每张图配一个视角标识 \mathrm{id}(k)（例如“头部相机”“左腕相机”），让 VLM 知道每张图从哪里拍的。注意这里 VLM 吃的是原始多视角图像而不是拼好的画布，并且只看当前帧。f_{\text{VLM}} 冻结不训练（后文选用 RynnBrain1.1-2B），输出 H^{\text{VLM}}_t 是 VLM 最后的稠密隐状态序列（不是生成的文字）。式 (8)：与式 (6) 对称，动作侧上下文 = VLM token 序列 + 一个本体 token。C^v_t 和 C^a_t 分别通过交叉注意力进入两个专家（见 3.6 节）。直观上，VLM 输出的 token 已经把“指令中的红杯子”与“画面左下角那个物体”关联好了，动作专家直接拿来用即可。消融（表 14）显示加入 VLM 带来的提升最大（53.47%\to69.08%）。
原文
The two pathways are therefore complementary. T5 preserves the pretrained language prior of the video expert, while the VLM supplies the scene understanding required for observation-conditioned control. Importantly, introducing the VLM also establishes a multimodal semantic interface that can support future agentic capabilities, such as incorporating subtask descriptions, intermediate goals, persistent memory, and execution feedback (Ichter et al., 2023; Brohan et al., 2023; Jiang et al., 2023; Huang et al., 2023).
译文
因此，这两条通路是互补的。T5 保留了视频专家的预训练语言先验，而 VLM 提供以观测为条件的控制所需的场景理解。重要的是，引入 VLM 还建立了一个多模态语义接口，可支持未来的智能体（agentic）能力，例如纳入子任务描述、中间目标、持久记忆以及执行反馈（Ichter et al., 2023; Brohan et al., 2023; Jiang et al., 2023; Huang et al., 2023）。
解释
总结“双语言通路”的分工：T5\to视频专家（保先验），VLM\to动作专家（给语义）。后半句是展望：VLM 是一个能读图又能读长文本的接口，将来可以塞进更丰富的信息，比如上层规划器给出的子任务（“先打开抽屉”）、执行失败的反馈等，从而支持“大模型做规划、WAM 做执行”的分层系统。第 7.5 节的 GPT-6 Astra 实验就是这一方向的初步尝试。
3.3稀疏记忆上下文（Sparse Memory Context）
原文
Effective action prediction requires awareness of both recent execution dynamics and the broader task context, while retaining a dense observation history introduces unnecessary computational overhead. Motivated by the observation that nearby history is most informative for short-term motion and interaction continuity, whereas distant history mainly serves as a coarse global reference, we equip InternW0-\Delta with a lightweight sparse memory that preserves both levels of temporal context. Specifically, InternW0-\Delta maintains a sparse visual memory consisting of an episode-level global memory, a short-term memory from the previous action chunk, and the current observation,
\mathcal{X}_t = \{x_a,\ x_{t-H_c},\ x_t\}, \tag{9}
where x_a denotes the composed multi-view observation at the beginning of the episode, x_{t-H_c} provides a reference to the state before the previous action chunk, and x_t is the current observation. Their corresponding video latents, \{z_a, z_{t-H_c}, z_t\}, provide sparse episode-level and recent execution context to the video expert without maintaining a dense observation history. 译文
有效的动作预测既需要了解近期的执行动态，也需要了解更宏观的任务上下文；而保留稠密的观测历史会带来不必要的计算开销。我们注意到：近期历史对于短期运动与交互的连续性最有信息量，而久远的历史主要充当粗略的全局参照。受此启发，我们为 InternW0-\Delta 配备了一个能同时保留这两个层级时间上下文的轻量稀疏记忆。具体而言，InternW0-\Delta 维护一个稀疏视觉记忆，由回合级全局记忆、来自上一个动作块的短期记忆和当前观测组成：
\mathcal{X}_t = \{x_a,\ x_{t-H_c},\ x_t\}, \qquad (9)
其中 x_a 表示回合开始时组合好的多视角观测，x_{t-H_c} 提供对上一个动作块之前状态的参照，x_t 为当前观测。它们对应的视频潜变量 \{z_a, z_{t-H_c}, z_t\} 在不维护稠密观测历史的前提下，为视频专家提供稀疏的回合级上下文和近期执行上下文。 解释
为什么需要历史？单帧观测存在歧义：机械臂停在杯子上方，可能是“正要抓”，也可能是“刚放下”；倒水任务中，只看当前帧难以判断已倒了多久。为什么不用全部历史？视频 token 很多，每多一帧计算量就上升一截。作者的折中是三帧：
- x_a（Anchor，锚帧）：回合第一帧，记录初始布局——物体原本在哪、任务从什么状态开始，相当于“全局参照”。
- x_{t-H_c}（Recent，最近帧）：H_c 步之前的画面，H_c 是一个动作块的长度（后文为 32 个动作步）。它和当前帧之间正好隔着“上一个动作块执行的结果”，二者的差别反映了“刚刚发生了什么运动”。
- x_t（Current，当前帧）。
3.4因果印记（Causal Imprint）
原文
Causal Imprint is motivated by the idea that supervision from future outcomes can leave a training-time imprint on representations formed from the observed context.（注：The name is loosely inspired by the temporal perspective portrayed in Interstellar, where information is depicted as leaving traces across different moments in time.） Instead of exposing realized future observations to the action prediction path, we use them only as supervision, encouraging the model to encode future-relevant scene changes from observations available at inference time.
译文
Causal Imprint 的动机是：来自未来结果的监督，可以在训练时于“由已观测上下文形成的表示”上留下一道印记。（注：这个名字松散地取自电影《星际穿越》（Interstellar）中的时间观：信息被描绘为能够跨越不同时刻留下痕迹。）我们不把已实现的未来观测暴露给动作预测路径，而只把它们用作监督，从而促使模型利用推理时可得的观测，编码与未来相关的场景变化。
解释
“印记”一词很形象：未来本身不进入模型的输入，但它通过损失函数的梯度，在模型参数上“压”出了痕迹——训练好之后，模型看着当前画面，内部表示里就带有“接下来大概会怎样”的信息。这与人类的直觉类似：熟练的人看到杯子斜放在桌边，不用“想象出视频”就能预感它会倒。名称中的 Causal（因果）强调这些 token 只依赖过去与现在（满足时间因果性），Imprint 则是“未来留下的印记”。
原文
Concretely, we introduce a set of learnable Causal Imprint tokens into the self-attention layers of the video expert. These tokens aggregate recent and current visual features to capture motion, interaction, and state transitions that are informative for action generation, complementing the appearance information contained in the observed visual features. Their spatial layout follows that of the current video latent, allowing each Causal Imprint token to interact with observation tokens at the corresponding spatial resolution.
译文
具体来说，我们在视频专家的自注意力层中引入一组可学习的 Causal Imprint token。这些 token 汇聚最近帧与当前帧的视觉特征，以捕捉对动作生成有信息量的运动、交互和状态转移，从而补充已观测视觉特征中所包含的外观信息。它们的空间布局与当前视频潜变量相同，使每个 Causal Imprint token 都能在对应的空间分辨率上与观测 token 交互。
解释
实现细节：Causal Imprint token（下文常记作 \Delta token）是一组可学习的初始向量，像 BERT 的 [CLS] 或 DETR 的 object query，与 A/R/C 观测 token 一起拼进视频流。“空间布局与当前视频潜变量相同”意味着：若当前帧潜变量是一张 h\times w 的 token 网格，则 \Delta token 也是 h\times w 个，并带有相同的位置编码，第 (i,j) 个 \Delta token 天然对应画面第 (i,j) 块区域。这样它预测的“变化”是空间对齐的：左上角的 \Delta token 负责描述左上角区域接下来的变化。为什么只看 R 和 C 而不看 A？见 3.6 节掩码：\Delta\leftarrow\{R,C,\Delta\}，因为“变化”主要由近期运动决定，锚帧只提供全局语境。观测 token 回答“现在是什么样”（外观），\Delta token 回答“正在/将要怎么变”（动态），二者互补。
原文
During training, we construct explicit change targets from the clean video latents before noise injection. Given the current latent z_t and future latent slices \{z_{t+i\rho_v}\}_{i=1}^{T_v}, we define the adjacent latent differences as
\Delta z_{t,i} = z_{t+i\rho_v} - z_{t+(i-1)\rho_v}, \qquad i = 1,\dots,T_v, \tag{10}
where z_{t+0\rho_v} = z_t. We stack these differences along the temporal dimension to form the supervision target \Delta Z_t. These adjacent latent differences encourage Causal Imprint to encode visual changes along the future trajectory. The resulting Causal Imprint representations are made available to the action expert, while the clean future latents are used only to construct training targets. The complementary future-feature alignment is illustrated in Figure 4, with the corresponding objectives detailed in Section 3.7. 译文
训练时，我们利用加噪之前的干净视频潜变量构造显式的变化目标。给定当前潜变量 z_t 与未来潜变量切片 \{z_{t+i\rho_v}\}_{i=1}^{T_v}，定义相邻潜变量差分为
\Delta z_{t,i} = z_{t+i\rho_v} - z_{t+(i-1)\rho_v}, \qquad i = 1,\dots,T_v, \qquad (10)
其中 z_{t+0\rho_v} = z_t。我们将这些差分沿时间维堆叠，构成监督目标 \Delta Z_t。这些相邻潜变量差分促使 Causal Imprint 编码沿未来轨迹发生的视觉变化。得到的 Causal Imprint 表示会提供给动作专家，而干净的未来潜变量仅用于构造训练目标。互补的未来特征对齐见图 4，相应目标函数详见第 3.7 节。 解释
符号说明：\rho_v 是视频潜变量切片之间的时间间隔（以动作步计），T_v 是未来切片的个数。Wan VAE 在时间上也做压缩（多帧压成一个潜变量“切片”），所以这里说“切片”而不是“帧”。图 4 右侧画的是 t、t{+}16、t{+}32 三个时刻，提示一种典型设置为 \rho_v=16、T_v=2，即覆盖一个 32 步动作块的时长。i=1 时 \Delta z_{t,1}=z_{t+\rho_v}-z_t（当前到第一个未来切片的变化），i=2 时 \Delta z_{t,2}=z_{t+2\rho_v}-z_{t+\rho_v}，依此类推。 为什么预测差分而不是未来本身？未来画面中绝大部分像素与现在相同（背景、桌面），直接预测未来时模型会把容量花在“复制外观”上；而差分把静止部分抵消为零，只剩运动区域（手臂、被操作物体）。这正是动作需要的信息。 为什么用“干净”潜变量？视频专家训练时，未来帧 token 是加了噪声的（流匹配）。监督目标必须用加噪前的真实值，否则目标本身带随机噪声。 相邻差分 vs. 相对当前帧差分：相邻差分刻画的是每一段的“速度”，序列整体描述了变化的轨迹，而不是只有终点状态。
3.54D 感知表示蒸馏（4D-Aware Representation Distillation）
原文
Figure 2: 4D-aware representation distillation. A query-based student branch aggregates clean A/R/C features from the video expert and aligns them with cached Track4World descriptors via an auxiliary MSE loss, transferring geometric and motion priors without additional policy inference cost.
译文
图 2：4D 感知表示蒸馏。一个基于查询的学生分支汇聚视频专家中干净的 A/R/C 特征，并通过辅助 MSE 损失将其与缓存的 Track4World 描述子对齐，在不增加策略推理开销的前提下迁移几何与运动先验。
图 2 解读
图分上下两部分：
- 上半部 “Teacher targets · offline”（教师目标，离线）：取与动作时域对齐的真实视频片段（GT video clip, Action-aligned window），送入冻结的 Track4World（雪花表示冻结），得到五类特征：Geometry（几何，1024 维）、2D Motion（二维运动，128 维）、3D Motion（三维运动，256 维）、Camera（相机运动，18 维）、Visibility（可见性，4 维）。每块分别做 \ell_2 归一化后拼接（Aggregation + per-block L_2 norm），总维数 1024+128+256+18+4=1430，即正文中的 r^T_t\in\mathbb{R}^{1430}。结果存入 Teacher cache（教师缓存，数据库图标），训练时直接读取。
- 下半部 “Student branch”（学生分支）：从 30 层 MoT 的第 15 层（Mid layer 15）取出 A、R、C 三帧的隐 token，经 Linear 投影后作为 K、V；16 个可学习查询（16 learnable queries）作为 Q，经过 2 层 Transformer 解码器（每层 Self attn \to Cross attn \to FFN），输出 16 个查询向量；再经 Pool & MLP（平均池化 + 投影）得到学生描述子 r^S_t。
- 右侧红色双箭头 MSE：学生描述子与教师描述子之间计算均方误差。
原文
To enrich the video expert with geometric and motion-aware representations, we introduce a training-only distillation objective using a frozen Track4World (Lu et al., 2026) teacher (See Figure 2). For each training sample, the teacher processes a ground-truth video window aligned with the action horizon. We aggregate its geometry and 2D/3D motion features, together with camera-motion and visibility statistics, into a clip-level 4D-aware descriptor r^{\mathrm{T}}_t \in \mathbb{R}^{1430} following the scheme of (Wang et al., 2026a). Each component is independently \ell_2-normalized before concatenation. Teacher descriptors are precomputed and cached offline, avoiding teacher evaluation during policy training.
译文
为了用几何与运动感知的表示丰富视频专家，我们引入一个仅训练期使用的蒸馏目标，教师为冻结的 Track4World（Lu et al., 2026）（见图 2）。对每个训练样本，教师处理一个与动作时域对齐的真实视频窗口。我们按照（Wang et al., 2026a）的方案，将其几何特征与 2D/3D 运动特征，连同相机运动与可见性统计量，聚合为一个片段级 4D 感知描述子 r^{\mathrm{T}}_t \in \mathbb{R}^{1430}。各组成部分在拼接前分别进行 \ell_2 归一化。教师描述子离线预计算并缓存，避免在策略训练过程中运行教师模型。
解释
Track4World 是一个“4D 跟踪/重建”基础模型：输入一段视频，输出场景的三维几何以及每个点在 2D 图像与 3D 空间中的运动轨迹、相机自身运动和点的可见性（是否被遮挡）。上标 T 表示 Teacher。片段级（clip-level）指整段窗口被压缩成一个 1430 维向量，而不是逐像素的稠密场——这降低了蒸馏难度，也让缓存体积可控。分块 \ell_2 归一化的原因：五块特征维度和数值尺度差异很大（1024 维几何 vs. 4 维可见性），若不归一化，MSE 会被几何块主导，小块（如相机运动）几乎没有梯度。离线缓存：Track4World 本身较重，每步训练都跑一遍代价太高；由于教师冻结、输入固定，结果可以只算一次。（后文提到只有 1/16 的样本配有教师描述子。）
原文
The student branch uses only observations available to the policy at inference. Specifically, we extract the clean-condition hidden tokens corresponding to the anchor, recent, and current frames from the 15th VideoDiT block and linearly project them into the decoder embedding space. We then introduce 16 learnable queries and aggregate the projected visual tokens through a two-layer Transformer decoder. Each layer comprises query self-attention, cross-attention to the projected visual tokens, and a feed-forward network. Finally, the decoded queries are mean-pooled and projected to the teacher feature dimension, producing the student descriptor r^{\mathrm{S}}_t.
译文
学生分支只使用策略在推理时可获得的观测。具体而言，我们从第 15 个 VideoDiT 块中取出与锚帧、最近帧和当前帧对应的“干净条件”隐 token，并将其线性投影到解码器嵌入空间。随后引入 16 个可学习查询，通过一个两层 Transformer 解码器聚合投影后的视觉 token。每层包括查询自注意力、对投影视觉 token 的交叉注意力和一个前馈网络。最后，解码后的查询经平均池化并投影到教师特征维度，得到学生描述子 r^{\mathrm{S}}_t。
解释
“干净条件”token：A/R/C 三帧是条件帧，不加噪声（只有未来帧加噪），所以它们的隐状态是“干净”的，与推理时一致。为什么取第 15 层？30 层的正中间。经验上扩散 Transformer 的中间层语义与结构信息最丰富（浅层偏纹理，深层偏去噪输出）；把蒸馏信号施加在中间层，可以影响前 15 层的表示，又不直接干扰最终输出层。查询式聚合：这种“少量可学习查询 + 交叉注意力”的结构（类似 Perceiver/Q-Former）可以把数量可变的大量视觉 token 压缩为固定数量的摘要。16 个查询各自关注不同方面，最后池化成一个向量，再投影到 1430 维与教师对齐。学生分支很小（两层），这样学习压力主要落在视频专家本身，而不是被学生网络“吸收”掉。
原文
We align the student descriptor with the cached teacher descriptor using an auxiliary MSE loss, jointly optimized with the original WAM objectives, to distill geometric and motion priors into the video expert. This distillation introduces no additional policy inference cost, as neither the teacher nor the student branch is required at inference.
译文
我们用一个辅助 MSE 损失将学生描述子与缓存的教师描述子对齐，并与原有的 WAM 目标联合优化，从而将几何与运动先验蒸馏进视频专家。由于推理时既不需要教师也不需要学生分支，这一蒸馏不会引入任何额外的策略推理开销。
解释
损失的具体形式见式 (17)。“蒸馏进视频专家”是关键：被改变的是视频专家的参数，学生分支只是一个“探针 + 传导器”。这与“把学生特征喂给动作专家”的做法不同，后者推理时必须保留学生分支；表 15 显示后者效果反而略差，所以作者选择了零推理开销的方案。
3.6混合 Transformer 与注意力掩码（Mixture-of-Transformers and Attention Mask）
原文
Figure 3: World-Action MoT layer and attention mask. (a) The video stream contains anchor (A), recent (R), current (C), future (F), and Causal Imprint (\Delta) tokens, while action tokens (Act) form a separate stream. (b) The two experts compute separate query, key, and value projections for joint masked self-attention, followed by expert-specific cross-attention, feed-forward, and residual pathways. (c) Rows and columns index query and key token groups, respectively.
译文
图 3：世界—动作 MoT 层与注意力掩码。(a) 视频流包含锚帧（A）、最近帧（R）、当前帧（C）、未来帧（F）和 Causal Imprint（\Delta）token，动作 token（Act）则构成单独的一条流。(b) 两个专家分别计算各自的 query、key、value 投影，用于联合的掩码自注意力，之后各自经过专属的交叉注意力、前馈网络和残差通路。(c) 行与列分别索引 query 与 key 的 token 组。
图 3 解读
- (a) Token 类型：视频流五类——A（锚帧，下方时间轴上的点在最左端）、R（最近帧，时间轴中段）、C（当前帧，时间轴右端）、F（未来帧，画成噪声图，表示训练时是加噪后待去噪的未来潜变量）、\Delta（Causal Imprint，画成一组小方格，表示与当前帧同样的空间网格）；动作流一类——Act（动作 token）。
- (b) 一层 MoT 的计算：上路视频 x^l_v（A R C F \Delta）和下路动作 x^l_a（Act）各自做 Norm + QKV 投影（参数不共享），然后在中间的“masked self-attention”框中拼成一条长序列做一次注意力（框中的小方阵即掩码）；输出再拆回两路，各自经过 Cross-attn（视频侧以 video context C^v_t 为条件，动作侧以 action context C^a_t 为条件）、FFN，加上残差（\oplus）得到下一层 x^{l+1}_v、x^{l+1}_a。这正是式 (11) 的图解。
- (c) 注意力掩码：行是 query（谁在看），列是 key（被看的对象），紫色格 = 可见，白色格 = 屏蔽。逐行读：
- A 只看 A；R 看 A、R；C 看 A、R、C——观测帧之间是时间因果的（只能看过去和自己）。
- F \leftarrow\{A,R,C,F\}：未来帧可以看全部观测，用于预测未来视频。
- \Delta\leftarrow\{R,C,\Delta\}：Causal Imprint 只看最近帧、当前帧和自己，看不到 F，也看不到 A。
- Act \leftarrow\{A,R,C,\Delta,\text{Act}\}：动作 token 可以看全部观测和 Causal Imprint，唯独看不到 F。
- 所有视频 token 的 Act 列都是白色：视频流不看动作流。
原文
The video and action experts retain separate modality-specific parameters, while exchanging information through masked joint attention. The token groups and a coupled World-Action MoT layer are illustrated in Figure 3(a,b). At each coupled transformer block, the two experts independently compute their query, key, and value projections, which are concatenated for a single attention operation:
Y = \mathrm{Attn}\!\left(\begin{bmatrix}Q^v\\ Q^a\end{bmatrix},\ \begin{bmatrix}K^v\\ K^a\end{bmatrix},\ \begin{bmatrix}V^v\\ V^a\end{bmatrix};\ M\right), \qquad (Y^v, Y^a) = \mathrm{Split}(Y). \tag{11}
The resulting features are then routed back to their corresponding streams, where the video and action experts continue with their own cross-attention, feed-forward, and residual pathways. Thus, joint attention serves as the communication interface between the two experts without merging their modality-specific parameters. The cross-attention modules use the video-side context C^v_t and action-side context C^a_t defined in Equations (6) and (8), respectively. After the final MoT block, the action decoder uses a single linear layer to map the action expert's output features to D_a-dimensional flow-velocity predictions in the canonical action space. 译文
视频专家和动作专家保留各自独立的、模态专属的参数，同时通过带掩码的联合注意力交换信息。token 分组和一个耦合的世界—动作 MoT 层如图 3(a,b) 所示。在每个耦合的 Transformer 块中，两个专家独立计算各自的 query、key、value 投影，再将其拼接起来进行一次注意力运算：
Y = \mathrm{Attn}\!\left(\begin{bmatrix}Q^v\\ Q^a\end{bmatrix},\ \begin{bmatrix}K^v\\ K^a\end{bmatrix},\ \begin{bmatrix}V^v\\ V^a\end{bmatrix};\ M\right), \qquad (Y^v, Y^a) = \mathrm{Split}(Y). \qquad (11)
得到的特征随后被送回各自的流，视频专家和动作专家继续经过各自的交叉注意力、前馈和残差通路。因此，联合注意力充当了两个专家之间的通信接口，而不会合并它们的模态专属参数。交叉注意力模块分别使用式 (6) 和式 (8) 定义的视频侧上下文 C^v_t 和动作侧上下文 C^a_t。在最后一个 MoT 块之后，动作解码器用单个线性层将动作专家的输出特征映射为规范动作空间中 D_a 维的流速度（flow velocity）预测。 解释
MoT 与 MoE 的区别：MoE（混合专家）是“每个 token 由路由器选一个 FFN”；MoT 是“按模态把 token 固定分给不同的整套 Transformer 参数”，视频 token 永远走视频专家的参数，动作 token 永远走动作专家的参数，只有注意力这一步把两边的序列拼在一起。 式 (11) 逐项：Q^v,K^v,V^v 由视频专家的投影矩阵从视频 token 算出；Q^a,K^a,V^a 由动作专家的投影矩阵从动作 token 算出。上下拼接（\begin{bmatrix}\cdot\\\cdot\end{bmatrix} 表示沿序列维连接）后做标准缩放点积注意力 \mathrm{softmax}(QK^\top/\sqrt{d}+M)V，其中 M 是图 3(c) 的掩码（屏蔽处取 -\infty）。\mathrm{Split} 再把输出按原长度切回两段。由于两专家隐维不同（3072 vs. 1024），实际实现中注意力头维度需要一致，通常两边投影到相同的“头数 \times 头维”空间再拼接。 好处：视频专家可以完整继承 Wan2.2 的预训练权重而不被动作数据“污染”；动作专家可以设计得小而快；两者又能在每一层都交流。 输出：动作专家最后输出的是“流速度” v，而不是动作本身——这是流匹配的约定，推理时沿速度场积分得到动作（见 3.7、3.8 节）。
原文
As illustrated in Figure 3, the attention mask further controls the direction of information flow among the anchor, recent, current, future, Causal Imprint, and action tokens. Future-frame tokens can use the observed context for future prediction, while Causal Imprint and action tokens are prevented from directly accessing the realized future. Instead, the Causal Imprint tokens learn predictive change representations from the recent and current observations under future-derived supervision, and expose these representations to the action stream. The action expert therefore conditions on observed context and the learned Causal Imprint representation, rather than privileged future frames.
译文
如图 3 所示，注意力掩码进一步控制锚帧、最近帧、当前帧、未来帧、Causal Imprint 与动作 token 之间信息流动的方向。未来帧 token 可以利用已观测上下文进行未来预测，而 Causal Imprint 和动作 token 被禁止直接访问已实现的未来。取而代之的是，Causal Imprint token 在来自未来的监督下，从最近帧与当前帧中学习预测性的变化表示，并将这些表示暴露给动作流。因此，动作专家所依赖的条件是已观测上下文和学到的 Causal Imprint 表示，而不是“特权”未来帧。
解释
“特权（privileged）信息”是机器人学习中的术语，指训练时可用而部署时不可用的信息（例如仿真中的物体真实位置，这里是真实未来帧）。如果让动作 token 直接看 F，训练损失会很低，但推理时 F 不存在或只能用模型自己生成的噪声版本，性能会大幅下降。Causal Imprint 相当于一个“中介”：它在训练中被逼着从 R、C 推断出与 F 相关的信息，然后动作 token 从它那里读取。这样动作专家在训练和推理时看到的输入分布是一致的。
原文
This directed information flow separates future supervision from policy inference. Future observations provide a training signal to the video expert, but no forward activation path exposes the realized future to the action policy at inference time.
译文
这种有向的信息流将未来监督与策略推理分离开来。未来观测为视频专家提供训练信号，但在推理时，没有任何前向激活路径会把已实现的未来暴露给动作策略。
解释
一句话总结：未来只出现在损失里，不出现在输入里。需要说明，训练时 F token 的特征会通过共享的视频专家参数间接影响其他 token 的计算方式（参数是共享的），但这属于“参数层面的学习”，而非“激活层面的泄露”，因此推理时不依赖未来。
3.7训练目标（Training Objectives）
原文
Figure 4: Causal Imprint supervision. Causal Imprint is trained with two complementary objectives. For future-feature alignment (left), Causal Imprint features at block 8 are aligned with spatially corresponding features of the terminal future slice at block 20 using the cosine alignment loss. For direct Causal Imprint supervision (right), the final Causal Imprint features regress adjacent differences between clean ground-truth video latents using a squared-error loss.
译文
图 4：Causal Imprint 的监督。Causal Imprint 由两个互补的目标训练。左侧为未来特征对齐：第 8 块的 Causal Imprint 特征通过余弦对齐损失，与第 20 块中最末未来切片在空间上对应的特征对齐。右侧为直接的 Causal Imprint 监督：最终层的 Causal Imprint 特征通过平方误差损失，回归干净真实视频潜变量之间的相邻差分。
图 4 解读
- 左框 World–Action MoT：横向是网络深度，画了 Block 8、Block 20 和 Final 三处；上行是视频流中的 \Delta token（青色三角）与 F token（紫色），下行是动作 token（Act）。紫色弧形箭头从 Block 20 的 F 指回 Block 8 的 \Delta，标注“\Delta student”与“F teacher · stop-grad”：第 20 层的未来特征充当“老师”（梯度被截断），第 8 层的 Causal Imprint 充当“学生”去对齐它，对应式 (16)。
- 右框：ground truth video latents 中，“t{+}32 的 G”减去“t{+}16 的 G”（以及 t{+}16 减 t），即相邻差分 \Delta Z_t；Final 层的 \Delta 输出（predicted Causal Imprint）与之做 MSE，对应式 (15)。
原文
We jointly optimize InternW0-\Delta for video generation, action generation, Causal Imprint learning, and 4D-aware representation distillation.
译文
我们对 InternW0-\Delta 联合优化视频生成、动作生成、Causal Imprint 学习以及 4D 感知表示蒸馏四个方面。
解释
本节共五个损失：\mathcal{L}_{\text{video}}、\mathcal{L}_{\text{action}}（流匹配），\mathcal{L}_\Delta、\mathcal{L}_{\text{align}}（Causal Imprint），\mathcal{L}_{\text{4D}}（蒸馏），最后在式 (18) 加权求和。
原文
Flow matching objectives. Following the flow-matching formulation of the pretrained video model, for a target variable y, we sample Gaussian noise \epsilon\sim\mathcal{N}(0,I) and a flow time \sigma\in(0,1), and construct
y^\sigma = (1-\sigma)\,y + \sigma\,\epsilon. \tag{12}
The corresponding flow-matching objective is \mathcal{L}_{\text{FM}}(y) = \mathbb{E}_{\epsilon,\sigma}\Big[\big\|f_\theta(y^\sigma,\sigma) - (\epsilon - y)\big\|_2^2\Big]. \tag{13}
We apply this objective to both future video generation and action prediction: \mathcal{L}_{\text{video}} = \mathcal{L}_{\text{FM}}(Z^F_t), \qquad \mathcal{L}_{\text{action}} = \mathcal{L}_{\text{FM}}(A_t), \tag{14}
where Z^F_t denotes the future video latent sequence and A_t denotes the target action chunk. 译文
流匹配目标。沿用预训练视频模型的流匹配（flow matching）形式：对目标变量 y，采样高斯噪声 \epsilon\sim\mathcal{N}(0,I) 和流时间 \sigma\in(0,1)，构造
y^\sigma = (1-\sigma)\,y + \sigma\,\epsilon. \qquad (12)
相应的流匹配目标为 \mathcal{L}_{\text{FM}}(y) = \mathbb{E}_{\epsilon,\sigma}\Big[\big\|f_\theta(y^\sigma,\sigma) - (\epsilon - y)\big\|_2^2\Big]. \qquad (13)
我们将该目标同时用于未来视频生成和动作预测： \mathcal{L}_{\text{video}} = \mathcal{L}_{\text{FM}}(Z^F_t), \qquad \mathcal{L}_{\text{action}} = \mathcal{L}_{\text{FM}}(A_t), \qquad (14)
其中 Z^F_t 表示未来视频潜变量序列，A_t 表示目标动作块。 解释
流匹配直觉：式 (12) 在“真实数据 y”（\sigma=0）和“纯噪声 \epsilon”（\sigma=1）之间画一条直线，y^\sigma 是直线上的一点。沿这条直线从 y 走向 \epsilon 的速度是 \frac{d y^\sigma}{d\sigma}=\epsilon-y，与 \sigma 无关。式 (13) 训练网络 f_\theta 在给定位置 y^\sigma 和时间 \sigma 时预测这个速度。推理时从纯噪声（\sigma=1）出发，沿 -f_\theta 方向逐步走回 \sigma=0，就得到一个样本（3.8 节）。 符号：\theta 是模型参数；\mathbb{E}_{\epsilon,\sigma} 表示对随机噪声和随机时间取期望（实际上就是每个样本随机抽一次）；\|\cdot\|_2^2 是平方 \ell_2 范数。 式 (14)：同一形式用了两次——视频专家对加噪的未来潜变量 Z^F_t 预测速度（这就是 F token 的任务），动作专家对加噪的动作块 A_t 预测速度。对动作而言，f_\theta 的输出即 3.6 节末尾所说的“D_a 维流速度”，且只在掩码 M_A 有效的位置计入损失。视频损失的作用是持续训练视频专家的“预测未来”能力，并为 \mathcal{L}_{\text{align}} 提供有意义的第 20 层未来特征。
原文
Causal Imprint objectives. We train Causal Imprint with the two complementary objectives illustrated in Figure 4. First, the final-layer Causal Imprint representation h^\Delta_t is directly supervised by the adjacent clean-latent differences \Delta Z_t defined in Equation (10). The corresponding objective is
\mathcal{L}_\Delta = \big\|h^\Delta_t - \Delta Z_t\big\|_2^2. \tag{15}
This objective provides direct supervision for Causal Imprint, encouraging it to encode changes associated with the subsequent evolution of the scene. In addition, video diffusion transformers have been shown to develop rich semantic, temporal, and physical representations in their intermediate features (King et al., 2026; Esmati et al., 2026). We therefore introduce a representation-alignment objective to transfer such predictive information from the video expert to Causal Imprint. Specifically, each Causal Imprint token at block \ell_s = 8 is aligned with the spatially corresponding feature of the terminal future slice at block \ell_t = 20: \mathcal{L}_{\text{align}} = 1 - \cos\!\Big(h^{\Delta,\ell_s}_{b,p},\ \mathrm{sg}\big[h^{F,\ell_t}_{b,p}\big]\Big), \tag{16}
where \mathrm{sg}[\cdot] denotes stop-gradient. The future-video features serve only as detached training targets and are not connected to Causal Imprint through the forward attention path. 译文
Causal Imprint 目标。我们用图 4 所示的两个互补目标训练 Causal Imprint。首先，最终层的 Causal Imprint 表示 h^\Delta_t 直接由式 (10) 定义的相邻干净潜变量差分 \Delta Z_t 监督，对应目标为
\mathcal{L}_\Delta = \big\|h^\Delta_t - \Delta Z_t\big\|_2^2. \qquad (15)
该目标为 Causal Imprint 提供直接监督，促使其编码与场景后续演化相关的变化。此外，已有研究表明视频扩散 Transformer 的中间特征中会形成丰富的语义、时序和物理表示（King et al., 2026; Esmati et al., 2026）。因此我们引入一个表示对齐目标，把这种预测性信息从视频专家迁移给 Causal Imprint。具体地，第 \ell_s=8 块中的每个 Causal Imprint token，与第 \ell_t=20 块中最末未来切片在空间上对应的特征对齐： \mathcal{L}_{\text{align}} = 1 - \cos\!\Big(h^{\Delta,\ell_s}_{b,p},\ \mathrm{sg}\big[h^{F,\ell_t}_{b,p}\big]\Big), \qquad (16)
其中 \mathrm{sg}[\cdot] 表示停止梯度（stop-gradient）。未来视频特征仅作为分离（detached）的训练目标，不通过前向注意力路径与 Causal Imprint 相连。 解释
式 (15)：h^\Delta_t 是最后一层 \Delta token 的输出（经过某个输出投影映射到潜变量维度），与 \Delta Z_t（所有相邻差分堆叠）逐元素比较。由于 \Delta token 与当前潜变量空间网格相同，每个位置的 token 预测该位置的变化（时间方向的多个差分可视作通道堆叠）。 式 (16)：下标 b 是批内样本索引，p 是空间位置索引；h^{\Delta,\ell_s}_{b,p} 是第 8 层位置 p 处的 \Delta token 特征，h^{F,\ell_t}_{b,p} 是第 20 层中“最末未来切片”（时间上最远的那个未来，如 t{+}32）位置 p 处的特征。\cos 是余弦相似度，1-\cos 越小越对齐；损失在 b,p 上取平均。用余弦而不用 MSE，是因为只要求方向一致、不要求数值尺度一致，对不同层的特征范数差异更鲁棒（这与 REPA 等表示对齐方法一致）。 stop-gradient 的意义：如果不截断梯度，模型可以通过同时改变“老师”F 特征来降低损失（例如把 F 和 \Delta 都变成常数），导致表示坍缩；截断后 F 特征只作为固定目标，其质量由 \mathcal{L}_{\text{video}} 保证。 两损失互补：\mathcal{L}_\Delta 告诉 \Delta “像素级/潜变量级会变多少”；\mathcal{L}_{\text{align}} 告诉它“视频专家对未来的高层理解是什么”。消融（表 14）中 CI 本身 +1.72，加上 \mathcal{L}_{\text{align}} 再 +5.65，说明高层对齐更关键。
原文
4D-aware representation distillation objective. We align the student descriptor r^{\mathrm{S}}_t with the cached teacher 4D-aware descriptor r^{\mathrm{T}}_t using an auxiliary mean squared error loss:
\mathcal{L}_{\text{4D}} = \frac{1}{D}\Big\|r^{\mathrm{S}}_t - \mathrm{sg}\big[r^{\mathrm{T}}_t\big]\Big\|_2^2, \tag{17}
where D = 1430 is the descriptor dimension and \mathrm{sg}[\cdot] denotes stop-gradient. The loss is averaged over training samples with valid teacher descriptors. This auxiliary supervision transfers geometric and motion priors to the video expert by backpropagating through the student branch and the selected VideoDiT hidden tokens, while the teacher remains frozen. 译文
4D 感知表示蒸馏目标。我们用一个辅助均方误差损失，将学生描述子 r^{\mathrm{S}}_t 与缓存的教师 4D 感知描述子 r^{\mathrm{T}}_t 对齐：
\mathcal{L}_{\text{4D}} = \frac{1}{D}\Big\|r^{\mathrm{S}}_t - \mathrm{sg}\big[r^{\mathrm{T}}_t\big]\Big\|_2^2, \qquad (17)
其中 D=1430 为描述子维度，\mathrm{sg}[\cdot] 表示停止梯度。该损失在具有有效教师描述子的训练样本上取平均。这一辅助监督通过学生分支以及所选的 VideoDiT 隐 token 反向传播，把几何与运动先验迁移给视频专家，而教师保持冻结。 解释
除以 D 即对 1430 维取平均，得到逐维的均方误差。这里的 \mathrm{sg} 实际上是形式化说明（教师结果是离线缓存的常数，本来就没有梯度）。“具有有效教师描述子的样本”：后文 5.1 节说明每个 GPU 的 16 个样本中只有 1 个配有缓存描述子，损失只在这些样本上计算。梯度路径为：\mathcal{L}_{\text{4D}}\to 学生分支 \to 第 15 层 A/R/C token \to 视频专家第 1–15 层参数。
原文
Overall objective. The complete training objective is
\mathcal{L} = \lambda_v\mathcal{L}_{\text{video}} + \lambda_a\mathcal{L}_{\text{action}} + \lambda_\Delta\mathcal{L}_\Delta + \lambda_{\text{align}}\mathcal{L}_{\text{align}} + \lambda_{\text{4D}}\mathcal{L}_{\text{4D}}. \tag{18}
译文
总体目标。完整的训练目标为
\mathcal{L} = \lambda_v\mathcal{L}_{\text{video}} + \lambda_a\mathcal{L}_{\text{action}} + \lambda_\Delta\mathcal{L}_\Delta + \lambda_{\text{align}}\mathcal{L}_{\text{align}} + \lambda_{\text{4D}}\mathcal{L}_{\text{4D}}. \qquad (18)
解释
五项加权和。具体权重见表 4：\lambda_v=0.5，\lambda_a 随数据来源而定（机器人 1.0 / UMI 0.5 / Ego2Robot 0.1 / Ego 0.1），\lambda_\Delta=0.5，\lambda_{\text{align}}=0.1，\lambda_{\text{4D}}=0.1。动作损失在机器人数据上权重最大，因为它的动作标签最可信；人类数据的动作是通过重定向近似得到的，权重被调低，但其视频部分仍以完整权重参与视频损失，从而让人类视频主要贡献“视觉动力学”知识。（注意：5.1 节正文中有一句权重描述与表 4 不完全一致，见该处说明。）
3.8高效推理（Efficient Inference）
原文
Figure 5: Efficient inference with cached visual context. (1) Anchor (A), recent (R), and current (C) observations are encoded by the frozen Wan VAE. (2) Conditioned on the video context, the video expert processes the observation tokens and Causal Imprint tokens once, caching their key/value (K/V) projections at each MoT layer. Future-video tokens are omitted. (3) Starting from Gaussian noise, the action expert generates an action chunk through N flow steps, reusing the cached A/R/C/\Delta features and the action-side context. Only the action stream is recomputed during denoising. (4) The predicted actions are executed, and the process repeats with an updated cache when a new observation is acquired. Each observation-to-action cycle requires one video-expert prefill and N action-expert updates, without future-video sampling or decoding.
译文
图 5：利用缓存视觉上下文的高效推理。(1) 锚帧（A）、最近帧（R）和当前帧（C）由冻结的 Wan VAE 编码。(2) 在视频上下文条件下，视频专家对观测 token 和 Causal Imprint token 只处理一次，并在每个 MoT 层缓存它们的 key/value（K/V）投影；未来视频 token 被省略。(3) 动作专家从高斯噪声出发，经过 N 个流步骤生成动作块，过程中复用缓存的 A/R/C/\Delta 特征和动作侧上下文；去噪时只重新计算动作流。(4) 执行预测出的动作；获取新观测后更新缓存，重复上述过程。每个“观测到动作”的循环只需要一次视频专家预填充（prefill）和 N 次动作专家更新，无需采样或解码未来视频。
图 5 解读
图按四步从左到右排列：
- Observe（观测）：时间轴上三个图标——锚（anchor，A）、时钟（recent，R）、闪电（current，C），对应三帧机械臂画面，送入冻结 Wan VAE。
- Prefill once（只预填充一次）：三个图标 + Causal Imprint（标注“Causal Imprint learned with future supervision”，即它是靠未来监督学出来的）进入 Video expert；右上角打叉的未来视频图标标注“future video absent online”（在线推理时没有未来视频 token）。视频专家的每层 K/V 存入圆柱形缓存“per-layer visual K/V”。下方注释“one pass per observation”：每次观测只跑一遍视频专家。
- Action-only denoising（仅动作去噪）：从 a^\sigma\in\mathbb{R}^{32\times80}（32 步 \times 80 维的噪声动作）出发，Action expert 读取缓存的 A+R+C+\Delta（read cached），并以 action context 为条件，绕虚线圈循环 N 次（N flow steps）；注释“only action tokens are recomputed”。
- Execute（执行）：机械臂执行动作；右侧图标表示“no future video decoding”（不解码未来视频），仪表盘框总结“1\timesvideo prefill, N\timesaction update”。底部虚线“execute \to observe again”表示闭环。
原文
As illustrated in Figure 5, InternW0-\Delta generates action chunks without sampling future video. Inference consists of a single video-expert prefill followed by iterative action-only denoising. The visual context is computed once for each new observation and reused throughout the action denoising process.
译文
如图 5 所示，InternW0-\Delta 在不采样未来视频的情况下生成动作块。推理过程由一次视频专家预填充和随后的迭代式仅动作去噪组成。视觉上下文对每个新观测只计算一次，并在整个动作去噪过程中复用。
解释
“预填充（prefill）”借用自大语言模型推理：先一次性处理提示词并缓存 K/V，之后每生成一个词只算新增部分。这里“提示词”是视觉观测，“生成”是动作去噪的多次迭代。
原文
Visual prefill and caching. At each policy step, we encode the anchor, recent, and current observations defined in Equation (9) using the frozen Wan VAE. The resulting observation tokens, together with the learned Causal Imprint tokens, are processed by the video expert conditioned on C^v_t, without instantiating future-video tokens. We cache the self-attention key/value (K/V) projections of the A/R/C/\Delta tokens at each MoT layer:
\mathcal{C}^{\text{KV}}_t = \Big\{\big(K^{v,l}_t,\ V^{v,l}_t\big)\Big\}_{l=1}^{L}, \tag{19}
where L is the number of coupled MoT layers. The directed mask in Figure 3(c) prevents observation and Causal Imprint tokens from attending to action tokens. With the video-side inputs and conditioning held fixed during action denoising, these cached features are independent of the evolving action tokens and can be reused at every flow step. 译文
视觉预填充与缓存。在每个策略步，我们用冻结 Wan VAE 编码式 (9) 定义的锚帧、最近帧和当前帧。得到的观测 token 与学到的 Causal Imprint token 一起，在 C^v_t 的条件下由视频专家处理，且不实例化未来视频 token。我们在每个 MoT 层缓存 A/R/C/\Delta token 的自注意力 key/value（K/V）投影：
\mathcal{C}^{\text{KV}}_t = \Big\{\big(K^{v,l}_t,\ V^{v,l}_t\big)\Big\}_{l=1}^{L}, \qquad (19)
其中 L 为耦合 MoT 层的数量。图 3(c) 中的有向掩码阻止观测 token 和 Causal Imprint token 关注动作 token。由于在动作去噪期间视频侧的输入与条件保持不变，这些缓存特征与不断变化的动作 token 无关，可以在每个流步骤中复用。 解释
能缓存的前提：回看图 3(c)，视频 token 的 Act 列全是白色——视频侧的计算完全不依赖动作 token。所以在动作去噪的 N 步中，动作 token 不断变化，但视频侧每一层的 K、V 都不变，算一次即可。若掩码允许视频看动作，就必须每步重算 5B 视频专家，代价高 N 倍。这是“有向”设计带来的第二个好处（第一个是防止泄露未来）。 省略未来 token：训练时视频流里有 F token，推理时直接不放。因为 F 列对 \Delta 和 Act 都是屏蔽的，删掉 F 不改变 \Delta 和 Act 的计算结果——训练与推理严格一致。 符号：K^{v,l}_t, V^{v,l}_t 是第 l 层视频侧（A/R/C/\Delta）的 key 和 value；L=30。
原文
Action-only denoising and execution. We initialize a noisy action chunk A^1_t\sim\mathcal{N}(0,I) with shape H_a\times D_a, where H_a=32 and D_a=80. At each flow step, the action expert recomputes only the action stream, attending to the cached visual K/V and the action tokens, while using C^a_t through its cross-attention pathway. The predicted action flow velocity is
v^\sigma_t = f^a_\theta\big(A^\sigma_t,\ \sigma;\ \mathcal{C}^{\text{KV}}_t,\ C^a_t\big), \tag{20}
where f^a_\theta denotes the action-side flow predictor. Following the flow convention in Equation (13), we perform N integration steps from \sigma=1 to \sigma=0 to obtain the predicted action chunk \hat{A}_t = A^0_t. No video-side token features are recomputed within this loop, and neither future-video sampling nor VAE decoding is required. 译文
仅动作去噪与执行。我们初始化形状为 H_a\times D_a 的噪声动作块 A^1_t\sim\mathcal{N}(0,I)，其中 H_a=32，D_a=80。在每个流步骤中，动作专家只重新计算动作流：它关注缓存的视觉 K/V 和动作 token，同时通过交叉注意力通路使用 C^a_t。预测的动作流速度为
v^\sigma_t = f^a_\theta\big(A^\sigma_t,\ \sigma;\ \mathcal{C}^{\text{KV}}_t,\ C^a_t\big), \qquad (20)
其中 f^a_\theta 表示动作侧的流预测器。按照式 (13) 的流约定，我们从 \sigma=1 到 \sigma=0 进行 N 步积分，得到预测动作块 \hat{A}_t = A^0_t。该循环中不重新计算任何视频侧 token 特征，也不需要未来视频采样或 VAE 解码。 解释
积分过程：上标 \sigma 是流时间，A^1_t 是纯噪声，A^0_t 是最终动作。由式 (13)，网络预测的是 \epsilon-y 方向（从数据指向噪声），因此去噪时沿反方向走：用最简单的欧拉法，步长 \Delta\sigma=1/N，每步 A^{\sigma-\Delta\sigma}_t = A^\sigma_t - \Delta\sigma\cdot v^\sigma_t。N 步后得到 \hat{A}_t。 分号前后：f^a_\theta(A^\sigma_t,\sigma;\ \mathcal{C}^{\text{KV}}_t, C^a_t) 中分号前是每步变化的量，分号后是整个循环中固定的条件（缓存 K/V 与动作上下文）。 输出的使用：\hat{A}_t 是 80 维规范空间中的动作，部署时还要经过反归一化，并通过“动作适配器”映射回具体机器人的控制接口（例如只取其中 14 维关节）。
原文
The predicted action chunk is used for robot execution. When a new observation is acquired, the sparse memory and conditioning are updated, and the visual cache is recomputed for the next cycle. Each cycle therefore consists of one video-expert prefill and N action-expert updates.
译文
预测出的动作块用于机器人执行。获取新观测时，更新稀疏记忆与条件，并为下一个周期重新计算视觉缓存。因此每个周期由一次视频专家预填充和 N 次动作专家更新组成。
解释
“更新稀疏记忆”：A 保持不变（始终是回合第一帧），R 变为“上一个动作块开始之前”的那一帧，C 变为最新帧。VLM 的 C^a_t 也随新观测重新计算。实际部署中（6.2 节），新的推理请求在当前动作块执行到一半时就异步发出，并采用 RTC 前缀条件化保证相邻动作块平滑衔接。
4数据（Data）
原文
In this section, we introduce the data recipe of InternW0-\Delta, which unifies heterogeneous embodied data under a common representation for joint training. We first describe the unified representation used across different data sources. We then describe the data sources, processing rules, and filtering statistics for robot manipulation data, egocentric and ego-to-robot data, and Universal Manipulation Interface (UMI) data.
译文
本节介绍 InternW0-\Delta 的数据方案：它把异构的具身数据统一到一个共同表示之下，用于联合训练。我们先描述在不同数据源之间通用的统一表示，然后分别描述机器人操作数据、第一人称及“人到机器人”（ego-to-robot）数据、通用操作接口（Universal Manipulation Interface, UMI）数据的来源、处理规则与过滤统计。
解释
本节结构：4.1 统一表示（80 维规范空间）\to 4.2 机器人数据（来源、过滤规则）\to 4.3 Ego 与 Ego2Robot（人类视频如何变成机器人数据）\to 4.4 UMI \to 4.5 过滤与转换统计。数据工程是本文分量最重的贡献之一。
4.1统一表示（Unified Representation）
原文
We train InternW0-\Delta to use heterogeneous data sources that span diverse robot morphologies, degrees of freedom, control interfaces, coordinate conventions, and action dimensions. Directly mixing their native representations would assign inconsistent physical meanings to the same dimensions, hindering cross-embodiment learning. We therefore convert all trajectories into a canonical state–action representation with fixed semantic slots. In particular, all robot actions are mapped into a shared 80-dimensional action space, whose detailed layout is provided in Table 1. Each slot is associated with a predefined physical quantity rather than the original ordering used by the source dataset.
译文
我们让 InternW0-\Delta 使用跨越多样机器人形态、自由度、控制接口、坐标约定与动作维度的异构数据源进行训练。直接混合它们的原生表示，会让同一维度承载不一致的物理含义，从而阻碍跨本体学习。因此，我们把所有轨迹转换为具有固定语义槽位（semantic slots）的规范状态—动作表示。特别地，所有机器人动作都被映射到一个共享的 80 维动作空间，其详细布局见表 1。每个槽位都对应一个预先定义的物理量，而不是沿用源数据集中的原始排列顺序。
解释
举例说明“同一维度含义不一致”：数据集 A 的第 0 维可能是左臂肩关节角，数据集 B 的第 0 维可能是末端 x 坐标。若直接拼成矩阵，模型会以为两者是同一个量。“固定语义槽位”就像一张有固定栏目的表格：第 0–6 维永远是左臂 7 个关节，第 16 维永远是左夹爪开合……没有的栏目留空（由掩码 M_A 标记）。这是 RDT、\pi_0 等跨本体模型常用的“统一动作空间”思想。
| Component（组成部分） | Slot range(s)（槽位区间） | Dim.（维数） |
| Arm-specific slots（手臂相关槽位） | ||
| Arm joints（手臂关节） | [0,7), [40,47) | 2\times7 |
| End-effector（末端执行器） | [7,16), [47,56) | 2\times9 |
| Gripper（夹爪） | [16,17), [56,57) | 2\times1 |
| Hand（灵巧手） | [17,29), [57,69) | 2\times12 |
| Body and mobility slots（躯体与移动槽位） | ||
| Torso joints（躯干关节） | [29,34) | 5 |
| Independent lift（独立升降） | [39,40) | 1 |
| Head（头部） | [74,77) | 3 |
| Mobile base（移动底盘） | [77,80) | 3 |
| Reserved slots（保留槽位） | [34,39), [69,74) | 2\times5 |
| Total（合计） | [0,80) | 80 |
原文
Table 1: Canonical layout of the 80-dimensional robot action representation. Slot ranges use zero-based, half-open indexing. Paired arm ranges are listed in left–right order.
译文
表 1：80 维机器人动作表示的规范布局。槽位区间采用从 0 开始的左闭右开索引。成对的手臂区间按“左、右”顺序列出。
表 1 解读
列含义：第一列是物理部件；第二列是它在 80 维向量中的位置（[a,b) 表示索引 a 到 b{-}1）；第三列是维数。 逐行解读：
- 左臂占 [0,29)：关节 7 维（7 自由度臂，如 Franka；6 自由度臂只用前 6 维）、末端 9 维、夹爪 1 维、灵巧手 12 维。右臂对称地占 [40,69)，两段起点相差 40，便于左右对应。
- 末端执行器为何是 9 维？在状态中，EEF 位姿 = 3 维位置 + 6 维连续旋转表示（旋转矩阵前两列），共 9 维；在动作中，EEF 用 3 维平移增量 + 3 维旋转向量 = 6 维（4.1 节后文），放在同样的 9 维槽中（多余位置掩掉）。
- 灵巧手 12 维：对应 XHand 等 12 自由度的手；更多自由度的手（如后文 Wuji Hand 有 20 维）在后训练时由专门的适配器处理。
- 躯干 5 维、独立升降 1 维、头部 3 维、底盘 3 维（平面内 x、y 平移与偏航角，或线速度/角速度）：用于人形与移动操作机器人。
- 保留槽位 [34,39) 与 [69,74) 共 10 维，为未来新部件预留。
原文
For the robot state, we retain absolute quantities that describe the current robot configuration. These include the current joint positions, the absolute end-effector (EEF) pose, and the current gripper or hand configuration. The EEF pose is represented by a 3D position together with a continuous 6D rotation representation. For parallel-jaw grippers, the hand state is represented by the gripper opening, while dexterous hands use the corresponding hand joint configuration. All EEF poses are first transformed into a consistent coordinate convention before being assigned to the canonical slots.
译文
对于机器人状态，我们保留描述当前机器人构型的绝对量，包括当前关节位置、绝对末端执行器（EEF）位姿以及当前夹爪或灵巧手的构型。EEF 位姿由 3D 位置和连续的 6D 旋转表示组成。对于平行夹爪，手部状态用夹爪开度表示；灵巧手则使用相应的手部关节构型。所有 EEF 位姿在被填入规范槽位之前，都先转换到一致的坐标约定下。
解释
6D 旋转表示（Zhou et al., 2019）：取旋转矩阵的前两列（共 6 个数）。与欧拉角或四元数相比，它是连续的（不存在 \pm180^\circ 跳变或 q 与 -q 等价的问题），神经网络更容易学习。坐标约定统一：不同数据集的基坐标系可能 z 轴朝上或朝前，旋转可能是“世界系”或“末端局部系”，单位可能是米或毫米，都需要先统一。4.2.2 节的“人工语义校验”专门检查这一步有没有做错。
原文
For the action representation, we distinguish between joint-space and task-space control signals. Joint actions are represented as absolute target joint positions, corresponding to the configuration that the low-level controller is expected to reach at the next or a future control step. EEF actions consist of a 3D translation increment and a 3D rotation vector. The latter parameterizes the relative orientation change in the local coordinate frame of the current EEF. Thus, each EEF uses a 9D absolute pose representation in the state and a 6D relative motion representation in the action, before being embedded into the canonical format. An action segment contains H_a consecutive canonical action vectors, each following the same fixed semantic layout.
译文
对于动作表示，我们区分关节空间与任务空间的控制信号。关节动作表示为绝对目标关节位置，对应底层控制器在下一个或未来某个控制步应达到的构型。EEF 动作由 3D 平移增量和 3D 旋转向量组成，后者参数化了在当前 EEF 局部坐标系中的相对姿态变化。因此，在嵌入规范格式之前，每个 EEF 在状态中使用 9D 绝对位姿表示，在动作中使用 6D 相对运动表示。一个动作片段包含 H_a 个连续的规范动作向量，每个都遵循相同的固定语义布局。
解释
关节空间 vs. 任务空间：关节空间直接指定每个电机角度；任务空间指定手在三维空间中怎么动，再由机器人的逆运动学求关节角。旋转向量（轴角表示）：方向是旋转轴，长度是旋转角度（弧度），3 个数即可表示小的相对旋转。“在当前 EEF 局部坐标系中”意味着“相对于手自己的朝向转”，与机器人底座在哪无关，跨本体更具一致性。状态 9D、动作 6D：状态需要无歧义的绝对位姿（连续 6D 旋转），动作只需要小的增量（轴角足够）。
4.2机器人数据（Robot Data）
4.2.1数据来源（Data Sources）
原文
Robot manipulation demonstrations serve as the main source of embodied supervision in our training corpus. We integrate a total of 15 datasets collected from both simulated and real-world environments, covering a wide range of manipulation scenarios, including single-arm and dual-arm tabletop tasks, dexterous manipulation, mobile manipulation, and humanoid interaction. The resulting collection spans diverse robot embodiments, task settings, sensing configurations, and control interfaces, providing broad coverage of manipulation behaviors for model training.
译文
机器人操作演示是我们训练语料中具身监督的主要来源。我们共整合了 15 个采集自仿真与真实环境的数据集，涵盖广泛的操作场景，包括单臂与双臂桌面任务、灵巧操作、移动操作以及人形机器人交互。整合后的数据覆盖多样的机器人本体、任务设定、感知配置和控制接口，为模型训练提供了对操作行为的广泛覆盖。
解释
以下逐一介绍 15 个数据集。阅读时可关注每个数据集“补充了什么”：规模（AgiBotWorld、InternData-A1、ABC-130K）、灵巧手（Dexora、ActionNet）、移动操作（Galaxea）、失败与恢复数据（RoboMIND、RW-RL）、多传感器（RH20T）、人在场景中（HABIT）等。这些数据的过滤前后统计见表 2。
原文
AgiBotWorld (contributors, 2024) AgiBotWorld is a large-scale real-world manipulation dataset collected using a fleet of dual-arm humanoid robots. Its full release contains over one million trajectories and approximately 3,000 hours of demonstrations, covering 217 tasks, 87 manipulation skills, more than 3,000 objects, and over 100 real-world scenes. The data includes dual-arm manipulation, dexterous-hand interaction, tool use, and mobile manipulation, with multimodal observations from multiple cameras and tactile sensors.
译文
AgiBotWorld（contributors, 2024） AgiBotWorld 是用一队双臂人形机器人采集的大规模真实世界操作数据集。其完整版本包含超过一百万条轨迹、约 3,000 小时演示，涵盖 217 个任务、87 种操作技能、3,000 多种物体以及 100 多个真实场景。数据包括双臂操作、灵巧手交互、工具使用和移动操作，并带有来自多个相机和触觉传感器的多模态观测。
解释
智元（AgiBot）机器人发布的大规模真机数据集，是国内最大的开源真机数据之一。注意表 2 中本文实际使用的过滤前时长为 2,358.63 小时（不是全部 3,000 小时），过滤后剩 1,698.21 小时，过滤比例较高（约 28%）。
原文
InternData-A1 (contributors, 2025) InternData-A1 provides large-scale manipulation data across both simulated and real-world settings. It contains more than 630K trajectories and 7,400 hours of interaction across four robot embodiments, 70 tasks, and 227 scenes, covering rigid, articulated, deformable, and fluid-object manipulation. It further includes long-horizon tasks, multi-arm collaboration, and human–robot interaction, providing complementary supervision beyond standard tabletop manipulation.
译文
InternData-A1（contributors, 2025） InternData-A1 提供跨仿真与真实环境的大规模操作数据。它包含超过 63 万条轨迹、7,400 小时交互数据，涉及 4 种机器人本体、70 个任务和 227 个场景，涵盖刚体、铰接物体、可变形物体和流体的操作。它还包括长时程任务、多臂协作和人机交互，提供标准桌面操作之外的补充监督。
解释
这是上海 AI Lab 自家的数据集（InternRobotics 系列），以仿真合成为主。本文使用了其中约 3,528 小时（表 2），是机器人数据中时长最大的单一来源。“铰接物体”指抽屉、柜门等有关节的物体；“流体”如倒水。
原文
RoboMIND (Wu et al., 2025a) and RoboMIND 2.0 (Hou et al., 2025) RoboMIND contains 107K human-teleoperated trajectories across 479 tasks and four robot embodiments, ranging from single-arm manipulators to dual-arm and dexterous humanoid platforms. It also provides failure demonstrations in addition to successful trajectories. RoboMIND 2.0 further extends this collection to more than 310K real-world dual-arm trajectories across six embodiments and 739 tasks, together with tactile-enhanced and mobile-manipulation episodes, substantially increasing the coverage of contact-rich and spatially extended behaviors.
译文
RoboMIND（Wu et al., 2025a）与 RoboMIND 2.0（Hou et al., 2025） RoboMIND 包含 10.7 万条人类遥操作轨迹，涉及 479 个任务和 4 种机器人本体，从单臂机械臂到双臂及灵巧人形平台。除成功轨迹外，它还提供失败演示。RoboMIND 2.0 将其扩展到 31 万多条真实双臂轨迹，涉及 6 种本体和 739 个任务，并加入触觉增强与移动操作回合，大幅增加了对接触密集型与空间延展型行为的覆盖。
解释
“遥操作（teleoperation）”指人通过主手、VR 设备等远程操控机器人完成任务并记录数据，是最常见的真机数据采集方式。“失败演示”对模仿学习而言通常需要过滤，但可以帮助模型认识“出错状态”。“空间延展（spatially extended）”指需要移动底盘、在较大范围内活动的行为。
原文
RW-RL Dataset (Intelligence et al., 2026) The RW-RL Dataset focuses on real-world interaction data for policy improvement beyond offline imitation learning. It contains over 1,000 hours of interaction across multiple robot families, scenario domains, and task templates, combining teleoperated demonstrations with autonomous rollouts, human interventions, reward signals, and termination labels. These data expose the model to both successful behaviors and states encountered during policy execution and recovery.
译文
RW-RL 数据集（Intelligence et al., 2026） RW-RL 数据集聚焦于用于超越离线模仿学习的策略改进的真实交互数据。它包含超过 1,000 小时的交互，涉及多个机器人系列、场景领域与任务模板，将遥操作演示与自主执行（rollout）、人工干预、奖励信号和终止标签结合在一起。这些数据让模型既接触成功行为，也接触策略执行与恢复过程中会遇到的状态。
解释
RW-RL 即 Real-World Reinforcement Learning 数据。纯遥操作数据只包含“专家走过的状态”，策略部署时一旦偏离就进入陌生状态（分布偏移/误差累积）。包含自主执行与人工纠正的数据能覆盖“出错—纠正”的状态，有助于鲁棒性。
原文
Dexora (Zhang et al., 2026e) Dexora targets high-DoF bimanual dexterous manipulation with dual robot arms and dual dexterous hands. It combines 100K embodiment-matched simulated trajectories with 10K real-world teleoperated episodes, covering both coarse arm motion and fine-grained finger control. This data provides dense supervision for manipulation behaviors that require coordinated arm and finger motion beyond parallel-jaw grippers.
译文
Dexora（Zhang et al., 2026e） Dexora 面向使用双机械臂与双灵巧手的高自由度（DoF）双手灵巧操作。它结合了 10 万条本体匹配的仿真轨迹和 1 万条真实遥操作回合，既覆盖粗粒度的手臂运动，也覆盖细粒度的手指控制。这些数据为需要手臂与手指协调运动（超出平行夹爪能力）的操作行为提供了密集监督。
解释
灵巧手数据较稀缺，Dexora 规模不大（表 2 中仅 26.30 小时），但对表 1 中 Hand 槽位的学习很重要。“本体匹配的仿真”指仿真中的机器人模型与真机一致，便于仿真与真实数据混合。
原文
ABC-130K (Allshire et al., 2026) ABC-130K contains more than 130K real-world bimanual teleoperation episodes, corresponding to over 3,500 hours of interaction across 195 manipulation tasks. Collected with dual-arm YAM platforms, it covers manipulation primitives including pick-and-place, folding, handover, insertion, tool use, and assembly. Its scale and task composition provide extensive supervision for coordinated bimanual manipulation.
译文
ABC-130K（Allshire et al., 2026） ABC-130K 包含超过 13 万条真实双臂遥操作回合，对应 3,500 多小时交互，涉及 195 个操作任务。数据由双臂 YAM 平台采集，涵盖抓取放置、折叠、交接、插入、工具使用和装配等操作原语。其规模与任务构成为协调的双臂操作提供了大量监督。
解释
过滤后 2,587.94 小时，是机器人数据中第二大来源。“操作原语（primitives）”指可组合的基本动作单元。
原文
Galaxea Open-World Dataset (Team, 2025) The Galaxea Open-World Dataset contains more than 500 hours of real-world mobile manipulation collected with a consistent robot embodiment. The demonstrations span residential, kitchen, retail, and office environments and include fine-grained subtask-level language annotations. Compared with fixed tabletop data, it provides additional supervision for spatially extended and long-horizon manipulation that couples navigation with object interaction.
译文
Galaxea 开放世界数据集（Team, 2025） Galaxea 开放世界数据集包含 500 多小时用统一机器人本体采集的真实移动操作数据。演示覆盖住宅、厨房、零售和办公环境，并附有细粒度的子任务级语言标注。与固定桌面数据相比，它为将导航与物体交互相结合的空间延展型、长时程操作提供了额外监督。
解释
星海图（Galaxea）的移动操作数据。表 2 中其帧率标为“15, 62”，表示不同子集帧率不同；过滤后从 681 小时降到 327 小时，过滤比例超过一半，说明原始数据中静止段或异常较多。
原文
RoboCOIN (Wu et al., 2025b) RoboCOIN is a multi-embodiment bimanual manipulation dataset containing more than 180K demonstrations collected across 15 robot platforms. It covers 421 tasks in 16 real-world scenarios and organizes bimanual behaviors according to coordination patterns and object properties. Its hierarchical annotations provide supervision at trajectory, subtask, and frame levels, while its embodiment diversity complements datasets collected using a single robot platform.
译文
RoboCOIN（Wu et al., 2025b） RoboCOIN 是一个多本体双臂操作数据集，包含在 15 个机器人平台上采集的 18 万多条演示，覆盖 16 个真实场景中的 421 个任务，并按协调模式与物体属性组织双臂行为。其层级标注在轨迹、子任务和帧三个层面提供监督，而其本体多样性则补充了单一平台采集的数据集。
解释
RoboCOIN 的特点是“本体多”（15 种平台），对跨本体学习尤其有价值。
原文
RH20T (Fang et al., 2024) RH20T contains more than 110K contact-rich real-world manipulation sequences covering 147 tasks and seven robot configurations. In addition to RGB observations and robot proprioception, it records force, audio, depth, and, for part of the data, tactile information. Each robot trajectory is also associated with a human demonstration and language description, providing rich multimodal supervision for contact-sensitive manipulation.
译文
RH20T（Fang et al., 2024） RH20T 包含 11 万多条接触密集的真实操作序列，覆盖 147 个任务和 7 种机器人配置。除 RGB 观测与机器人本体感觉外，它还记录力、音频、深度，部分数据还包含触觉信息。每条机器人轨迹都配有一段人类演示和语言描述，为接触敏感型操作提供了丰富的多模态监督。
解释
上海交大发布。本文只使用其 RGB 与本体/动作部分（模型不吃力觉、音频），帧率较低（10 Hz）。
原文
RDT-1B (Liu et al., 2024) The robot-data corpus used by RDT-1B aggregates 46 datasets into more than one million episodes spanning multiple robot embodiments and manipulation settings. It is further complemented by more than 6K demonstrations collected on the ALOHA dual-arm platform. We incorporate this data to increase the diversity of robot morphologies and to strengthen the coverage of coordinated bimanual behaviors.
译文
RDT-1B（Liu et al., 2024） RDT-1B 所用的机器人数据语料汇总了 46 个数据集，共一百多万个回合，涵盖多种机器人本体与操作设定；此外还有在 ALOHA 双臂平台上采集的 6,000 多条演示作为补充。我们纳入这些数据，以增加机器人形态的多样性，并加强对协调双臂行为的覆盖。
解释
从表 2 可见本文实际只用了约 35.66 小时、6,110 个回合，基本对应其中 ALOHA 双臂的 6K 条微调数据，而非全部 46 个数据集（后者多与 Open X-Embodiment 重叠）。
原文
RoboSet (Kumar et al., 2023) RoboSet combines real-world teleoperation data with simulated human and expert-policy trajectories under a common data format. Its main real-world component contains approximately 31K kitchen manipulation trajectories across 40 tasks, accompanied by multi-view visual observations, actions, robot states, and rewards. The dataset therefore contributes both large-scale real-world tabletop interactions and additional simulated manipulation behaviors.
译文
RoboSet（Kumar et al., 2023） RoboSet 以统一的数据格式结合了真实遥操作数据与仿真中的人类及专家策略轨迹。其主要的真实世界部分包含约 3.1 万条厨房操作轨迹，涉及 40 个任务，并附有多视角视觉观测、动作、机器人状态和奖励。因此，该数据集既贡献了大规模真实桌面交互，也贡献了额外的仿真操作行为。
解释
表 2 中 RoboSet 帧率约 5.12 Hz，使用量仅约 21 小时，规模较小。
原文
RealSource-World (RealSource, 2025) RealSource-World contains more than 14 million frames from over 11K real-world dual-arm manipulation episodes collected using the RS-02 humanoid robot. The dataset covers 35 tasks across household, kitchen, office, retail, and industrial environments, with synchronized head and wrist cameras and rich robot proprioception. It additionally provides atomic-skill segmentation and trajectory-quality annotations, making long-horizon demonstrations accessible at finer temporal granularity.
译文
RealSource-World（RealSource, 2025） RealSource-World 包含用 RS-02 人形机器人采集的 1.1 万多个真实双臂操作回合、共 1,400 多万帧。数据集覆盖家庭、厨房、办公、零售和工业环境中的 35 个任务，具有同步的头部与腕部相机以及丰富的机器人本体感觉。它还提供原子技能分段和轨迹质量标注，使长时程演示能够以更细的时间粒度被利用。
解释
“原子技能分段”指把一个长任务（如做早餐）切成“拿碗—倒牛奶—放勺子”等短段，便于学习。
| Dataset（数据集） | FPS | Before filtering（过滤前） | After filtering（过滤后） | |||
| Hours | Episodes | Hours | Episodes | Frames (M) | ||
| Robot data（机器人数据） | ||||||
| InternData-A1 | 30 | 3,528.27 | 573,389 | 3,375.51 | 559,062 | 364.555 |
| AgiBotWorld | 30 | 2,358.63 | 141,563 | 1,698.21 | 105,227 | 183.407 |
| Galaxea | 15, 62 | 681.22 | 29,994 | 327.42 | 17,703 | 17.684 |
| RoboMIND | 30 | 777.01 | 215,240 | 625.79 | 195,869 | 67.586 |
| ABC-130K | 30 | 3,533.30 | 128,996 | 2,587.94 | 94,727 | 279.497 |
| RoboSet | \approx5.12 | 21.64 | 9,500 | 20.05 | 9,382 | 0.370 |
| MolmoAct2 | 30 | 68.68 | 3,331 | 33.28 | 1,927 | 3.594 |
| RoboCOIN | 30, 50 | 533.17 | 77,843 | 485.77 | 77,102 | 53.095 |
| RDT-1B | 25 | 35.66 | 6,110 | 33.10 | 6,110 | 2.979 |
| RH20T | 10 | 1,132.10 | 82,894 | 1,130.92 | 82,823 | 40.713 |
| ActionNet | 30 | 157.72 | 32,121 | 157.22 | 32,120 | 16.980 |
| Dexora | 20 | 26.30 | 7,867 | 26.30 | 7,867 | 1.894 |
| HABIT | 10 | 165.18 | 10,623 | 122.71 | 8,389 | 4.417 |
| RealSource | 30 | 345.46 | 26,671 | 177.92 | 25,504 | 19.216 |
| RWRL | 15, 30 | 503.37 | 23,861 | 500.06 | 23,844 | 45.060 |
| Total | – | 13,867.71 | 1,370,003 | 11,302.20 | 1,247,656 | 1,101.047 |
| UMI data（UMI 数据） | ||||||
| Hy-UMI-10K | 30 | 2,161.74 | 250,135 | 2,075.42 | 416,053 | 224.146 |
| Egocentric human data（第一人称人类数据） | ||||||
| EgoDex | 30 | 821.48 | 333,682 | 772.16 | 310,418 | 83.393 |
| EgoVerse | 30 | 3,818.56 | 1,484,714 | 3,289.19 | 1,312,338 | 355.233 |
| Total | – | 4,640.04 | 1,818,396 | 4,061.35 | 1,622,756 | 438.626 |
原文
Table 2: Dataset-level statistics before and after filtering. FPS denotes the frame rate declared in the training data metadata; comma-separated values indicate subsets with different frame rates.
译文
表 2：过滤前后数据集级别的统计。FPS 表示训练数据元信息中声明的帧率；用逗号分隔的数值表示帧率不同的子集。（原表各数据集名后附有引用，此处从略。）
表 2 解读
列含义：FPS 为帧率；“过滤前”给出小时数与回合数；“过滤后”给出小时数、回合数和帧数（单位：百万帧，M）。 三大块：
- 机器人数据：15 个数据集，从 13,867.71 小时 / 137 万回合过滤到 11,302.20 小时 / 125 万回合，保留约 81.5% 的时长，共约 11 亿帧。保留比例差异很大：Galaxea 仅保留 48%，AgiBotWorld 72%，ABC-130K 73%，RealSource 51%（回合数却几乎没少，说明主要是裁剪掉每个回合首尾的静止段，而非整回合丢弃）；而 RH20T、ActionNet、Dexora、RWRL 几乎全部保留，说明这些数据本身较干净。InternData-A1 与 ABC-130K 是两个最大的来源。
- UMI 数据：时长保留 96%，但回合数从 25 万增加到 41.6 万——因为保留下来的轨迹被切分成多个训练回合（4.5 节说明）。
- 第一人称人类数据：EgoVerse 是全文最大的单一数据源（过滤后 3,289 小时），二者合计保留 87.5%。
原文
MolmoAct2-BimanualYAM (Fang et al., 2026) MolmoAct2-BimanualYAM provides more than 720 hours of real-world bimanual manipulation demonstrations collected using dual YAM arms. The dataset contains multi-view observations and language-annotated tasks covering behaviors such as garment manipulation, cable handling, grocery organization, packing, and table bussing. These demonstrations add substantial coverage of long-horizon bimanual tasks involving coordinated interactions between both arms.
译文
MolmoAct2-BimanualYAM（Fang et al., 2026） MolmoAct2-BimanualYAM 提供 720 多小时用双 YAM 机械臂采集的真实双臂操作演示。数据集包含多视角观测和带语言标注的任务，涵盖衣物整理、线缆处理、杂货归置、打包和收拾餐桌等行为。这些演示大幅增加了对需要双臂协调交互的长时程双臂任务的覆盖。
解释
注意表 2 中 MolmoAct2 只用了 68.68 小时（过滤后 33.28 小时），远少于其全部 720 小时，可能只取了部分公开子集；过滤保留率约 48%。
原文
HABIT (Song et al., 2026) HABIT focuses on robot manipulation in environments where humans are actively present. It contains more than 10K episodes and 160 hours of demonstrations across 60 tasks, organized around collaborative, shared-space, and human-directed interactions. This setting introduces behaviors such as human–robot synchronization, yielding, and gesture-conditioned manipulation that are largely absent from robot-only demonstration datasets.
译文
HABIT（Song et al., 2026） HABIT 聚焦于有人类在场活动的环境中的机器人操作。它包含 1 万多个回合、160 小时演示，涉及 60 个任务，围绕协作、共享空间和人类指挥三类交互组织。这一设定引入了人机同步、避让以及以手势为条件的操作等行为，而这些在仅含机器人的演示数据集中基本缺失。
解释
HABIT 的价值是“画面里有人”：普通数据集里人通常不在画面中，模型可能会把人当作干扰。
原文
ActionNet (Fourier ActionNet Team, 2025) ActionNet focuses on dexterous bimanual manipulation using humanoid robots. It contains more than 30K teleoperated trajectories, corresponding to approximately 140 hours of interaction, and covers both basic manipulation primitives and more complex two-hand behaviors using dexterous hands. The demonstrations are collected across multiple Fourier humanoid platforms and paired with manually verified language instructions, providing additional supervision for high-DoF humanoid manipulation.
译文
ActionNet（Fourier ActionNet Team, 2025） ActionNet 聚焦于使用人形机器人的双手灵巧操作。它包含 3 万多条遥操作轨迹，约 140 小时交互，既涵盖基本操作原语，也涵盖使用灵巧手的更复杂双手行为。演示在多个傅利叶（Fourier）人形平台上采集，并配有经人工核验的语言指令，为高自由度人形操作提供额外监督。
解释
与 Dexora 一起构成灵巧手数据的主要来源。
4.2.2处理规则（Processing Rules）
原文
Our data curation builds on practices used in prior work, including Qwen-RobotManip (Yuan et al., 2026a). We apply signal anomaly and consistency filtering, static boundary trimming, visual quality filtering, and an action magnitude guard to the robot demonstrations. We additionally perform automated checks of instruction correctness and video–instruction consistency. The resulting data are further checked through manual inspection of sampled episodes to verify robot motion and representation conventions across datasets and embodiments. We release the complete filtering pipeline and its implementation as an open-source resource to support reproducible data curation and facilitate community reuse and adaptation to additional datasets and embodiments.
译文
我们的数据整理建立在已有工作（包括 Qwen-RobotManip（Yuan et al., 2026a））的实践之上。我们对机器人演示依次应用信号异常与一致性过滤、静止边界裁剪、视觉质量过滤以及动作幅度守卫（action magnitude guard）。我们还对指令正确性和视频—指令一致性进行自动检查。所得数据进一步通过对抽样回合的人工检查，核实跨数据集、跨本体的机器人运动与表示约定。我们将完整的过滤流水线及其实现作为开源资源发布，以支持可复现的数据整理，并方便社区复用及适配到更多数据集与本体。
解释
本段列出六道“关卡”，对应首页图左上的六个格子。下文逐个展开。总体思路：先用便宜的自动规则剔除明显坏数据（信号、画质、幅度），再用较贵的 LLM/VLM 检查语义（指令是否对得上），最后人工抽查格式约定。
原文
Signal anomaly and consistency filtering. Following Qwen-RobotManip (Yuan et al., 2026a), we perform sudden-change detection and state–action consistency checks. Frames containing non-finite values or abrupt outliers, identified through deviations from smoothed trajectories and higher-order temporal changes, are removed while contiguous valid segments are retained. For physically comparable state–action dimensions with sufficient variation, we assess directional agreement after local cross-correlation alignment. We use a default agreement threshold of 0.65 and reject episodes if any required dimension falls below this threshold or if state changes systematically precede the associated actions. Comparisons involving delta actions are adapted to the corresponding control representation.
译文
信号异常与一致性过滤。 参照 Qwen-RobotManip（Yuan et al., 2026a），我们进行突变检测和状态—动作一致性检查。含有非有限值（如 NaN、Inf）或突发离群值的帧——通过其与平滑轨迹的偏差以及高阶时间变化来识别——会被移除，同时保留连续的有效片段。对于物理上可比、且变化幅度足够的状态—动作维度，我们在局部互相关对齐之后评估二者的方向一致性。默认一致性阈值为 0.65；若任一必需维度低于该阈值，或状态变化系统性地先于相应动作发生，则拒绝该回合。涉及增量动作的比较会按相应的控制表示进行调整。
解释
突变检测：把轨迹平滑后与原轨迹比较，偏差过大的点是离群点；“高阶时间变化”指加速度、加加速度（jerk）异常大，物理上不可能。状态—动作一致性：直觉是“发出的动作命令应当导致状态朝同一方向变化”。例如命令关节往正方向转，关节读数应当随后增大。由于控制有延迟，先用互相关找到最佳时间偏移再比较；“方向一致性”可理解为二者变化符号相同的比例（或相关系数），低于 0.65 说明动作与状态对不上，很可能是数据记录错位、单位错误或维度顺序错误。“状态先于动作”：因果上应是动作在先、状态在后；如果状态变化系统性地早于动作，说明时间戳错位（例如动作实际是“记录下来的状态”）。增量动作：若动作是增量，就与状态的差分比较，而不是与状态本身比较。
原文
Static boundary trimming. We apply an adaptive trimming rule to remove prolonged inactivity at episode boundaries. Motion is estimated from normalized frame-to-frame state differences, with rotations represented continuously over time to avoid artificial discontinuities. An adaptive threshold derived from each episode's motion distribution identifies sustained active segments. We retain the interval spanning the first and last reliable active segments, together with a small context margin at both ends. Intermediate pauses are preserved to maintain the temporal structure of task execution. Short episodes and those without a clear separation between static and active motion are left unchanged.
译文
静止边界裁剪。 我们采用一种自适应裁剪规则，移除回合首尾长时间的静止段。运动量由归一化的相邻帧状态差估计，旋转在时间上采用连续表示，以避免人为的不连续。根据每个回合自身运动分布得到的自适应阈值，用于识别持续的活动片段。我们保留从第一个到最后一个可靠活动片段之间的区间，并在两端各保留一小段上下文余量。中间的停顿会被保留，以维持任务执行的时间结构。过短的回合，以及静止与运动界限不明显的回合，保持不变。
解释
遥操作录制时，操作员往往开始录制后要过一会儿才动，结束后也要等一会儿才停止录制，这些静止段会让模型学到“什么都不做”的偏置。旋转连续表示：如果用欧拉角，角度从 179^\circ 跳到 -179^\circ 会被误判为剧烈运动。自适应阈值：不同机器人、不同任务的“正常运动幅度”不同，所以阈值按每个回合自身统计确定（例如取运动量分布的某个分位数）。保留中间停顿：任务中的停顿（如等水倒满）是任务本身的一部分，不能删。
原文
Visual quality filtering. We perform frame-level visual quality checks to detect black frames, blur, compression artifacts, and other image-level anomalies, using frames resized to a unified resolution for all subsequent measurements. Black frames are identified from the mean luminance and the fraction of pixels below a dark-intensity threshold. For blur detection, Sobel gradients are first used to locate edge pixels, and the mean absolute Laplacian response is then computed only over sufficiently populated edge regions to avoid false positives in textureless manipulation scenes. Compression artifacts are quantified by comparing neighboring-pixel differences at periodic 8\times8 block boundaries with those at non-boundary locations. Abrupt temporal changes are measured using frame differences normalized by the episode-level median and median absolute deviation. Extreme temporal changes, blockiness, and saturation anomalies are combined to identify suspected corruption, while decoding and shape errors are recorded separately.
译文
视觉质量过滤。 我们进行逐帧的视觉质量检查，检测黑帧、模糊、压缩伪影及其他图像级异常；所有后续测量均在缩放到统一分辨率的帧上进行。黑帧由平均亮度以及低于暗度阈值的像素比例来识别。对于模糊检测，先用 Sobel 梯度定位边缘像素，然后只在边缘足够密集的区域计算拉普拉斯响应的平均绝对值，以避免在缺乏纹理的操作场景中产生误报。压缩伪影的量化方法是：比较周期性 8\times8 块边界处与非边界处的相邻像素差。突发的时间变化用帧差来度量，并以回合级中位数和中位数绝对偏差（MAD）归一化。极端的时间变化、块效应和饱和异常被综合起来识别疑似损坏，而解码错误和尺寸错误则单独记录。
解释
几个经典图像处理技巧：拉普拉斯方差/响应是常用的清晰度指标（清晰图像二阶导响应强），但白墙、纯色桌面本来就没有边缘，会被误判为模糊，所以只在 Sobel 找到边缘的区域计算。8\times8 块：JPEG/H.264 等编码按 8\times8 块压缩，压缩过度时块边界处会出现明显台阶（马赛克），比较边界与非边界的像素差即可量化。中位数 + MAD 归一化是对离群值鲁棒的标准化方式，用来判断某帧与前一帧的差异是否“异常大”（如画面突然花屏或切换）。
原文
Action magnitude guard. After the preceding signal and visual quality checks, we apply an action magnitude guard to remove residual large-amplitude commands. In some datasets, initialization and reset routines near episode boundaries introduce sustained large actions, such as rapid arm retraction. These motions can remain temporally smooth and consistent with the recorded states, allowing them to survive the preceding filters. When present over consecutive frames, they can also distort action statistics despite normalization based on the 1st and 99th percentiles (q_{01} and q_{99}). We therefore impose additional magnitude limits in physical units. For end-effector (EEF) actions, we discard samples whose single-step translation magnitude exceeds 0.2 m or whose single-step rotation magnitude exceeds 0.5 rad.
译文
动作幅度守卫。 在前述信号与视觉质量检查之后，我们应用动作幅度守卫以去除残余的大幅度指令。在某些数据集中，回合边界附近的初始化和复位程序会引入持续的大幅动作，例如手臂快速收回。这些运动可能在时间上依然平滑、并与记录的状态一致，因此能通过前面的过滤器。当它们连续出现在多帧中时，即使采用基于第 1 和第 99 百分位数（q_{01} 与 q_{99}）的归一化，也会扭曲动作统计量。因此我们额外施加以物理单位表示的幅度上限：对末端执行器（EEF）动作，丢弃单步平移幅度超过 0.2 m 或单步旋转幅度超过 0.5 rad 的样本。
解释
为什么前面的过滤抓不到？“复位”运动是平滑的（不触发突变检测），而且状态确实跟着动作变（通过一致性检查），只是幅度很大、不属于任务行为。对归一化的影响：模型训练前要把动作归一化到 [-1,1] 左右，常用做法是用 q_{01}、q_{99} 作为上下界（比 min/max 抗离群）。但若大幅复位动作占比超过 1%，q_{99} 本身就会被拉大，导致正常的小动作被压缩到很窄的范围，损失精度。阈值的物理意义：0.2 m 每步在 30 Hz 下相当于 6 m/s，0.5 rad 每步约 15 rad/s，正常操作远达不到。
原文
Instruction correctness and video-instruction consistency filtering. We apply an LLM-based filter to assess the correctness, clarity, and executability of each natural-language instruction. Instructions that are empty, malformed, gibberish, incomplete, or lack a clear action, object, or target are removed before visual verification. For the remaining instructions, we perform task-level video-instruction consistency checking with a vision-language model. Using gripper-state signals recorded in the robot data, we detect opening and closing events and split each episode into action-centered video clips. The VLM first interprets these local clips individually to obtain descriptions of the corresponding manipulation actions. We then combine the clip-level descriptions with sparsely sampled global frames from the full episode and the original instruction, and ask the VLM to determine whether the observed behavior matches the instruction and whether the task is completed.
译文
指令正确性与视频—指令一致性过滤。 我们使用基于大语言模型（LLM）的过滤器评估每条自然语言指令的正确性、清晰度和可执行性。为空、格式错误、乱码、不完整，或缺少明确动作、物体或目标的指令，在视觉核验之前即被移除。对剩余的指令，我们用视觉语言模型进行任务级的视频—指令一致性检查：利用机器人数据中记录的夹爪状态信号检测张开与闭合事件，并据此把每个回合切分为以动作为中心的视频片段。VLM 先逐个理解这些局部片段，得到对相应操作动作的描述；然后我们把片段级描述、从整个回合中稀疏采样的全局帧以及原始指令组合在一起，让 VLM 判断观察到的行为是否与指令相符、任务是否完成。
解释
两级检查：纯文本（便宜）——LLM 判断指令本身是否像一条合格的任务描述，如“pick”（缺物体）、“asdf”（乱码）会被删。视频 + 文本（较贵）——VLM 判断视频是否真的在做指令说的事。直接把整段长视频丢给 VLM 效果不好，所以先用夹爪开合事件（抓起/放下是操作的关键节点）把视频切成短片段，逐段描述（例如“片段 2：夹起蓝色方块”），再把这些描述与全局帧、原指令放在一起做最终判断。这能剔除“指令写错”“任务失败”的回合。
原文
Manual semantic verification. After all automated filtering stages, we manually inspect sampled episodes from every dataset–embodiment pair to verify the interpretation of robot states and actions. We replay the joint trajectories decoded by our data loaders using the corresponding URDF and visualize the EEF poses alongside the recorded videos from all available camera views. We assess whether the visualized robot motion, end-effector poses, and gripper behavior agree with the observations. Particular attention is paid to dataset-specific conventions, including gripper opening and closing definitions and coordinate-frame conventions. This inspection helps identify semantic mismatches and verify that our data loaders correctly interpret heterogeneous annotations and map them consistently into the unified representation.
译文
人工语义核验。 在所有自动过滤阶段之后，我们对每个“数据集—本体”组合人工检查抽样回合，以核实对机器人状态和动作的解读。我们使用相应的 URDF 回放由数据加载器解码出的关节轨迹，并把 EEF 位姿与所有可用相机视角录下的视频并排可视化。我们评估可视化的机器人运动、末端位姿和夹爪行为是否与观测一致，尤其关注各数据集特有的约定，包括夹爪开合的定义和坐标系约定。这种检查有助于发现语义不匹配，并核实我们的数据加载器正确解读了异构标注，并将其一致地映射到统一表示中。
解释
URDF（Unified Robot Description Format）是描述机器人连杆、关节、几何的标准文件，用它可以在三维中“重放”关节轨迹。这是在排查“程序跑通但含义错了”的问题，例如：某数据集夹爪值 1 表示闭合、另一个数据集 1 表示张开；某数据集四元数顺序是 (w,x,y,z)、另一个是 (x,y,z,w)。这类错误不会让程序报错，但会让模型学到矛盾的知识，只有通过可视化比对才能发现。
原文
We apply the filtering and verification stages in a fixed order. First, signal anomaly and consistency filtering removes invalid or inconsistent data while retaining contiguous valid segments. We then trim static episode boundaries, perform visual quality filtering, and apply the action magnitude guard. The remaining data undergo LLM-based instruction screening, followed by VLM-based checks of video–instruction consistency and task completion. Finally, we manually inspect sampled episodes from each dataset–embodiment pair to verify the decoded robot motion, its agreement with the recorded observations, and the mapping of dataset-specific conventions into the unified representation.
译文
我们按固定顺序执行这些过滤与核验阶段。首先，信号异常与一致性过滤移除无效或不一致的数据，同时保留连续的有效片段；接着裁剪回合首尾的静止边界、进行视觉质量过滤，并应用动作幅度守卫。剩余数据经过基于 LLM 的指令筛查，然后进行基于 VLM 的视频—指令一致性与任务完成度检查。最后，我们对每个“数据集—本体”组合人工检查抽样回合，核实解码后的机器人运动、其与录制观测的一致性，以及各数据集约定到统一表示的映射。
解释
顺序的原则是“由便宜到昂贵、由信号到语义”：前四步是数值计算，速度快，能先删掉大部分坏数据；LLM/VLM 调用较贵，放在后面只处理剩余数据；人工检查最贵，只抽样做。
4.3第一人称与 Ego2Robot 数据（Ego and Ego2Robot Data）
4.3.1数据来源（Data Sources）
原文
EgoDex (Hoque et al., 2025) EgoDex contains 829 hours of egocentric human demonstrations collected using Apple Vision Pro across 194 tabletop manipulation tasks. It pairs 30 Hz RGB video with 3D head, upper-body, hand poses, camera intrinsics and poses, and language descriptions, providing fine-grained supervision for dexterous manipulation.
译文
EgoDex（Hoque et al., 2025） EgoDex 包含 829 小时用 Apple Vision Pro 采集的第一人称人类演示，涉及 194 个桌面操作任务。它将 30 Hz 的 RGB 视频与 3D 头部、上半身和手部姿态、相机内参与位姿以及语言描述配对，为灵巧操作提供细粒度监督。
解释
Apple Vision Pro 头显自带高精度手部跟踪和头部定位，因此 EgoDex 有现成的 3D 手部关键点与相机位姿，这是后续“把人手动作转换为机器人末端动作”的前提。
原文
EgoVerse (Punamiya et al., 2026) EgoVerse is a continuously expanding collection of egocentric human demonstrations contributed by academic and industrial partners. We use an expanded EgoVerse snapshot of approximately 473K recordings, yielding 1.48M segmented episodes spanning 3,819 hours. The data pair egocentric video with 3D hand keypoints, 6-DoF head poses, and task descriptions, including subtask-level language annotations for industry-contributed recordings.
译文
EgoVerse（Punamiya et al., 2026） EgoVerse 是由学术界和产业界合作伙伴贡献、持续扩充的第一人称人类演示集合。我们使用一个扩充后的 EgoVerse 快照，约 47.3 万段录像，切分为 148 万个回合，共 3,819 小时。数据将第一人称视频与 3D 手部关键点、6 自由度头部位姿和任务描述配对，其中产业界贡献的录像还带有子任务级语言标注。
解释
“快照”说明数据集仍在增长，作者固定了某一版本以保证可复现。6-DoF 头部位姿 = 3 维位置 + 3 维朝向，即相机外参。
4.3.2处理规则（Processing Rules）
原文
Figure 6: Ego and ego-to-robot data processing pipeline. Ego2Robot data undergo all stages, whereas egocentric data undergo only action alignment and action speed alignment. Action alignment maps hand motion to end-effector targets and gripper commands. Kinematic alignment couples base search with trajectory IK to obtain base poses and joint trajectories. Visual alignment combines the rendered robot with the human-removed scene using depth-aware compositing.
译文
图 6：第一人称与“人到机器人”数据处理流水线。Ego2Robot 数据经历全部阶段，而第一人称数据只经历动作对齐和动作速度对齐。动作对齐把手部运动映射为末端执行器目标与夹爪指令；运动学对齐将底座搜索与轨迹逆运动学（IK）耦合，得到底座位姿与关节轨迹；视觉对齐则通过深度感知合成，把渲染出的机器人与去除了人的场景融合在一起。
图 6 解读
图分三行，对应三个阶段：
- Action Alignment（动作对齐，蓝色）——“把人的运动映射为 EEF 动作”。左：3D Hand Keypoints（视频上叠加的手部骨架关键点）；中：Wrist-to-EEF Retargeting（手腕到末端的重定向），以相机为参考系得到 Camera Frame Action，右侧小图示意人手腕位姿对应到一个机器人夹爪；右：Filtering（过滤），三个例子——Valid Motion（有效运动，绿色勾）、Static motion（静止，红叉，下方曲线平坦）、Anomalous Motion（异常运动，红叉，曲线上有尖峰）。
- Kinematic Alignment（运动学对齐，绿色）——“求解可行的机器人轨迹”。左：Aligned Trajectories（对齐后的左右手轨迹）；中：Base Candidates（两个虚线圆圈表示左、右臂底座的候选位置）\to Base search + IK（搜索底座并求逆运动学）\to Feasible Trajectories（关节空间与任务空间都可行的轨迹）；右：五项验收标准——tracking（跟踪精度）、joint-limit（关节限位）、joint-discontinuity（关节不连续）、trajectory-completion（轨迹完整性）、collision（碰撞）。
- Visual Alignment（视觉对齐，红色）——“用渲染的机器人替换手臂”。Original Video（原视频，人手拿瓶子）\to Human Segmentation (SAM3)（人手被分割，红色高亮）\to Remove Human (ProPainter)（视频修复抹去人手）\to Render & Composite (Robot)（渲染机器人手臂并合成进画面）。
原文
The processing pipeline is organized into action alignment, kinematic alignment, and visual alignment, as shown in Figure 6. Our conversion procedure is inspired by Ego2Robot (Wang et al., 2026c) and Qwen-RobotManip (Yuan et al., 2026a). Unlike their representative-keyframe kinematic checks, we incorporate coarse-to-fine trajectory validation into base selection. Ego2Robot data undergo all stages, whereas egocentric data undergo only action alignment and action speed alignment.
译文
如图 6 所示，处理流水线分为动作对齐、运动学对齐和视觉对齐三部分。我们的转换流程受 Ego2Robot（Wang et al., 2026c）与 Qwen-RobotManip（Yuan et al., 2026a）启发。与它们仅在代表性关键帧上做运动学检查不同，我们把由粗到细的轨迹验证纳入底座选择过程。Ego2Robot 数据经历全部阶段，而第一人称数据只经历动作对齐和动作速度对齐。
解释
与前人的区别：之前的方法只在几个关键帧上检查“机器人能否够到这个位置”，但关键帧之间可能出现够不到、关节突然翻转（IK 换解）等问题。本文在搜索底座位置时就检查整条轨迹（先稀疏地粗查，再加密细查），能更可靠地剔除不可行的转换。“动作速度对齐”在 4.3.2 节末尾介绍。
原文
Action alignment. Action alignment converts heterogeneous egocentric human data into a standardized representation of bimanual wrist states and actions. Specifically, we treat the wrist pose of each 3D hand as the corresponding end-effector pose. To obtain a unified camera-relative representation, we use the camera extrinsics to transform each end-effector pose from the source frame into the instantaneous camera frame and construct the corresponding state:
\mathbf{p}^{C_t}_{E_t} = R^{C_t}_s\,\mathbf{p}^s_{E_t} + \mathbf{t}^{C_t}_s, \qquad R^{C_t}_{E_t} = R^{C_t}_s R^s_{E_t}, \qquad \mathbf{s}_t = \big(\mathbf{p}^{C_t}_{E_t},\ R^{C_t}_{E_t},\ g_t\big). \tag{21}
Here, \mathbf{p}^s_{E_t} and R^s_{E_t} denote the end-effector position and orientation in the source frame s, respectively. R^{C_t}_s and \mathbf{t}^{C_t}_s specify the transformation from the source frame to the camera frame C_t, and g_t denotes gripper openness. Notably, we estimate gripper openness from human fingertip geometry. The canonical mapping uses the distance between the thumb tip and the midpoint of the index and middle fingertips: d_t = \left\|\mathbf{p}_{\text{thumb},t} - \frac{\mathbf{p}_{\text{index},t} + \mathbf{p}_{\text{middle},t}}{2}\right\|_2, \qquad g_t = \mathrm{clip}\!\left(\frac{d_t - 0.05}{0.02},\ 0,\ 1\right). \tag{22}
All fingertip positions are measured in meters and expressed in a common coordinate frame at the same timestamp. Distances of 5 cm and 7 cm map to fully closed (g_t=0) and fully open (g_t=1) gripper targets, respectively. Following the action parameterization used for robot data, we define actions using camera-relative position deltas, EEF-local rotation deltas, and absolute next-frame gripper targets: \Delta\mathbf{p}_t = \mathbf{p}^{C_{t+1}}_{E_{t+1}} - \mathbf{p}^{C_t}_{E_t}, \qquad \Delta R_t = \big(R^{C_t}_{E_t}\big)^{\!\top} R^{C_{t+1}}_{E_{t+1}}, \qquad \mathbf{a}_t = \big(\Delta\mathbf{p}_t,\ \Delta R_t,\ g_{t+1}\big). \tag{23}
译文
动作对齐。动作对齐把异构的第一人称人类数据转换为标准化的双手手腕状态与动作表示。具体而言，我们把每只 3D 手的手腕位姿视为相应的末端执行器位姿。为了获得统一的、相对于相机的表示，我们利用相机外参将每个末端位姿从源坐标系变换到当前时刻的相机坐标系，并构造相应的状态：
\mathbf{p}^{C_t}_{E_t} = R^{C_t}_s\,\mathbf{p}^s_{E_t} + \mathbf{t}^{C_t}_s, \quad R^{C_t}_{E_t} = R^{C_t}_s R^s_{E_t}, \quad \mathbf{s}_t = \big(\mathbf{p}^{C_t}_{E_t},\ R^{C_t}_{E_t},\ g_t\big). \quad (21)
其中 \mathbf{p}^s_{E_t} 和 R^s_{E_t} 分别是末端在源坐标系 s 下的位置和姿态；R^{C_t}_s 与 \mathbf{t}^{C_t}_s 给出从源坐标系到相机坐标系 C_t 的变换；g_t 表示夹爪开度。值得注意的是，我们根据人的指尖几何估计夹爪开度。规范映射使用拇指指尖与食指、中指指尖中点之间的距离： d_t = \left\|\mathbf{p}_{\text{thumb},t} - \frac{\mathbf{p}_{\text{index},t} + \mathbf{p}_{\text{middle},t}}{2}\right\|_2, \qquad g_t = \mathrm{clip}\!\left(\frac{d_t - 0.05}{0.02},\ 0,\ 1\right). \qquad (22)
所有指尖位置以米为单位，并在同一时间戳下表示在同一坐标系中。5 cm 与 7 cm 的距离分别映射为完全闭合（g_t=0）和完全张开（g_t=1）的夹爪目标。按照机器人数据所用的动作参数化方式，我们用相对于相机的位置增量、末端局部的旋转增量以及下一帧的绝对夹爪目标来定义动作： \Delta\mathbf{p}_t = \mathbf{p}^{C_{t+1}}_{E_{t+1}} - \mathbf{p}^{C_t}_{E_t}, \quad \Delta R_t = \big(R^{C_t}_{E_t}\big)^{\!\top} R^{C_{t+1}}_{E_{t+1}}, \quad \mathbf{a}_t = \big(\Delta\mathbf{p}_t,\ \Delta R_t,\ g_{t+1}\big). \quad (23)
解释
记号约定：X^{A}_{B} 表示“B 在 A 坐标系下的量”。E_t 是时刻 t 的末端（手腕）坐标系，C_t 是时刻 t 的相机坐标系，s 是数据集原始的世界坐标系。 式 (21)：标准刚体变换。位置先旋转再平移；姿态是旋转矩阵连乘。为什么要转到相机系？第一人称视频的相机（人头）在不停移动，世界系下的手腕位置与画面不对应；转到当前相机系后，“手在画面里的位置”与“手的坐标”一致，模型更容易把视觉和动作关联起来。状态 \mathbf{s}_t 由位置（3 维）、姿态（旋转矩阵，存入槽位时转为 6D 表示）和夹爪开度组成。 式 (22)：人手没有“夹爪”，用捏合程度近似。d_t 是拇指尖到“食指尖与中指尖中点”的距离。(d_t-0.05)/0.02 把 [5\,\text{cm}, 7\,\text{cm}] 线性映射到 [0,1]，clip 把超出范围的值截断到 0 或 1。例如 d_t=6 cm 时 g_t=0.5；手指张得很开（10 cm）时 g_t=1。 式 (23)：与 4.1 节机器人动作一致——位置增量 \Delta\mathbf{p}_t 是两帧相机系位置之差（注意前后两帧相机系不同，因此该增量隐含了头部运动的影响，这也是后面要过滤“相机位移过大”的原因之一）；旋转增量 \Delta R_t = (R_t)^\top R_{t+1} 是在当前末端局部系下的相对旋转（存入槽位时再转为 3 维旋转向量）；夹爪取下一帧的绝对值 g_{t+1}，作为目标。
原文
After action alignment, we retain an episode only if at least one hand has valid pose observations spanning more than 1 s and covering more than 70% of the episode duration. We then discard episodes in which both hands are static, defined by each hand having position variance below 5\times10^{-4}\,\mathrm{m}^2 and rotation variance below 0.1\,\mathrm{rad}^2. For hand trajectories, we apply the trajectory outlier detection described in the robot data section and additionally reject episodes with excessive linear or angular speeds. We apply the same anomaly checks to the available camera trajectories. To limit the effects of substantial locomotion during manipulation, we also remove episodes with camera displacement greater than 1 m.
译文
动作对齐之后，只有当至少一只手的有效位姿观测持续超过 1 秒、且覆盖回合时长的 70% 以上时，我们才保留该回合。随后丢弃双手均静止的回合——“静止”定义为每只手的位置方差低于 5\times10^{-4}\,\mathrm{m}^2 且旋转方差低于 0.1\,\mathrm{rad}^2。对于手部轨迹，我们沿用机器人数据一节所述的轨迹离群点检测，并额外剔除线速度或角速度过大的回合；对可用的相机轨迹也执行同样的异常检查。为了限制操作过程中大幅走动带来的影响，我们还移除相机位移超过 1 m 的回合。
解释
这是动作对齐之后的一组质量门槛，对应图 6 第一行右侧的“Filtering”：
- 手部可见性：人手经常出画或被遮挡，导致关键点缺失。要求“至少一只手”有效位姿时长 >1 s 且覆盖率 >70\%，保证监督信号不是零星碎片。
- 静止判定：位置方差 5\times10^{-4}\,\mathrm{m}^2 对应标准差约 \sqrt{5\times10^{-4}}\approx 2.2 cm，旋转标准差约 \sqrt{0.1}\approx0.32 rad（约 18°）。两只手都在这么小的范围内晃动，说明这段视频基本没在操作（如人在说话、看别处），即图 6 中的 “Static motion”。
- 速度过大：手部追踪丢失后重新找回，常导致位置“瞬移”，表现为线速度/角速度异常，即图 6 中的 “Anomalous Motion”。
- 相机位移 >1 m：头戴相机跟着人走动。式 (23) 的动作是在相机系中定义的，人一走动，手相对相机的位移就混入了身体移动，不再是纯粹的“手的操作”；而且后续要把机器人底座固定在场景里，大幅走动也无法用固定底座的机器人复现。
原文
Algorithm 1 Coupled Base Search and Trajectory IK for Bimanual ArmsRequire: Robot model \mathcal{M}; \{\mathcal{T}_a,\mathcal{W}_a\}_{a\in\{L,R\}}; acceptance criteria and search limitsEnsure: Base poses and joint trajectories (b_L,b_R,\mathbf{Q}_L,\mathbf{Q}_R), or \varnothing
1:for a\in\{L,R\} do
2: \mathcal{B}_a \gets \mathrm{Candidates}(\mathcal{T}_a,\mathcal{W}_a)
3:for s\in(\text{coarse},\text{medium}) do
4: \mathcal{B}_a \gets \mathrm{SearchArmTrajectories}(\mathcal{B}_a,\mathcal{T}_a,\mathcal{W}_a;s)
5:end for
6:end for
7: \mathcal{P}\gets \mathrm{PairBases}(\mathcal{B}_L,\mathcal{B}_R)
8:for p=(b_L,b_R)\in\mathcal{P} in order do
9: (v,\mathbf{Q}_L,\mathbf{Q}_R)\gets \mathrm{SolveFullTrajectory}(p,\mathcal{T}_L,\mathcal{T}_R)
10:if v then
11:
12:return (b_L,b_R,\mathbf{Q}_L,\mathbf{Q}_R)
13:end if
14:end for
15:
16:return \varnothing
译文
算法 1 双臂的耦合底座搜索与轨迹逆运动学输入：机器人模型 \mathcal{M}；每只臂的目标与工作空间 \{\mathcal{T}_a,\mathcal{W}_a\}_{a\in\{L,R\}}；验收标准与搜索上限。输出：底座位姿与关节轨迹 (b_L,b_R,\mathbf{Q}_L,\mathbf{Q}_R)；若无解则返回 \varnothing。
- 对左、右两只臂 a\in\{L,R\} 分别执行：
- 由目标与工作空间生成底座候选集合 \mathcal{B}_a；
- 依次在“粗”“中”两个阶段 s 上：
- 用该阶段密度的轨迹评估筛选候选，更新 \mathcal{B}_a；
- 5–6: （循环结束）
- 7: 将左右候选配对并排序，得到候选对列表 \mathcal{P}；
- 8: 按顺序遍历每一对 p=(b_L,b_R)：
- 9: 在全部帧上求解完整轨迹，得到通过标志 v 与关节轨迹 \mathbf{Q}_L,\mathbf{Q}_R；
- 10–12: 若通过（v 为真），立即返回该对底座及其轨迹；
- 13: （循环结束）
- 14: 所有候选对都失败，返回空集 \varnothing。
算法 1 解读
要解决的问题：人手轨迹给出了“末端应该去哪”，但机器人手臂装在某个底座上，底座放哪儿决定了够不够得着、会不会关节超限、两臂会不会相撞。算法要找一对左右臂底座位置 (b_L,b_R)，使整条轨迹都能被机器人跟踪。 符号：\mathcal{M} 机器人模型（在 MuJoCo 中加载）；\mathcal{T}_a 臂 a 的末端目标序列与夹爪指令；\mathcal{W}_a 工作空间索引（预先计算的“这台机械臂在哪些位置能达到哪些姿态”）；\mathcal{B}_a 底座候选集（每个候选带着它已求得的关节轨迹和评估统计）；\mathbf{Q}_a 关节轨迹（每帧一个关节角向量）；v 是否通过的布尔标志。 结构：
- 第 1–6 行（单臂、由粗到细）：每只臂独立地筛选底座。“coarse”阶段只在稀疏的若干帧上做 IK，快速淘汰明显不行的位置；“medium”阶段帧更密，进一步检查轨迹的连续性。每一阶段都只保留一份排序后的短名单，计算量随阶段递减地分配给更有希望的候选。
- 第 7 行（配对）：左右候选两两组合，剔除两底座距离过近、或在 medium 阶段的帧上两臂已相撞的组合，再排序。
- 第 8–13 行（全帧验证）：按排序依次在所有帧上求解，第一个通过的就返回——这是一种“贪心 + 早停”的策略，排序越好，越早返回。
原文
Kinematic alignment. Kinematic alignment couples base selection with inverse kinematics (IK): the outer search proposes base configurations, while the inner solver holds each base fixed and computes joint trajectories to assess its suitability. Unlike the representative-keyframe checks described in Ego2Robot and Qwen-RobotManip, we incorporate coarse-to-fine trajectory validation into the search to detect tracking failures and discontinuous changes between IK solution branches.
译文
运动学对齐。 运动学对齐将底座选择与逆运动学（inverse kinematics, IK）耦合：外层搜索提出底座配置，内层求解器在底座固定的前提下计算关节轨迹，以评估该底座是否合适。与 Ego2Robot 和 Qwen-RobotManip 中基于代表性关键帧的检查不同，我们把由粗到细的轨迹验证纳入搜索过程，以检测跟踪失败以及 IK 解支（solution branch）之间的不连续切换。
解释
逆运动学：已知末端要到达的位姿，反求各关节角。一个 6/7 自由度机械臂对同一个末端位姿往往有多组解（“解支”，如肘上/肘下、腕翻转），逐帧独立求解时相邻帧可能落在不同解支上，导致关节角突变，真机无法执行。“外层—内层”的双层结构是经典的搜索套优化：外层是离散的底座位置搜索，内层是连续的 IK 求解。
原文
Algorithm 1 summarizes the coupled base search and trajectory IK procedure for bimanual arms. The shared robot model \mathcal{M} is loaded in MuJoCo (Todorov et al., 2012) from a robot description file and includes the kinematic structure, joint limits, collision geometry, and visual geometry required for IK, collision checking, and rendered occupancy evaluation. For arm a, \mathcal{T}_a contains the end-effector targets and gripper commands, \mathcal{W}_a is its workspace index, and \mathcal{B}_a contains base candidates with their available joint trajectories and evaluation statistics. The stage index s takes the values coarse and medium in sequence, with progressively denser trajectory evaluation frames.
译文
算法 1 总结了双臂的耦合底座搜索与轨迹 IK 流程。共享的机器人模型 \mathcal{M} 从机器人描述文件加载到 MuJoCo（Todorov et al., 2012）中，包含 IK、碰撞检测和渲染占比评估所需的运动学结构、关节限位、碰撞几何体与视觉几何体。对于臂 a，\mathcal{T}_a 包含末端执行器目标和夹爪指令，\mathcal{W}_a 是其工作空间索引，\mathcal{B}_a 包含底座候选及其已有的关节轨迹和评估统计。阶段索引 s 依次取 coarse（粗）和 medium（中）两个值，轨迹评估帧逐步加密。
解释
MuJoCo 是常用的物理仿真引擎，这里主要用到它的运动学与几何功能，而非动力学仿真。注意模型同时包含碰撞几何（用于判断两臂是否相撞）和视觉几何（用于渲染），后者还被用于“渲染占比评估”（rendered occupancy）——即机器人渲染到画面后占据多大面积，下一段会用它作为挑选底座的视觉偏好。
原文
SearchArmTrajectories uses workspace seeds and prior trajectories for base-fixed IK, retaining a ranked shortlist subject to stage-specific tracking, joint-limit, joint-discontinuity, and trajectory-completion criteria and search limits. PairBases forms candidate pairs, rejects those violating minimum base separation or exhibiting medium-stage cross-arm collisions, and orders the survivors. Both functions use stage-specific priorities based on motion quality, rendered image occupancy, and layout preferences without relaxing acceptance criteria. Visual preferences favor less base and proximal-arm intrusion while also considering overall robot coverage. SolveFullTrajectory then solves full-frame trajectories with cached arm/base solutions reused when available and returns a pass flag v after trajectory-quality and cross-arm collision checks. Both IK routines use hierarchical updates combining position and approach tracking, contact-point and orientation refinement, and projected joint-space regularization, as detailed in Appendix A. The search returns the first passing pair in the scheduled order.
译文
SearchArmTrajectories 利用工作空间种子和已有轨迹进行底座固定的 IK，并在各阶段特定的跟踪、关节限位、关节不连续和轨迹完整性标准以及搜索上限的约束下，保留一份排序后的短名单。PairBases 构造候选对，剔除违反最小底座间距或在 medium 阶段出现双臂互撞的组合，并对剩余组合排序。两个函数都使用基于运动质量、渲染图像占比和布局偏好的阶段特定优先级，但不放宽验收标准。视觉偏好倾向于让底座和近端手臂（proximal arm）更少地侵入画面，同时兼顾机器人整体的覆盖。随后 SolveFullTrajectory 在全部帧上求解轨迹（可用时复用已缓存的臂/底座解），并在轨迹质量和双臂碰撞检查之后返回通过标志 v。两个 IK 例程都采用分层更新，结合位置与接近方向（approach）跟踪、接触点与姿态细化以及投影到关节空间的正则化，详见附录 A。搜索返回按预定顺序第一个通过的候选对。
解释
“验收标准”与“优先级”的区别：验收标准（跟踪误差、关节限位、关节不连续、轨迹完整性、碰撞）是硬约束，不满足就淘汰；优先级只决定先试谁，属于软偏好。作者强调排序“不放宽验收标准”，即不会为了画面好看而接受一个物理上不合格的解。 视觉偏好的直觉：合成后的视频里，如果机器人底座和大臂占满画面、挡住操作区域，训练出的模型就看不到物体；但机器人完全不可见也不好，因为模型需要看到末端。所以偏好“底座与近端臂少入镜，但整体覆盖合理”。 分层 IK：优先满足末端位置和接近方向（夹爪朝哪个方向伸向物体），再细化接触点与完整姿态，最后在关节空间做正则化（例如保持离关节中位近、相邻帧平滑），“投影”指次要目标的更新被投影到不破坏主要目标的方向上（零空间投影的思想）。
原文
Visual alignment. Visual alignment uses SAM3 (Carion et al., 2025) to segment human regions and ProPainter (Zhou et al., 2023) to remove them from the source video. Using the selected base configurations and joint trajectories, the target robot is rendered from the original camera viewpoint and composited into the inpainted scene.
译文
视觉对齐。 视觉对齐使用 SAM3（Carion et al., 2025）分割人体区域，并用 ProPainter（Zhou et al., 2023）将其从源视频中移除。随后利用选定的底座配置和关节轨迹，从原相机视角渲染目标机器人，并将其合成到修复后的场景中。
解释
对应图 6 第三行。SAM3 是 Segment Anything 系列的第三代，可按文本或提示分割并跨帧跟踪；ProPainter 是视频修复（inpainting）模型，利用前后帧的信息填补被抹去的区域，比逐帧修复更连贯。由于相机内外参已知（式 (21) 用到的），机器人可以从完全相同的视角渲染，与背景几何一致。
原文
Figure 7: Qualitative Ego2Robot synthesis results. After action and kinematic alignment, the robot is rendered from the original egocentric viewpoint and composited into the human-removed scene with depth-aware occlusion.
译文
图 7：Ego2Robot 合成结果的定性示例。经过动作对齐与运动学对齐后，机器人从原始第一人称视角被渲染出来，并以深度感知的遮挡关系合成到去除了人的场景中。
图 7 解读
图为 2\times6 共 12 帧合成结果，来自不同的源视频与不同的目标机器人本体。可以看到：(1) 机器人本体多样——白色的人形双臂、黑色的工业臂、红色机械臂、灰色协作臂等，说明同一段人类视频可被转换到多种机器人上（这也是表 3 中“机器人小时数”远大于“源覆盖小时数”的原因）；(2) 场景多样——厨房、桌面、木桌、盒子内部等，继承自 EgoDex/EgoVerse 的真实环境；(3) 视角均为第一人称（俯视桌面），机械臂从画面下方或两侧伸入，与原视频中人手出现的位置一致；(4) 部分帧中物体在夹爪前方或遮挡住机械臂，体现“深度感知遮挡”。这张图的作用是直观展示 Ego2Robot 管线把廉价的人类视频变成了“看起来像机器人数据”的训练样本。
| Dataset（数据集） | Source data（源数据） | Converted data（转换覆盖） | Final data（最终数据） | ||||
| Hours | Episodes | Hours | Episodes | Robot-hours | Episodes | Frames (M) | |
| EgoDex | 772.16 | 310,418 | 310.03 | 149,753 | 1,702.33 | 1,041,346 | 183.852 |
| EgoVerse | 3,289.19 | 1,312,338 | 791.51 | 133,697 | 3,931.43 | 2,689,167 | 424.410 |
| Total | 4,061.35 | 1,622,756 | 1,101.55 | 283,450 | 5,633.77 | 3,730,513 | 608.262 |
原文
Table 3: Source-video coverage and robot training data produced by the Ego2Robot pipeline.
译文
表 3：Ego2Robot 流水线的源视频覆盖情况及其产出的机器人训练数据。（原表数据集名后附有引用 Hoque et al., 2025 与 Punamiya et al., 2026，此处从略。）
表 3 解读
三组列（定义见 4.5 节的 “Ego2Robot conversion” 段）：
- Source data：作为输入的、已通过过滤的人类视频，与表 2 中第一人称数据“过滤后”列完全一致（772.16 + 3,289.19 = 4,061.35 h）。
- Converted data：成功转换的去重源覆盖——至少有一种机器人本体合成成功的时间区间之并集。每个源回合最多计一次。
- Final data：导出的机器人训练集。Robot-hours 是把各本体的可用时长相加，所以可以超过源覆盖。
原文
Depth-aware compositing calibrates estimated scene depth using metric hand keypoints and checks scale consistency near the manipulated objects. Object masks constrain occlusion decisions, and temporal hysteresis reduces unstable visibility changes across frames. The resulting videos are paired with the corresponding smoothed end-effector targets and gripper commands, with validity masks retained for downstream training, as shown in Figure 7.
译文
深度感知合成利用具有真实尺度的手部关键点校准估计出的场景深度，并在被操作物体附近检查尺度一致性。物体掩码约束遮挡判断，时间迟滞（temporal hysteresis）则减少跨帧的不稳定可见性变化。生成的视频与相应的平滑末端执行器目标和夹爪指令配对，并保留有效性掩码供下游训练使用，如图 7 所示。
解释
为什么需要深度：合成时要决定每个像素上是“机器人在前”还是“场景物体在前”（例如机械臂伸到杯子后面时，杯子应挡住机械臂）。单目深度估计只有相对深度，尺度未知；而手部关键点有米制 3D 坐标，可用来把估计深度标定到真实尺度，再与渲染机器人的深度逐像素比较。 时间迟滞：借用控制里的概念——可见性状态切换需要越过两个不同的阈值，避免深度在阈值附近抖动时，某个像素一帧可见一帧不可见，造成闪烁。 有效性掩码：部分帧或部分维度可能无效（如某只手缺失），训练时用掩码屏蔽相应损失，与第 3 节对缺失维度的处理一致。
原文
Action speed alignment. To better match the motion speed of the robot data, we slow down EgoVerse and EgoDex trajectories by a factor of two. This doubles the trajectory duration while preserving the spatial path.
译文
动作速度对齐。 为了更好地匹配机器人数据的运动速度，我们将 EgoVerse 和 EgoDex 的轨迹放慢一倍。这使轨迹时长加倍，同时保持空间路径不变。
解释
人手动作通常比遥操作采集的机器人动作快得多。若不处理，同样 32 步的动作块里，人类数据的位移会是机器人数据的数倍，模型会混淆“动作幅度”的含义。放慢 2 倍即把时间轴拉长（例如对 30 Hz 视频插帧或按 15 Hz 解读），空间路径不变，单步位移约减半。这一步对纯 Ego 和 Ego2Robot 数据都执行（4.3.2 节开头已说明）。注意表 3 的“机器人小时数”是在减速之前统计的。
4.4UMI 数据（UMI Data）
4.4.1数据来源（Data Sources）
原文
Hy-UMI-10K (Zhang et al., 2026a) The public release of Hy-UMI-10K contains approximately 250K episodes spanning 2,162 hours of bimanual manipulation. It pairs head- and wrist-camera RGB video with 6-DoF gripper poses, gripper openness, and task descriptions.
译文
Hy-UMI-10K（Zhang et al., 2026a） Hy-UMI-10K 的公开版本包含约 25 万个回合、共 2,162 小时的双臂操作数据。它将头部与腕部相机的 RGB 视频与 6 自由度夹爪位姿、夹爪开度以及任务描述配对。
解释
UMI（Universal Manipulation Interface）是一种手持式数据采集装置：人手握着一个带相机和夹爪的“假夹爪”去操作，通过视觉 SLAM 等方法恢复夹爪 6-DoF 位姿。它介于人类视频与机器人遥操作之间：末端是真实的夹爪（与机器人一致），但没有机器人手臂和关节信息，因此在表 1 的统一表示中只填写 EEF 与夹爪槽位。
4.4.2过滤（Filtering）
原文
Inspired by recent UMI data processing practices (Zhang et al., 2026a; Team et al., 2026), we apply the following filtering procedure. We first perform basic segment cleanup and reject any segment containing a gripper-pose quaternion q with \|q\|_2\le10^{-8}. We then discard segments in which both hands are static, defined by each hand having position variance below 5\times10^{-4}\,\mathrm{m}^2 and rotation variance below 0.1\,\mathrm{rad}^2. We follow the trajectory anomaly filtering procedure described in section 4.2.2 and additionally reject trajectories with excessive linear or angular speeds or abrupt position or orientation jumps between adjacent frames.
译文
受近期 UMI 数据处理实践（Zhang et al., 2026a；Team et al., 2026）启发，我们采用如下过滤流程。首先进行基本的片段清理，剔除任何包含满足 \|q\|_2\le10^{-8} 的夹爪位姿四元数 q 的片段。然后丢弃双手均静止的片段，静止定义为每只手的位置方差低于 5\times10^{-4}\,\mathrm{m}^2 且旋转方差低于 0.1\,\mathrm{rad}^2。我们沿用 4.2.2 节所述的轨迹异常过滤流程，并额外剔除线速度或角速度过大、或相邻帧之间位置或姿态突变的轨迹。
解释
四元数范数检查：合法的旋转四元数是单位向量，\|q\|_2=1。范数接近 0（\le10^{-8}）通常意味着 SLAM 跟踪失败时写入了全零占位值，这样的四元数无法归一化，也不代表任何旋转，必须剔除。静止判定的阈值与 Ego 数据完全相同（见前文的换算：约 2.2 cm、18°）。UMI 依赖视觉 SLAM 定位，跟踪丢失再重定位时容易出现位姿“跳变”，因此额外检查相邻帧突变。
4.5数据过滤与转换统计（Data Filtering and Conversion Statistics）
原文
Table 2 reports dataset-level hours and episode counts before and after filtering, together with retained frame counts, for robot, egocentric human, and UMI data. Table 3 reports the Ego2Robot conversion of EgoDex and EgoVerse only: the filtered human videos used as input, the unique source coverage that completes synthesis, and the robot training data obtained from conversion.
译文
表 2 报告了机器人、第一人称人类和 UMI 数据在过滤前后数据集级别的小时数和回合数，以及保留的帧数。表 3 仅报告 EgoDex 与 EgoVerse 的 Ego2Robot 转换情况：作为输入的已过滤人类视频、完成合成的去重源覆盖，以及转换得到的机器人训练数据。
解释
本节是两张统计表（表 2 在 4.2.1 节，表 3 见上）的“读表说明”。表 2 回答“过滤掉了多少”，表 3 回答“人类视频能转成多少机器人数据”。
原文
Data filtering. After the processing rules above, the robot collection is reduced from 13,867.71 hours across 1,370,003 episodes to 11,302.20 hours across 1,247,656 episodes, comprising 1,101.047 million frames. EgoDex and EgoVerse jointly retain 4,061.35 of 4,640.04 hours and 1,622,756 of 1,818,396 episodes, totaling 438.626 million frames; the retained durations are 772.16 and 3,289.19 hours, respectively. Hy-UMI-10K is reduced from 2,161.74 hours across 250,135 episodes to 2,075.42 hours and 224.146 million frames. Retained UMI trajectories are segmented into multiple training episodes, so the episode count rises to 416,053.
译文
数据过滤。 经过上述处理规则，机器人数据从 1,370,003 个回合、13,867.71 小时减少到 1,247,656 个回合、11,302.20 小时，共 11.01047 亿帧。EgoDex 与 EgoVerse 合计保留了 4,640.04 小时中的 4,061.35 小时、1,818,396 个回合中的 1,622,756 个，共 4.38626 亿帧；二者保留的时长分别为 772.16 和 3,289.19 小时。Hy-UMI-10K 从 250,135 个回合、2,161.74 小时减少到 2,075.42 小时、2.24146 亿帧。保留下来的 UMI 轨迹被切分为多个训练回合，因此回合数增加到 416,053。
解释
保留率：机器人 11302.20/13867.71\approx81.5\%（时长）、91.1\%（回合）——时长保留率低于回合保留率，说明很多删减来自裁剪回合首尾的静止段，而非丢弃整个回合。第一人称 87.5\%（时长）、89.2\%（回合）。UMI 96.0\%（时长），最干净。 UMI 回合数反而增加：过滤时若在轨迹中间发现异常帧，按 4.2.2 节“保留连续有效片段”的原则，一条轨迹会被切成几段，每段算一个回合，所以 25.0 万 \to 41.6 万。 帧率核对：UMI 2075.42\times3600\times30\approx2.24\times10^8，与 224.146M 一致，即 30 FPS。
原文
Ego2Robot conversion. The source-data column of Table 3 is the filtered EgoDex and EgoVerse videos from Table 2. The converted-data column is successful source coverage: the union of intervals, across robot embodiments and processing batches, for which at least one embodiment completes synthesis. Each covered original source episode is counted once, even if only part of it is converted; only the successful intervals contribute to covered duration. The final-data column is the exported robot training set.
译文
Ego2Robot 转换。 表 3 的源数据列即表 2 中已过滤的 EgoDex 与 EgoVerse 视频。转换数据列是成功的源覆盖：在所有机器人本体和处理批次上，至少有一种本体完成合成的时间区间之并集。每个被覆盖的原始源回合只计一次，即使只有其中一部分被转换；只有成功的区间计入覆盖时长。最终数据列是导出的机器人训练集。
解释
这段精确定义了“Converted”列的口径，以免重复计数：若同一段 10 秒视频被成功转换到 3 种机器人上，在“Converted Hours”中只算 10 秒，回合数只算 1；而在 “Final Robot-hours” 中算 30 秒。若一段 60 秒的源回合只有中间 20 秒转换成功，则覆盖时长计 20 秒，回合数计 1。
原文
Completing synthesis requires a selected base configuration and a joint trajectory that satisfy the tracking, joint-limit, joint-discontinuity, and trajectory-completion criteria in Kinematic Alignment, together with base-separation and cross-arm collision checks for bimanual setups. An interval with no such configuration cannot be converted. Failures in subsequent synthesis stages, including visual alignment, likewise omit an interval from successful coverage, so unsuccessful coverage is not attributed solely to kinematic infeasibility.
译文
完成合成要求所选的底座配置和关节轨迹满足运动学对齐中的跟踪、关节限位、关节不连续和轨迹完整性标准，对双臂配置还需通过底座间距与双臂碰撞检查。不存在这样配置的区间无法转换。后续合成阶段（包括视觉对齐）的失败同样会使区间不计入成功覆盖，因此未成功的覆盖不能仅归因于运动学不可行。
解释
这是对“为什么只有约 27% 的源视频被转换”的解释与免责：失败原因有两大类——(1) 运动学上没有可行解（算法 1 返回 \varnothing）；(2) 有可行解，但之后的分割、修复、渲染、深度合成等步骤失败。作者没有给出两类各占多少。
原文
Robot-hours sum usable durations across embodiments, reported before the factor-of-two slowdown in Action Speed Alignment, and robot episodes count the exported training segments of at least 32 action steps. One source episode can therefore yield multiple robot episodes, and the final training volume is larger than the unique source coverage. Across EgoDex and EgoVerse, the pipeline covers 1,101.55 hours from 283,450 unique source episodes and yields 5,633.77 robot-hours across 3,730,513 training episodes, totaling 608.262 million frames.
译文
机器人小时数是各本体可用时长之和，按动作速度对齐中两倍减速之前的时长报告；机器人回合数统计的是导出的、至少包含 32 个动作步的训练片段。因此一个源回合可以产生多个机器人回合，最终训练数据量大于去重的源覆盖。在 EgoDex 与 EgoVerse 上，该流水线覆盖了来自 283,450 个去重源回合的 1,101.55 小时，产出分布在 3,730,513 个训练回合中的 5,633.77 机器人小时，共 6.08262 亿帧。
解释
“至少 32 个动作步”对应模型的动作块长度（32 步，见第 3 节），短于此的片段无法构成一个完整训练样本。放大来源：一个源回合 \to 多种本体 \times 可能被切成多段，所以 28.3 万源回合变成 373 万训练回合（约 13 倍），时长约 5.1 倍。首页图中 “Ego2Robot 5.6K 小时”即此处的 5,633.77。若按减速后的时长计算，则约为 11,268 小时。
5训练（Training）
原文
We train InternW0-\Delta in two stages. The first stage jointly optimizes a pretrained video expert and a randomly initialized action expert to a heterogeneous mixture of robot trajectories. The second stage specializes the resulting checkpoint to a target embodiment and task distribution.
译文
我们分两个阶段训练 InternW0-\Delta。第一阶段在异构的机器人轨迹混合数据上，联合优化一个预训练的视频专家和一个随机初始化的动作专家；第二阶段把得到的检查点专门化到目标本体和任务分布上。
解释
标准的“预训练—后训练”范式。第一阶段（5.1 节）求“广”：用第 4 节约 2 万小时的混合数据学通用的视觉动力学与动作先验；第二阶段（5.2、5.3 节）求“专”：针对某个仿真基准或某台真机微调。所有后训练都从同一个预训练检查点出发。
5.1预训练（Pretraining）
原文
Data and temporal sampling. Pretraining uses a heterogeneous hybrid dataset, including real robot demonstrations (80%), ego-to-robot (Ego2Robot) data (10%), UMI-collected demonstrations (8%), and egocentric (Ego) demonstrations (2%). These data sources cover different robot forms, camera layouts, state conventions, and task vocabularies. Each data source is converted to a canonical 80-dimensional state and action space by its adapter before entering the hybrid dataset. The dataset streams are weighted according to the number of valid start frames, and a trajectory-level balancing mechanism prevents a small number of longer segments from dominating the hybrid dataset. We use fixed time windows for training instead of using complete segments. A training sample contains 33 video frames and a 32-step action block. The video stream and action stream are sampled at a fixed frequency ratio of 4; the most recent observation lags the current observation by 32 action steps, and the anchor point is taken from the beginning of the episode. Images are packed into a 384\times256 training canvas used by the pretraining scheme. We initially pretrain InternW0-\Delta without 4D-aware representation distillation, and then continue pretraining with the auxiliary distillation objective described in Section 3.5 alongside the existing training objectives. During this final phase, each per-GPU mini-batch of 16 samples includes one sample paired with an offline-cached Track4World (Lu et al., 2026) descriptor. The auxiliary distillation loss is applied only to this sample.
译文
数据与时间采样。 预训练使用一个异构混合数据集，包括真实机器人演示（80%）、人到机器人（Ego2Robot）数据（10%）、UMI 采集的演示（8%）以及第一人称（Ego）演示（2%）。这些数据源涵盖不同的机器人形态、相机布局、状态约定和任务词汇。每个数据源在进入混合数据集之前，都由各自的适配器（adapter）转换到规范的 80 维状态与动作空间。各数据流按有效起始帧的数量加权，同时一个轨迹级的均衡机制防止少数较长片段主导混合数据集。训练时我们使用固定时间窗口，而不是完整片段。一个训练样本包含 33 帧视频和一个 32 步动作块。视频流与动作流以固定的频率比 4 采样；最近帧比当前观测滞后 32 个动作步，锚帧取自回合开头。图像被打包到预训练方案所用的 384\times256 训练画布中。我们先在不使用 4D 感知表示蒸馏的情况下预训练 InternW0-\Delta，然后在保留现有训练目标的同时，加入第 3.5 节所述的辅助蒸馏目标继续预训练。在这最后一个阶段，每张 GPU 上由 16 个样本组成的小批量中，有一个样本配有离线缓存的 Track4World（Lu et al., 2026）描述子，辅助蒸馏损失只作用于该样本。
解释
混合比例：80/10/8/2 是采样比例而非数据量比例。对照第 4 节的数据量（机器人约 11.3K h、Ego2Robot 约 5.6K h、UMI 约 2.1K h、Ego 约 4.1K h），机器人数据被上采样，纯 Ego 数据被大幅下采样——因为纯 Ego 画面里是人手，与机器人部署时的视觉差距最大。 按有效起始帧加权：一个回合能切出的训练窗口数 \approx 其帧数减去窗口长度，按这个数加权相当于“每个可用窗口被抽中的概率相等”；但这样长回合会被过度采样，所以再加轨迹级均衡。 时间结构（举例验算）：“33”与“32”相差 1，是“围栏与栏杆”关系——32 步动作覆盖 33 个时间点（第 0 到第 32 步）。频率比 4 表示每 4 个动作步取 1 帧视频，于是这 33 个时间点上实际取到第 0,4,\dots,32 步共 32/4+1=9 帧观测（5.2 节明确写出“33 步轨迹窗口 \to 九帧观测”）。因此表 4 中的 “Video frames 33” 宜理解为 33 个时间步的视频窗口，而非 33 张独立编码的图像。“最近帧”滞后 32 步，即正好一个动作块之前的画面；锚帧则取回合第一帧。 蒸馏的稀疏使用：Track4World 的 4D 特征计算昂贵，因此离线预计算，且每 16 个样本只有 1 个带教师特征，蒸馏损失只在这 1 个样本上计算——以很小的开销注入几何/运动先验。
| Setting（设置） | Value（取值） | 说明 |
| Canonical state/action dimension | 80 | 规范状态/动作维度 |
| Video resolution | 384\times256 | 视频（画布）分辨率 |
| Video frames | 33 | 视频帧数 |
| Action horizon | 32 | 动作块长度 |
| Video-to-action frequency ratio | 4 | 视频与动作的频率比 |
| Recent-frame offset | 32 action steps | 最近帧偏移 |
| Batch size | 16 | 每卡批大小 |
| Gradient accumulation | 1 | 梯度累积步数 |
| Optimizer | AdamW | 优化器 |
| Learning rate | 5\times10^{-5} | 学习率 |
| Weight decay | 1\times10^{-2} | 权重衰减 |
| Learning-rate schedule | 5% warm-up followed by cosine decay | 5% 预热后余弦衰减 |
| Mixed precision | bfloat16 | 混合精度 |
| Video expert | Wan2.2-TI2V-5B (Wan Team, 2025) | 视频专家 |
| Action expert | ActionDiT with random initialization | 动作专家（随机初始化） |
| VLM | RynnBrain1.1-2B (frozen) (Dang et al., 2026) | 视觉语言模型（冻结） |
| Video flow-matching loss weight | 0.5 | 视频流匹配损失权重 |
| Action loss weight (Robot/UMI/Ego2Robot/Ego) | 1.0/0.5/0.1/0.1 | 各数据源的动作损失权重 |
| Causal Imprint loss weight | 0.5 | Causal Imprint 损失权重 |
| Future-feature alignment loss weight | 0.1 | 未来特征对齐损失权重 |
| Distillation loss weight | 0.1 | 蒸馏损失权重 |
原文
Table 4: Pretraining settings.
译文
表 4：预训练设置。
表 4 解读
表分三组：
- 数据形状（前 6 行）：80 维规范空间（表 1）、384\times256 画布、33 帧视频、32 步动作块、频率比 4、最近帧偏移 32 步——均与上一段描述一致。
- 优化（中间 7 行）：每卡 16、无梯度累积，在 256 卡上即全局批 4,096；学习率 5\times10^{-5} 对于 5B 级别的预训练视频模型属于较保守的取值，避免破坏 Wan2.2 的先验；bfloat16 混合精度。
- 模型与损失权重（后 8 行）：视频专家来自 Wan2.2-TI2V-5B；动作专家 ActionDiT 从零训练；VLM 用 RynnBrain1.1-2B 并冻结。动作损失按数据源分权：真机 1.0 > UMI 0.5 > Ego2Robot = Ego 0.1，即动作标签越“间接”（越不像真实机器人动作），权重越低。视频流匹配 0.5、Causal Imprint 0.5、未来特征对齐 0.1、蒸馏 0.1。
原文
Initialization. The video expert model is initialized using Wan2.2-TI2V-5B (Wan Team, 2025). The action expert model is randomly initialized. The visual language encoder is initialized using RynnBrain1.1-2B (Dang et al., 2026) and remains frozen during training. We use two language pathways, T5 (Raffel et al., 2020) and VLM. The two language paths assume different responsibilities during training. Instructions are converted into T5 embeddings for use by the video expert, thus preserving the pre-trained language-video interface of Wan2.2. T5 receives instructions but not the current scene, so its embeddings alone cannot determine which object is being referred to, its position in the camera view, or the progress of the task. To provide this missing observational basis, a valid current view and the same instructions are jointly passed to the RynnBrain1.1-2B vision language model. Its dense hidden states are appended with a proprioceptive token and provided to the action expert.
译文
初始化。 视频专家模型用 Wan2.2-TI2V-5B（Wan Team, 2025）初始化；动作专家模型随机初始化；视觉语言编码器用 RynnBrain1.1-2B（Dang et al., 2026）初始化，并在训练中保持冻结。我们使用两条语言通路：T5（Raffel et al., 2020）与 VLM，二者在训练中承担不同的职责。指令被转换为 T5 嵌入供视频专家使用，从而保留 Wan2.2 预训练好的语言—视频接口。T5 只接收指令而看不到当前场景，因此仅凭其嵌入无法确定指令指的是哪个物体、该物体在相机画面中的位置，或任务进展到了哪一步。为了补上这一缺失的观测依据，我们把一个有效的当前视角与同一条指令一起输入 RynnBrain1.1-2B 视觉语言模型，其稠密隐状态在末尾附加一个本体感觉 token 后提供给动作专家。
解释
与图 1 和第 3.2 节对应。为什么两条语言通路：Wan2.2 是用 T5 文本嵌入训练的，换掉会破坏其“文字 \to 画面”的能力，所以视频侧保留 T5；但 T5 是纯文本编码器，对“拿起左边那个红杯子”这类需要结合画面才能落地的指令无能为力，所以动作侧再用一个看得到画面的 VLM。例如指令“把杯子放进盘子”，VLM 的隐状态里会编码“杯子在画面左下、已被夹住”等信息。冻结 VLM 一方面省显存和计算，另一方面使其输出可以被缓存（第 6.1.1 节的特征缓存正是利用了这一点）。
原文
Implementation and hyperparameters. We pre-train our model on 256 NVIDIA A800 GPUs using bfloat16 mixed precision. The per-GPU batch size is 16, with no gradient accumulation, resulting in an effective global batch size of 4,096. We use the AdamW optimizer with a learning rate of 5\times10^{-5} and a weight decay of 1\times10^{-2}. The learning-rate schedule consists of a 5% warm-up phase followed by cosine decay. The weights for the video, Causal Imprint, and future-feature alignment loss are set to 0.5, 1.0, 0.5, and 0.1, respectively. We use data-source-dependent action loss weights: 1.0 for robot demonstrations, 0.5 for UMI-collected demonstrations, and 0.1 for both ego-to-robot (Ego2Robot) data and egocentric (Ego) demonstrations. Each weight scales only the action loss of samples from the corresponding data category. Pretraining consists of two consecutive phases. We first train for 235K optimization steps without 4D-aware representation distillation. We then continue training for an additional 10K steps, adding the distillation objective described in Section 3.5 with a weight of 0.1 while retaining the existing training objectives. The complete pretraining run comprises 245K optimization steps and takes approximately 14 days. The main hyperparameters are summarized in Table 4.
译文
实现与超参数。 我们在 256 张 NVIDIA A800 GPU 上以 bfloat16 混合精度预训练模型。每卡批大小为 16，不使用梯度累积，有效全局批大小为 4,096。使用 AdamW 优化器，学习率 5\times10^{-5}，权重衰减 1\times10^{-2}。学习率调度为 5% 的预热阶段后接余弦衰减。视频、Causal Imprint 和未来特征对齐损失的权重分别设为 0.5、1.0、0.5 和 0.1。动作损失权重依数据源而定：机器人演示为 1.0，UMI 采集的演示为 0.5，人到机器人（Ego2Robot）数据和第一人称（Ego）演示均为 0.1；每个权重只缩放对应类别样本的动作损失。预训练由两个连续阶段组成：先在不使用 4D 感知表示蒸馏的情况下训练 235K 个优化步；随后在保留现有目标的同时加入第 3.5 节所述、权重为 0.1 的蒸馏目标，再继续训练 10K 步。完整的预训练共 245K 个优化步，耗时约 14 天。主要超参数汇总于表 4。
解释
规模换算：全局批 4,096 \times 245K 步 \approx 10^9 个训练样本（时间窗口）。按 14 天、256 卡计算，约 86,000 GPU 小时，平均每步约 14\times86400/245000\approx4.9 秒。 两阶段：前 235K 步（约 96%）不蒸馏，只在最后 10K 步加入 4D 蒸馏，相当于在已收敛的模型上“微调式”注入几何先验，降低整体开销。 原文不一致之处：本段写“视频、Causal Imprint、未来特征对齐三项损失权重分别为 0.5、1.0、0.5、0.1”——三个名称对应四个数字，显然有遗漏；而表 4 给出的是视频 0.5、Causal Imprint 0.5、未来特征对齐 0.1、蒸馏 0.1，且动作损失（真机）为 1.0。一种合理的解读是原句漏写了“action”：即视频 0.5、动作 1.0、Causal Imprint 0.5、未来特征对齐 0.1，这与表 4 完全吻合。以表 4 为准。
5.2面向仿真的后训练（Post-Training for Simulation）
| Benchmark（基准） | Training split（训练划分） | Views | Resolution | Normalization | Epochs |
| EBench (Gao et al., 2026) | EBench train | 3 | 384\times256 | Z-score | 10 |
| RoboDojo (Chen et al., 2026b) | RoboDojo train | 3 | 384\times256 | Z-score | 10 |
| LIBERO-Plus (Fei et al., 2026) | LIBERO (Liu et al., 2023) train | 2 | 384\times256 | Min–max | 15 |
| RoboTwin 2.0 (Chen et al., 2026c) | Clean | 3 | 384\times256 | Z-score | 10 |
原文
Table 5: Simulation post-training configurations. LIBERO-Plus is used only for evaluation. RoboTwin 2.0 is trained on the clean split and evaluated on the randomized.
译文
表 5：仿真后训练配置。LIBERO-Plus 只用于评测；RoboTwin 2.0 在 clean 划分上训练，在随机化环境上评测。
表 5 解读
列：Benchmark 为仿真基准；Training split 为后训练所用的数据划分；Views 为相机视角数；Resolution 为打包后的画布分辨率；Normalization 为动作/状态的归一化方式；Epochs 为后训练轮数。 要点：(1) 四个基准都统一使用 384\times256 画布，与预训练一致，模型输入结构无需改动；(2) 只有 LIBERO 是单臂、2 个视角（场景 + 腕部），其余三个是双臂、3 个视角（一个全局/头部 + 两个腕部）；(3) LIBERO 用 min–max 归一化（把每维线性缩放到固定区间），其他用 z-score（减均值除标准差），轮数也多一些（15 vs. 10）；(4) 两个基准的“训练集 \neq 评测集”：LIBERO-Plus 没有自己的训练集，模型在标准 LIBERO 上训练、在 LIBERO-Plus 的扰动环境上测试；RoboTwin 2.0 只在干净环境上训练，却在随机化环境上测试。这两种设置都在考察分布外泛化。
原文
We post-train InternW0-\Delta independently on four simulation benchmarks: EBench (Gao et al., 2026), RoboDojo (Chen et al., 2026b), LIBERO-Plus (Fei et al., 2026), and RoboTwin 2.0 (Chen et al., 2026c). Each experiment starts from the same pretrained checkpoint and uses a benchmark-specific data adapter to convert the native observation, state, and action interfaces into our unified representation. Native action dimensions are mapped into the canonical 80-dimensional action space, while dimensions that are not defined for a given embodiment are masked from the training objective.
译文
我们在四个仿真基准上分别独立地后训练 InternW0-\Delta：EBench（Gao et al., 2026）、RoboDojo（Chen et al., 2026b）、LIBERO-Plus（Fei et al., 2026）和 RoboTwin 2.0（Chen et al., 2026c）。每个实验都从同一个预训练检查点出发，并使用基准专属的数据适配器，把原生的观测、状态和动作接口转换为我们的统一表示。原生动作维度被映射到规范的 80 维动作空间，而对给定本体未定义的维度则在训练目标中被掩码屏蔽。
解释
“独立”指四个基准各训一个模型，而不是一个模型同时学四个基准。适配器的作用与预训练时相同（第 4.1 节）：例如 RoboTwin 的 14 维关节动作只填入 80 维中的“左臂 6 关节 + 左夹爪 + 右臂 6 关节 + 右夹爪”对应槽位，其余 66 维在损失中被掩码，不产生梯度。
原文
Unless otherwise stated, we use a batch size of 16, eight data-loading workers per process, bfloat16 mixed precision, and a learning rate of 5\times10^{-5}. Each sample is constructed from a 33-step trajectory window and contains a 32-step action chunk. Visual observations are sampled every four action steps, resulting in nine observation frames for each training sample. Multi-view observations are packed into a common 384\times256 canvas across all four benchmarks. The benchmark-specific configurations are summarized in Table 5.
译文
除非另有说明，我们使用批大小 16、每个进程 8 个数据加载 worker、bfloat16 混合精度和 5\times10^{-5} 的学习率。每个样本由一个 33 步的轨迹窗口构建，包含一个 32 步的动作块。视觉观测每隔 4 个动作步采样一次，因此每个训练样本有 9 帧观测。在全部四个基准上，多视角观测都被打包到一个共同的 384\times256 画布中。各基准的专属配置汇总于表 5。
解释
验算：33 步窗口对应时间点 0,1,\dots,32，每 4 步取一帧得到 0,4,8,\dots,32 共 9 帧。这与预训练的时间结构（频率比 4、32 步动作块）完全一致，保证后训练时模型看到的输入格式不变。
原文
EBench (Gao et al., 2026). EBench is a mobile bimanual manipulation benchmark containing 26 tasks that cover tabletop manipulation, pick-and-place, and long-horizon interaction. The benchmark is designed to test a broad range of manipulation capabilities and generalization factors, including tasks that require coordinated dual-arm manipulation and mobile-base motion. We use the three RGB observations provided by the benchmark, consisting of one external view and two wrist views, and pack them into the common 384\times256 input canvas.
译文
EBench（Gao et al., 2026）。 EBench 是一个移动双臂操作基准，包含 26 个任务，涵盖桌面操作、抓取放置和长时程交互。该基准旨在测试广泛的操作能力和泛化因素，包括需要双臂协调操作和移动底盘运动的任务。我们使用基准提供的三路 RGB 观测（一个外部视角和两个腕部视角），并把它们打包进共同的 384\times256 输入画布。
解释
EBench 的特点是“移动 + 双臂”：机器人不仅要动手臂，还要移动底盘。这正好用上了统一表示中的底盘速度槽位（表 1）。
原文
The control interface contains end-effector targets for both arms, gripper commands, and planar mobile-base motion. We convert each arm pose into the unified end-effector representation, reduce the two finger coordinates of each gripper to a single gripper value, and retain the three-dimensional base motion command. These components are then mapped into their corresponding entries in the canonical action space. We use z-score normalization and post-train for 10 epochs.
译文
其控制接口包含双臂的末端执行器目标、夹爪指令和平面移动底盘运动。我们将每只臂的位姿转换为统一的末端执行器表示，把每个夹爪的两个手指坐标归约为一个夹爪值，并保留三维的底盘运动指令。这些分量随后被映射到规范动作空间中对应的条目。我们使用 z-score 归一化，后训练 10 个 epoch。
解释
两指归约为一个值：仿真中平行夹爪的两根手指各有一个坐标，但它们对称运动，实际只有 1 个自由度，合并后与统一表示中的“夹爪开度”一致。三维底盘运动：平面移动底盘的 (v_x, v_y, \omega_z)——前后、左右平移速度和绕竖直轴的转速。
原文
RoboDojo (Chen et al., 2026b). RoboDojo provides 42 simulation tasks for bimanual manipulation and organizes them along five capability dimensions: generalization, memory, precision, long-horizon execution, and open-vocabulary instruction following. The tasks are designed to evaluate more than short-horizon pick-and-place behavior and include challenging multi-stage and precision-sensitive interactions. For post-training, we use the high camera together with the left and right wrist cameras and pack the three views into a 384\times256 canvas.
译文
RoboDojo（Chen et al., 2026b）。 RoboDojo 提供 42 个双臂操作仿真任务，并沿五个能力维度组织：泛化、记忆、精度、长时程执行和开放词汇指令跟随。这些任务旨在评估短时程抓取放置之外的能力，包含具有挑战性的多阶段和对精度敏感的交互。后训练时，我们使用高位相机以及左右腕部相机，并把三个视角打包进 384\times256 画布。
解释
RoboDojo 的“记忆”维度与本文的稀疏记忆设计（锚帧 + 最近帧，第 3.3 节）直接相关：有些任务需要记住早先看到的信息（例如物体被遮挡前的位置），只看当前帧无法完成。
原文
The standard simulated embodiment uses a 14-dimensional bimanual joint-space interface, with six arm joints and one gripper coordinate for each arm. The benchmark-specific adapter maps the valid joint and gripper channels into the canonical action representation and masks dimensions that are not used by this embodiment. We use z-score normalization and post-train for 10 epochs.
译文
其标准仿真本体使用 14 维的双臂关节空间接口，每只臂包含 6 个关节和 1 个夹爪坐标。基准专属适配器将有效的关节与夹爪通道映射到规范动作表示中，并掩码该本体未使用的维度。我们使用 z-score 归一化，后训练 10 个 epoch。
解释
14 = 2\times(6+1)。与 EBench 的末端空间控制不同，这里是关节空间控制，说明统一表示能同时容纳两种控制方式：EBench 填 EEF 槽位，RoboDojo 填关节槽位。
原文
LIBERO (Liu et al., 2023). LIBERO is a single-arm manipulation benchmark built around a Franka robot and contains four standard task suites: LIBERO-Spatial, LIBERO-Object, LIBERO-Goal, and LIBERO-10. We post-train jointly on demonstrations from these four suites. Each observation contains an external scene view and a wrist view, which are packed into the common 384\times256 input representation.
译文
LIBERO（Liu et al., 2023）。 LIBERO 是围绕 Franka 机器人构建的单臂操作基准，包含四个标准任务套件：LIBERO-Spatial、LIBERO-Object、LIBERO-Goal 和 LIBERO-10。我们在这四个套件的演示上联合后训练。每个观测包含一个外部场景视角和一个腕部视角，二者被打包进共同的 384\times256 输入表示。
解释
四个套件分别考察：Spatial——空间关系（“把左边那个碗放到盘子上”）；Object——不同物体；Goal——同一场景下不同目标；LIBERO-10——长时程任务。这里四个套件合在一起训练一个模型，而不是每个套件单独训练。
原文
The native action consists of a six-dimensional end-effector command and a scalar gripper command, which are mapped into the corresponding entries of the canonical action space. We use min–max normalization and post-train for 15 epochs.
译文
原生动作由一个 6 维末端执行器指令和一个标量夹爪指令组成，它们被映射到规范动作空间的对应条目。我们使用 min–max 归一化，后训练 15 个 epoch。
解释
6 维 EEF 指令 = 3 维位置增量 + 3 维旋转增量（轴角）。LIBERO 的动作本身已经被裁剪在 [-1,1] 附近，min–max 归一化更自然；其他基准关节值分布不规则，用 z-score 更稳。
原文
We evaluate the resulting checkpoint on the LIBERO-Plus robustness setting. While standard LIBERO measures performance close to the post-training distribution, LIBERO-Plus preserves the underlying task semantics while introducing controlled distribution shifts along seven dimensions, including object layout, camera viewpoint, robot initialization, language instruction, lighting, background appearance, and sensor noise. This provides a direct measure of how well the post-trained policy generalizes when the visual, linguistic, and execution conditions deviate from those observed during training.
译文
我们在 LIBERO-Plus 鲁棒性设置上评测所得的检查点。标准 LIBERO 衡量的是接近后训练分布时的性能，而 LIBERO-Plus 在保留底层任务语义的同时，沿七个维度引入受控的分布偏移：物体布局、相机视角、机器人初始状态、语言指令、光照、背景外观和传感器噪声。这能直接衡量当视觉、语言和执行条件偏离训练时所见情况时，后训练策略的泛化能力。
解释
标准 LIBERO 已经接近饱和（许多方法成功率在 95% 以上），区分度不足，所以作者选择 LIBERO-Plus。七个扰动维度中，前三个改变“物理/几何”，语言指令改变“表述”，后三个改变“外观”。第 7 节表 9 会按这七个维度分别报告成功率。
原文
RoboTwin 2.0 (Chen et al., 2026c). RoboTwin 2.0 is a bimanual manipulation benchmark containing 50 tasks for the ALOHA-AgileX embodiment. We use three RGB observations, consisting of one high camera and two wrist cameras, and pack them into a 384\times256 training canvas. The native 14-dimensional action space contains six joint coordinates and one gripper coordinate for each arm, which are mapped to the corresponding bimanual entries of our canonical action representation.
译文
RoboTwin 2.0（Chen et al., 2026c）。 RoboTwin 2.0 是面向 ALOHA-AgileX 本体的双臂操作基准，包含 50 个任务。我们使用三路 RGB 观测（一个高位相机和两个腕部相机），并打包进 384\times256 训练画布。原生的 14 维动作空间包含每只臂的 6 个关节坐标和 1 个夹爪坐标，它们被映射到规范动作表示中对应的双臂条目。
解释
ALOHA-AgileX 是松灵（AgileX）基于 ALOHA 设计的双臂平台。动作接口与 RoboDojo 相同（2\times(6+1)=14 维关节空间）。
原文
Following the Clean2Random evaluation protocol, we post-train exclusively on demonstrations collected under the clean environment configuration and evaluate the same checkpoint under both clean and progressively randomized environments. The randomized evaluation introduces controlled changes in background appearance, lighting, scene clutter, and tabletop height, with the Hard setting combining multiple sources of variation. This setting directly measures whether the policy can retain its manipulation capability when the visual and physical environment deviates from the post-training distribution. We use z-score normalization and post-train for 10 epochs.
译文
遵循 Clean2Random 评测协议，我们只在干净环境配置下采集的演示上后训练，并在干净环境和逐步随机化的环境中评测同一个检查点。随机化评测引入了背景外观、光照、场景杂物和桌面高度的受控变化，其中 Hard 设置组合了多种变化来源。这一设置直接衡量当视觉与物理环境偏离后训练分布时，策略能否保持其操作能力。我们使用 z-score 归一化，后训练 10 个 epoch。
解释
Clean2Random 是一种严格的泛化测试：训练时背景干净、光照一致、桌上没杂物；测试时换背景、换光照、加杂物、改桌高。桌面高度是物理扰动（够取高度变了，单纯“看懂画面”不够），其他是视觉扰动。作者认为预训练视频专家带来的视觉先验能帮助模型对此保持鲁棒，结果见第 7 节。
5.3面向真实机器人的后训练（Post-Training for Real Robots）
原文
Setup. We post-train InternW0-\Delta on 4 robot setups, including two gripper-based ones and two dexterous-hand ones. For gripper-based setups, task-specific datasets are collected on the ARX AC-One real-robot platform and Arx5 single-arm robot. For dexterous-hand setups, we post-train the same pretrained checkpoint on the bimanual Franka+XHand platform and TianJi Marvin+Wuji Hand combination. We have collected 11 tasks across all 4 setups, whose details are summarized in Table 6. The post-training settings for real robots are included in Table 7. It is worth mentioning that all post-training share the same settings and start from the same pretrained checkpoint.
译文
设置。 我们在 4 套机器人配置上后训练 InternW0-\Delta，其中两套使用夹爪，两套使用灵巧手。夹爪配置方面，任务专属数据集分别在 ARX AC-One 真机平台和 Arx5 单臂机器人上采集。灵巧手配置方面，我们在双臂 Franka+XHand 平台和天机（TianJi）Marvin+Wuji Hand 组合上，后训练同一个预训练检查点。我们在全部 4 套配置上共采集了 11 个任务，详情汇总于表 6；真机后训练设置见表 7。值得一提的是，所有后训练都使用相同的设置，并从同一个预训练检查点出发。
解释
四套平台覆盖了“夹爪/灵巧手”\times“单臂/双臂”的不同组合：AC-One（双臂 + 夹爪，带头部与腕部相机）、Arx5（单臂 + 夹爪）、Franka+XHand（双臂 Franka + XHand 灵巧手）、天机 Marvin + Wuji 灵巧手。“所有后训练共享同一设置”意味着没有针对每个任务调参，结果更能反映预训练模型本身的能力。
| Task（任务） | Episodes | Frames | Duration (min) | Epochs |
| AC-One (gripper)（AC-One，夹爪） | ||||
| Luminol reaction（鲁米诺反应） | 162 | 433,715 | 240.95 | 10 |
| Get a drink（取饮料） | 137 | 244,440 | 135.80 | 10 |
| Toast bread（烤面包） | 304 | 311,631 | 173.13 | 10 |
| MOF experiment（MOF 实验） | 350 | 1,173,626 | 652.02 | 10 |
| Arx5 (gripper)（Arx5，夹爪） | ||||
| Magnetic stirrer（磁力搅拌器） | 202 | 66,353 | 36.86 | 10 |
| Place tube（放置试管） | 2,664 | 555,702 | 308.72 | 10 |
| Franka+XHand (dexterous hand)（Franka+XHand，灵巧手） | ||||
| Pour water（倒水） | 50 | 44,704 | 24.84 | 100 |
| Place fruit into box（把水果放进盒子） | 48 | 39,253 | 21.81 | 100 |
| Stack cups（叠杯子） | 54 | 48,264 | 26.81 | 100 |
| TianJi Marvin+Wuji Hand (dexterous hand)（天机 Marvin+Wuji 手，灵巧手） | ||||
| Use dropper（使用滴管） | 101 | 107,703 | 59.84 | 50 |
| Make a sandwich（做三明治） | 101 | 106,731 | 59.30 | 50 |
原文
Table 6: Real-robot datasets used for post-training and evaluation.
译文
表 6：用于后训练与评测的真机数据集。
表 6 解读
列：Episodes 为演示回合数；Frames 为总帧数；Duration 为总时长（分钟）；Epochs 为后训练轮数。按平台分四组，共 11 个任务。 帧率核对：Frames \div (Duration\times60) 即帧率。例如 Luminol reaction：433715/(240.95\times60)\approx30 Hz；Pour water：44704/(24.84\times60)\approx30 Hz——与部署时 30 Hz 控制频率（第 6.2 节）一致。 关键观察：
- 数据量差异极大：MOF experiment（金属有机框架合成实验，多步骤化学操作）有 652 分钟，平均每回合约 652/350\approx1.9 分钟，是长时程任务；Place tube 回合多达 2,664 个，但平均每回合只有约 7 秒，是短而重复的任务。
- 灵巧手任务数据很少：Franka+XHand 三个任务各只有约 50 个回合、20 多分钟，因此轮数加到 100（夹爪任务只要 10），用更多遍历弥补数据量不足；天机平台约 100 回合、50 轮。
- 任务多带“科研实验室”色彩（鲁米诺、MOF、磁力搅拌器、滴管、试管），说明作者关注科学实验自动化场景。
| Setting（设置） | Value（取值） | 说明 |
| Canonical state/action dimension | 80 | 规范状态/动作维度 |
| Video resolution | 384\times256 | 视频（画布）分辨率 |
| Video frames | 33 | 视频帧数 |
| Action horizon | 32 | 动作块长度 |
| Video-to-action frequency ratio | 4 | 视频与动作的频率比 |
| Recent-frame offset | 32 action steps | 最近帧偏移 |
| Batch size | 16 | 每卡批大小 |
| Gradient accumulation | 1 | 梯度累积步数 |
| Optimizer | AdamW | 优化器 |
| Learning rate | 5\times10^{-5} | 学习率 |
| Weight decay | 1\times10^{-2} | 权重衰减 |
| Learning-rate schedule | 5% warm-up followed by cosine decay | 5% 预热后余弦衰减 |
| Mixed precision | bfloat16 | 混合精度 |
| Video expert | Wan2.2-TI2V-5B (Wan Team, 2025) | 视频专家 |
| Action expert | ActionDiT | 动作专家（来自预训练检查点） |
| VLM | RynnBrain1.1-2B (frozen) (Dang et al., 2026) | 视觉语言模型（冻结） |
| Video loss weight | 0.5 | 视频损失权重 |
| Action loss weight | 1.0 | 动作损失权重 |
| Causal Imprint loss weight | 0.5 | Causal Imprint 损失权重 |
| Future-feature alignment loss weight | 0.1 | 未来特征对齐损失权重 |
| Distillation loss weight | 0.1 | 蒸馏损失权重 |
原文
Table 7: Post-training settings for real robots.
译文
表 7：真机后训练设置。
表 7 解读
与表 4（预训练）逐行对比，几乎完全相同，只有三处差别：(1) Action expert 不再标注“random initialization”，因为它已从预训练检查点加载；(2) 动作损失权重只有一个值 1.0——后训练数据全部是目标机器人的真机演示，不再区分数据源；(3) “Video flow-matching loss weight”简写为 “Video loss weight”，数值仍为 0.5。值得注意的是，后训练保留了所有辅助目标（视频生成、Causal Imprint、未来特征对齐、4D 蒸馏），说明作者认为这些表示学习目标在小数据微调时仍然有益，而不是只在预训练阶段起作用。学习率也与预训练相同（5\times10^{-5}），没有像常见做法那样调低。
原文
RTC post-training. During real-robot post-training, we train the policy to predict 32-step action chunks. Following training-time RTC (Black et al., 2025d), we simulate inference delay by sampling a committed prefix length d\sim\mathcal{U}\{0,\dots,16\} for each full-length training sample; for padded samples, the maximum prefix length is capped by the valid sequence length to retain at least one supervised suffix action. The first d ground-truth actions remain clean, with their per-token flow timesteps set to zero, while noise is applied to the remaining actions. The action loss is computed only over valid suffix tokens and action dimensions. This trains the policy to predict an action continuation conditioned on a known prefix. At deployment, the prefix is supplied by the previously generated plan, as described in Section 6.2.
译文
RTC 后训练。 在真机后训练中，我们训练策略预测 32 步的动作块。遵循训练时 RTC（training-time RTC，Black et al., 2025d），我们为每个完整长度的训练样本采样一个已提交前缀长度 d\sim\mathcal{U}\{0,\dots,16\}，以模拟推理延迟；对于填充过的样本，最大前缀长度受有效序列长度限制，以保证至少保留一个有监督的后缀动作。前 d 个真值动作保持干净，其逐 token 的流时间步设为零，而其余动作被加噪。动作损失只在有效的后缀 token 和动作维度上计算。这使策略学会在已知前缀的条件下预测动作的后续部分。部署时，前缀由上一次生成的计划提供，详见第 6.2 节。
解释
RTC（Real-Time Chunking，实时分块）要解决的问题：机器人一边执行旧动作块一边推理新动作块，推理需要时间，等新块出来时旧块的前几步已经执行（“已提交”，committed）了，新块必须与这些已执行的动作衔接，否则会出现抖动或跳变。 训练时模拟：\mathcal{U}\{0,\dots,16\} 是 0 到 16 的离散均匀分布。例如采到 d=5，就把 32 步动作的前 5 步当作“已知”，保持真值不加噪（流匹配中时间步为 0 表示“完全干净”），只对后 27 步加噪并让模型去噪，损失也只在这 27 步上计算。这样模型学会“给定开头，续写后面”。d 最大为 16，对应部署时每 16 步重规划一次（第 6.2 节）。 填充样本：回合末尾的窗口可能不足 32 步，用填充补齐；此时 d 的上限要再减小，确保至少还有 1 个真实动作需要预测。 与推理时 RTC 的区别：原始 RTC（Black et al., 2025c）在推理时用基于梯度的引导（guidance）把采样拉向前缀，计算贵且与编译不兼容；训练时 RTC 把这个能力直接训练进模型，推理时只需把前缀当作干净输入即可。
6基础设施（Infrastructure）
6.1面向模型开发的训练基础设施（Training Infrastructure for Model Development）
原文
During model iteration, we identified two main sources of overhead: repeated extraction of visual features from samples revisited across epochs, and the compute and activation memory required by the MoT backbone. We address these costs at complementary stages of the training pipeline. A unified cache reuses the outputs of the frozen VAE and VLM, while layerwise compilation and checkpointing improve the execution of the MoT backbone. Together, these optimizations reduce redundant encoder work and allow the backbone to be configured for either throughput or activation memory.
译文
在模型迭代过程中，我们发现了两个主要的开销来源：一是跨 epoch 被反复访问的样本需要重复提取视觉特征；二是 MoT 主干所需的计算量和激活显存。我们在训练流水线中互补的两个环节处理这些开销：统一缓存复用冻结的 VAE 与 VLM 的输出；逐层编译与检查点技术则改进 MoT 主干的执行。两者结合，减少了冗余的编码器计算，并允许将主干配置为偏重吞吐量或偏重激活显存。
解释
本节是工程优化，目标是让“试架构、调超参”更快。两类开销对应两种手段：
- 输入端：VAE 与 VLM 都是冻结的，同一个样本无论第几个 epoch 编码结果都一样，重复计算纯属浪费 \Rightarrow 缓存（6.1.1 节）。后训练常跑 10–100 个 epoch（表 5、表 6），缓存收益很大。
- 主干：30 层双流 MoT 计算重、激活占显存多 \Rightarrow 逐层编译提速、分组激活检查点省显存（6.1.2 节）。二者是“速度换显存”的两端，可按需切换。
6.1.1特征缓存（Feature Caching）
原文
Figure 8: Feature caching for exploratory training. The Cache Manager serves VAE latents and VLM contexts to training through a common interface for online and offline materialization, reducing repeated feature extraction during model development.
译文
图 8：面向探索性训练的特征缓存。缓存管理器（Cache Manager）通过统一接口为训练提供 VAE 潜变量和 VLM 上下文，支持在线和离线两种物化方式，减少模型开发过程中重复的特征提取。
图 8 解读
图分上下两部分，对应两种“物化”（materialization，即把特征实际计算并存下来）策略：
- 上：Online Cache Training（在线缓存训练）。Training data loader（训练数据加载器）取出 Current sample（当前样本），分两路经 VAE encoder 与 Frozen VLM encoder（冻结 VLM 编码器）得到 VAE latent 与 VLM context，送入中间的 Cache Manager。管理器内部有三项功能：Key generation（生成键，式 (25)）、Metadata validation（元数据校验）、Hit/miss/fallback（命中/未命中/回退）。右侧是两级存储：In-memory cache（内存缓存，绿色）与 Disk cache（磁盘缓存，橙色）。箭头“memory hit”“disk hit”表示先查内存、再查磁盘；底部“insert into”表示新算出的特征写入内存，“capacity limit”表示内存容量满时落盘。注意：在线模式下，编码器只在未命中时才真正运行，图中把它们画在流程里是为了表示这条回退路径。
- 左下：Offline Cache（离线缓存）。Dataset samples（数据集样本）经 Offline precompute（离线预计算，内含同样的两个编码器）后，由 Cache Manager 生成键、校验元数据并执行 Shard write/update（分片写入/更新），以 shard writing 写成 Persistent shards（持久化分片）。
- 右下：Online Training（在线训练）。训练时数据加载器直接从持久化分片读取特征作为 Training model input（模型训练输入），完全不运行编码器。
原文
For a training sample x_i, let
z_i = E_{\text{VAE}}(x_i), \qquad h_i = E_{\text{VLM}}(x_i, p_i, s_i), \tag{24}
where z_i is the video latent, h_i is the VLM context, and (p_i, s_i) denote the task prompt and state. Because the same samples are revisited during training, repeatedly evaluating the frozen encoders expends computation without changing these representations. Feature caching therefore aims to amortize encoding across training steps while preserving preprocessing, temporal alignment, camera ordering, and model semantics. 译文
对一个训练样本 x_i，记
z_i = E_{\text{VAE}}(x_i), \qquad h_i = E_{\text{VLM}}(x_i, p_i, s_i), \qquad (24)
其中 z_i 是视频潜变量，h_i 是 VLM 上下文，(p_i, s_i) 表示任务提示词与状态。由于训练中会反复访问相同的样本，反复运行冻结编码器会耗费计算，却不会改变这些表示。因此，特征缓存的目标是把编码开销分摊到多个训练步上，同时保持预处理、时间对齐、相机顺序和模型语义不变。 解释
式 (24) 只是把两个冻结编码器写成确定性函数：E_{\text{VAE}} 只依赖图像，E_{\text{VLM}} 还依赖提示词 p_i 与状态 s_i（第 5.1 节：VLM 输入当前视角 + 指令，其输出再附加本体 token）。“冻结 + 确定性”是能缓存的前提：同样的输入永远得到同样的输出。如果训练中对图像做随机数据增强（裁剪、颜色抖动），输入每次都不同，缓存就失效了——这正是 6.1.3 节提到的“随机输入使特征无法复用”的情形。 “保持语义不变”的含义：缓存必须与“现场计算”完全等价。例如缓存时若相机拼图的顺序（左腕/右腕）与训练时不同，或者时间帧没对齐，都会让模型悄悄学到错的东西，这类错误不会报错，所以需要后文的键与元数据校验。
原文
Figure 8 shows the Cache Manager between the data loader, feature encoders, and storage backends. Built on LiteGen (contributors, 2026), it performs lookups, validates artifact metadata, dispatches reads and writes, and records hits, misses, and fallbacks. To prevent reuse across incompatible data or encoder configurations, each artifact is identified by its sample and representation provenance. A representative key is
\text{key} = \mathrm{hash}(D, e, k, v, P, M), \tag{25}
where D, e, k, and v identify the dataset version, episode, temporal chunk, and camera view, and P and M identify the preprocessing and model versions. VLM artifacts must additionally account for any prompt or state inputs that affect h_i. Metadata validation rejects incompatible or corrupted artifacts; an online miss can then fall back to encoding rather than silently consuming an invalid feature. 译文
图 8 展示了位于数据加载器、特征编码器与存储后端之间的缓存管理器。它基于 LiteGen（contributors, 2026）构建，负责查找、校验产物（artifact）元数据、分派读写，并记录命中、未命中与回退情况。为了防止在不兼容的数据或编码器配置之间误用，每个产物都由其样本来源与表示来源共同标识。一个代表性的键为
\text{key} = \mathrm{hash}(D, e, k, v, P, M), \qquad (25)
其中 D、e、k、v 分别标识数据集版本、回合、时间块和相机视角，P 与 M 标识预处理版本和模型版本。VLM 产物还必须额外考虑任何影响 h_i 的提示词或状态输入。元数据校验会拒绝不兼容或损坏的产物；此时在线模式下的未命中可以回退到现场编码，而不是悄无声息地使用一个无效特征。 解释
式 (25) 的设计思想是“内容寻址”：把决定特征内容的所有因素都放进哈希。前四项回答“是哪个样本的哪段、哪个视角”（数据来源），后两项回答“用什么方法算的”（表示来源）。举例：若把画布从 384\times256 改成别的尺寸，预处理版本 P 变化，旧缓存的键自然对不上，不会被误用；若换了 VLM 检查点，M 变化同理。对 VLM 而言，同一张图配不同的指令或状态会得到不同的 h_i，所以键里还要包含 p_i、s_i（或其哈希）。 回退（fallback）：校验失败时不报错退出，而是现场重新编码——保证正确性优先，代价只是这一次慢一点。缓存管理器记录命中率等统计，便于判断缓存是否生效。
原文
The same artifact contract supports two materialization strategies. In online caching, the manager first checks memory and then disk for each sample. A miss invokes the corresponding VAE or frozen VLM encoder, after which the feature is inserted into memory and, when needed, persisted to disk. Entries are thus populated as the dataset is traversed: this avoids a separate preprocessing job, although the first pass still pays the encoding cost. Asynchronous persistence limits the impact of writes on training. In offline caching, batched encoder inference produces persistent feature shards before training begins. A manifest records artifact keys, coverage, tensor shapes and data types, preprocessing versions, and model fingerprints; a startup check validates the manifest and index. The one-time preprocessing cost can then be amortized over subsequent epochs and repeated experiments using the same data and encoder versions.
译文
同一套产物约定支持两种物化策略。在在线缓存中，管理器对每个样本先查内存、再查磁盘；未命中时调用相应的 VAE 或冻结 VLM 编码器，然后把特征插入内存，必要时持久化到磁盘。因此缓存条目随着遍历数据集而逐步填充：这免去了单独的预处理作业，尽管第一遍仍需付出编码成本。异步持久化限制了写盘对训练的影响。在离线缓存中，批量的编码器推理在训练开始前就生成持久化的特征分片。一个清单（manifest）记录产物键、覆盖范围、张量形状与数据类型、预处理版本和模型指纹；启动时的检查会校验清单与索引。这一次性的预处理成本随后可以在后续 epoch 以及使用相同数据与编码器版本的重复实验中摊销。
解释
两种策略的取舍：
- 在线：“边训边存”，适合快速试验——不用先花几小时预处理，第 2 个 epoch 起就能受益；异步写盘避免 I/O 阻塞 GPU。缺点是首个 epoch 没有加速。
- 离线：“先存后训”，适合同一份数据要被多次实验反复使用的场景（如在 LIBERO 上调 10 组超参）。清单相当于“目录 + 指纹”，启动时一次性检查，比逐样本校验更省事。
6.1.2逐层 MoT 优化（Layerwise MoT Optimization）
原文
The MoT backbone contains 30 blocks. In each block, a video expert and an action expert update separate token streams while sharing mixed self-attention. The experimental configuration uses a 3,072-dimensional Wan video stream and a 1,024-dimensional action stream; the latter also attends to text, the current VLM context, and proprioceptive tokens. Our objective is to improve the throughput and memory efficiency of this backbone while preserving its attention routing and intended gradients.
译文
MoT 主干包含 30 个块。在每个块中，视频专家和动作专家各自更新独立的 token 流，同时共享混合自注意力。实验配置使用 3,072 维的 Wan 视频流和 1,024 维的动作流；后者还会关注文本、当前 VLM 上下文和本体感觉 token。我们的目标是在保持注意力路由与预期梯度不变的前提下，提升该主干的吞吐量和显存效率。
解释
回顾第 3.6 节：两个专家参数不共享，只在注意力这一步把 token 拼在一起（受掩码约束）。“保持注意力路由”指优化不能改变“谁能看到谁”（例如未来视频 token 不能被动作 token 看到）；“保持预期梯度”指优化后反向传播的梯度必须与原始实现一致——后文正是因为某种组合导致梯度错误而禁用了它。
原文
Figure 9: Layerwise compilation of the two-stream MoT backbone. An eager orchestrator invokes independently compiled layers and groups three consecutive layers for external non-reentrant checkpointing when memory reduction is required. VLM contexts are padded before action cross-attention.
译文
图 9：双流 MoT 主干的逐层编译。一个 eager 模式的编排器调用各自独立编译的层；在需要降低显存时，将连续三层编为一组，做外部的非重入（non-reentrant）激活检查点。VLM 上下文在进入动作交叉注意力之前先做填充。
图 9 解读
- 上方一排：layer 0、1、2 \dots 29 共 30 层，每层内部自上而下为 Video Expert（视频专家，蓝）\to Mixed Attention（混合注意力，紫）\to Action Expert（动作专家，橙）。每层外的灰色虚线框标注“Layerwise Inductor Graph”，表示每一层被单独编译成一个 PyTorch Inductor 计算图。
- 紫色虚线框：圈住 layer 0–2，标注“Groupwise Activation Checkpointing”（分组激活检查点），表示每三层组成一个检查点区域。从它引出的灰色箭头指向右侧的“\times Disable CUDA Graph”，表示走检查点路径时禁用 CUDA Graph。
- 右下（绿色）：“CUDA Graph Capture / Triton Fusion Compile”下方的 layer 0 \to layer 1 \to layer n，表示吞吐优先模式下，编译后的层（Triton 融合算子）再被 CUDA Graph 捕获、整体重放。
- 左下（蓝框）：Eager Orchestrator 的职责——Data Loading（数据加载）、Tokenization（分词/token 化）、Scheduling（调度）、Loss & Optimization（损失与优化）；上方的绿色双向箭头“ZeRO Communication / Compute overlap”表示在层与层之间重叠 ZeRO 的通信与计算。
原文
As illustrated in Figure 9, we compile each MoT layer as an independent PyTorch Inductor graph and invoke the layers from an eager orchestrator. Layer boundaries constrain recompilation, allow per-layer profiling, and retain opportunities to overlap ZeRO communication with computation. We compile supported regions while leaving operations that Inductor cannot lower in eager execution. Mixed attention uses PyTorch FlexAttention with a 64-token block size; constructing the block mask outside the compiled layer keeps the causal and stream-specific routing rules consistent across execution modes. To stabilize the compiled action-layer shapes, we pad VLM contexts and validity masks to 640 tokens. The current LIBERO (Liu et al., 2023) cache reaches 614 tokens after appending the proprioceptive token; added positions are masked, and longer contexts are rejected rather than truncated.
译文
如图 9 所示，我们把每个 MoT 层编译为一个独立的 PyTorch Inductor 图，并由一个 eager 编排器依次调用这些层。以层为边界可以限制重新编译的范围、支持逐层性能剖析，并保留 ZeRO 通信与计算重叠的机会。我们编译受支持的区域，而把 Inductor 无法下降（lower）的算子留在 eager 模式执行。混合注意力使用块大小为 64 个 token 的 PyTorch FlexAttention；在编译层之外构建块掩码（block mask），使因果规则与按流区分的路由规则在不同执行模式下保持一致。为了稳定编译后动作层的张量形状，我们把 VLM 上下文和有效性掩码填充到 640 个 token。当前 LIBERO（Liu et al., 2023）缓存在附加本体感觉 token 后达到 614 个 token；新增位置被掩码屏蔽，更长的上下文会被拒绝而非截断。
解释
术语：
- eager 模式：PyTorch 默认的逐行执行方式，灵活但每个算子单独启动 GPU kernel，开销大。Inductor 是
torch.compile的后端，把一段计算图融合、生成高效的 Triton kernel。“lower”指把高层算子翻译成底层 kernel。 - 为什么逐层编译而非整体编译：整模型编译耗时长，任何地方的改动都触发全局重编译；以层为单位，30 层结构相同，编译一次即可复用，出问题也容易定位。
- ZeRO：DeepSpeed 的分布式训练技术，把参数/梯度/优化器状态切分到多卡，需要在层与层之间收集参数；层边界是插入通信并与计算重叠的天然位置。
- FlexAttention：PyTorch 中可自定义掩码的注意力实现，按 64 token 的块判断“整块可见/整块不可见/部分可见”，跳过整块被屏蔽的计算。
原文
For throughput-oriented training, the reduce-overhead mode uses layerwise compilation with CUDA Graph capture where eligible. When activation memory is the limiting factor, the eager orchestrator instead places three consecutive compiled layers inside each external non-reentrant checkpoint region. This recomputes the grouped activations during backward while retaining independent compiler graphs for individual layers; the expert-internal and eager mixed-attention checkpoint switches are disabled for this configuration. CUDA Graph capture is also disabled on the checkpointed path because its interaction with AOTAutograd and non-reentrant checkpointing produced incorrect gradients in validation.
译文
对于以吞吐量为导向的训练，reduce-overhead 模式在可行之处结合逐层编译与 CUDA Graph 捕获。当激活显存成为瓶颈时，eager 编排器改为把连续三个已编译层放进一个外部的非重入检查点区域。这样在反向传播时会重新计算这一组的激活，同时保留每一层各自独立的编译图；在这种配置下，专家内部的检查点开关和 eager 混合注意力的检查点开关都被关闭。检查点路径上也禁用 CUDA Graph 捕获，因为在验证中发现，它与 AOTAutograd 及非重入检查点的交互会产生错误的梯度。
解释
两种模式：
- 吞吐优先（reduce-overhead 是
torch.compile的一个模式名）：CUDA Graph 把一串 kernel 启动“录制”下来，之后一次性重放，省去 CPU 逐个发射 kernel 的开销，对小 batch 尤其有效。 - 显存优先：激活检查点（activation checkpointing）只保存每组的输入，反向时重新前向计算组内激活，用约多一次前向的计算换显存。三层一组是折中：组越大省得越多、重算越多。“非重入”（non-reentrant）是 PyTorch 较新的检查点实现，对复杂图更稳健。为避免“检查点里套检查点”，原有更细粒度的检查点开关全部关闭。
torch.compile 中负责生成反向图的组件）+ 非重入检查点三者组合时梯度出错——作者在验证中发现，因此直接禁用。这呼应了前文“保持预期梯度”的目标：正确性优先于速度。6.1.3训练效率（Training Efficiency）
原文
The proposed optimizations can be enabled independently according to the data characteristics and resource constraints at different stages of model development. On LIBERO (Liu et al., 2023) and RoboTwin (Chen et al., 2026c), combining VAE/VLM feature caching with the workload-specific layerwise MoT configuration yields end-to-end training throughput speedups of 3.02\times and 2.11\times, respectively, over the corresponding unoptimized baselines. When stochastic inputs preclude feature reuse, or when the dataset makes cache materialization impractical, the throughput-oriented layerwise MoT optimization remains applicable on its own and improves end-to-end throughput by 20–30%. These optimizations reduce the time for architecture and hyperparameter exploration across training regimes.
译文
上述优化可以根据模型开发不同阶段的数据特点和资源约束独立启用。在 LIBERO（Liu et al., 2023）和 RoboTwin（Chen et al., 2026c）上，将 VAE/VLM 特征缓存与针对负载定制的逐层 MoT 配置结合，相对于对应的未优化基线，端到端训练吞吐量分别提升 3.02\times 和 2.11\times。当随机输入使特征无法复用，或数据集规模使缓存物化不现实时，以吞吐为导向的逐层 MoT 优化仍可单独使用，使端到端吞吐提升 20–30%。这些优化缩短了在不同训练方案下进行架构与超参数探索的时间。
解释
数字解读：LIBERO 加速更多（3.02 vs. 2.11），可能因为 LIBERO 只有 2 个视角、序列较短，编码器开销在总时间中占比更高，缓存收益更明显（原文未解释原因）。由此可估算：若单独的 MoT 优化贡献约 1.2–1.3 倍，则缓存在 LIBERO 上贡献约 3.02/1.25\approx2.4 倍——说明冻结编码器的重复计算是此前最大的瓶颈。 适用范围：缓存只适用于后训练这类“数据小、epoch 多、无随机增强”的场景；在 2 万小时的预训练中，数据几乎不重复访问，缓存无用武之地，此时只能靠 MoT 优化拿到 20–30%。注意这里报告的都是开发阶段的效率，没有给出对 14 天预训练的影响。
6.2真机部署（Real-Robot Deployment）
原文
Deployment setup. We deploy InternW0-\Delta with inference running locally on a single NVIDIA RTX 5090 GPU with 32 GiB of memory and a control rate of 30 Hz. The observation configuration varies by platform: AC-One uses one head camera and two wrist cameras; Arx5 uses one wrist camera and two external cameras; bimanual Franka+XHand uses a single external camera; and TianJi Marvin+Wuji Hand uses one head camera and one wrist camera.
译文
部署设置。 我们部署 InternW0-\Delta 时，推理在本地的单张 32 GiB 显存的 NVIDIA RTX 5090 GPU 上运行，控制频率为 30 Hz。各平台的观测配置不同：AC-One 使用一个头部相机和两个腕部相机；Arx5 使用一个腕部相机和两个外部相机；双臂 Franka+XHand 使用单个外部相机；天机 Marvin+Wuji Hand 使用一个头部相机和一个腕部相机。
解释
消费级显卡部署：RTX 5090 是消费级 GPU，32 GiB 显存需要容纳 5B 视频专家 + 动作专家 + 2B VLM（bfloat16 下仅权重就约 15 GB）。由于推理时不生成未来视频（第 3.8 节），计算量远小于训练。 相机配置差异：1 到 3 个视角不等，正是第 3.2 节“组合算子 \Pi 把多视角拼到统一画布”所要支持的场景。
原文
Asynchronous execution strategy. Asynchronous execution requires each new action chunk to remain consistent with actions already committed to execution. Existing strategies address this requirement through action blending, inference-time guidance, or training-time prefix conditioning. A recent empirical study of real-time World Action Models compares these approaches and documents their trade-offs in precision, smoothness, and execution efficiency (Motubrain Team, 2026).
译文
异步执行策略。 异步执行要求每个新动作块与已经提交执行的动作保持一致。现有策略通过动作混合（action blending）、推理时引导或训练时前缀条件化来满足这一要求。近期一项关于实时世界动作模型的实证研究比较了这些方法，并记录了它们在精度、平滑性和执行效率上的权衡（Motubrain Team, 2026）。
解释
三类方法：(1) 动作混合——新旧动作块在重叠部分加权平均（如时间集成），简单但会让动作变“钝”、损失精度；(2) 推理时引导——原始 RTC，采样时用梯度把输出拉向已执行前缀，效果好但每步要额外反向传播、慢且难编译；(3) 训练时前缀条件化——训练时 RTC，把前缀直接作为干净输入（第 5.3 节）。本文选第三种。
原文
We use the prefix-conditioned policy trained in Section 5.3, supplying committed actions as clean inputs during sampling. This avoids additional gradient-based RTC guidance (Black et al., 2025c) and is compatible with our compiled deployment pipeline.
译文
我们使用第 5.3 节训练的前缀条件化策略，在采样过程中把已提交的动作作为干净输入提供给模型。这避免了额外的基于梯度的 RTC 引导（Black et al., 2025c），并与我们经过编译的部署流水线兼容。
解释
“与编译兼容”是关键：基于梯度的引导需要在推理时做反向传播，动态性强，不利于下文的固定形状编译与 CUDA Graph 重放；前缀条件化只是“把一部分输入换成已知值”，计算图形状不变。
原文
The controller retains a 32-step prediction horizon and launches a single background inference request every 16 execution steps while the remaining actions of the current plan execute. The worker receives a fresh observation and a temporally aligned prefix from the previous plan. Prefix tokens are held clean at timestep zero and re-clamped to the supplied actions throughout sampling. The prefix length is estimated conservatively from recent inference delays and capped at the trained maximum of 16 steps.
译文
控制器保持 32 步的预测时域，每执行 16 步就在后台发起一次推理请求，同时当前计划的剩余动作继续执行。推理 worker 接收一份新的观测，以及从上一计划中按时间对齐取出的前缀。前缀 token 在时间步 0 保持干净，并在整个采样过程中被反复钳位（re-clamp）回所提供的动作。前缀长度根据最近的推理延迟保守估计，上限为训练时的最大值 16 步。
解释
时间线（举例）：设在第 0 步拿到计划 A（32 步）。执行到第 16 步时发起新请求，此时 A 还剩 16 步可执行。假设推理耗时约 5 步（约 167 ms），则新计划 B 返回时 A 已多执行 5 步——这 5 步就是“已提交前缀”，d=5。B 的前 5 步被固定为 A 中对应的动作，模型只生成其后的部分，衔接平滑。 re-clamp：扩散/流匹配采样有多个去噪步，每一步后都把前缀位置强制改回给定值，防止数值漂移。 保守估计：d 宁大勿小——若估小了，新计划开头会与实际已执行的动作冲突。上限 16 与训练时 \mathcal{U}\{0,\dots,16\} 一致，超过训练范围模型没有见过。
原文
Inference optimization. Asynchronous inference must complete within a bounded time window. After a replan is issued, the controller must receive the next action chunk before the remaining 16 actions are exhausted. At 30 Hz, this window is 533 ms; observation transport, policy inference, prefix alignment, and controller-side command dispatch all consume it, and robot-side scheduling jitter reduces the remaining margin. The policy must therefore meet a round-trip latency constraint, not merely attain high nominal throughput.
译文
推理优化。 异步推理必须在有限的时间窗口内完成。发起重规划之后，控制器必须在剩余 16 个动作执行完之前收到下一个动作块。在 30 Hz 下，这个窗口是 533 ms；观测传输、策略推理、前缀对齐和控制器端的指令下发都要占用这段时间，机器人端的调度抖动还会进一步压缩余量。因此策略必须满足往返延迟约束，而不仅仅是达到较高的名义吞吐量。
解释
验算：16/30\,\text{Hz}=0.533 s =533 ms。这是硬性截止时间：超时则机器人没有动作可执行，只能停顿等待。往返延迟 vs. 吞吐：吞吐量衡量“单位时间处理多少请求”（批处理可以提高），而这里每次只有一个请求，关心的是单个请求从发出到返回的时间（RTT）。下文表 8 显示，未优化时 RTT 为 780.5 ms，超出 533 ms 的预算，因此这些优化是部署的必要条件，而不只是锦上添花。
原文
At inference, InternW0-\Delta executes the action-generation path of the directed MoT. The runtime first isolates policy inference in a separate rclpy-free process, preventing ROS callbacks, timers, and Python GIL scheduling in the robot node from interfering with CUDA launch execution. The remaining runtime exploits two invariants of this path. First, conditioning features and their attention K/V projections are fixed within one action invocation and are reused across diffusion steps. Second, the action hot path has fixed tensor shapes for a given deployment configuration. Cached K/V tensors are packed across layers, groups of consecutive MoT action layers are compiled as fixed-shape callables, and CUDA Graph Trees replay these groups to reduce launch overhead. These options do not change the model inputs, diffusion schedule, attention semantics, action interface, or RTC prefix contract.
译文
推理时，InternW0-\Delta 执行有向 MoT 中的动作生成路径。运行时首先把策略推理隔离到一个不依赖 rclpy 的独立进程中，防止机器人节点里的 ROS 回调、定时器和 Python GIL 调度干扰 CUDA kernel 的启动执行。其余的运行时优化利用了这条路径的两个不变性：第一，条件特征及其注意力 K/V 投影在一次动作调用内是固定的，可以在各个扩散步之间复用；第二，对于给定的部署配置，动作热路径（hot path）的张量形状是固定的。我们将缓存的 K/V 张量跨层打包，把连续的若干 MoT 动作层编译为固定形状的可调用对象，并用 CUDA Graph Trees 重放这些层组以降低启动开销。这些选项不改变模型输入、扩散调度、注意力语义、动作接口或 RTC 前缀约定。
解释
进程隔离：rclpy 是 ROS 2 的 Python 客户端库。机器人节点里有大量回调和定时器，与推理共用一个 Python 进程时会争夺 GIL（全局解释器锁），导致 CUDA kernel 的发射被打断、延迟抖动。拆到独立进程后两者互不干扰——表 8 显示这一步就把 RTT 减半。 不变性一（K/V 缓存）：推理时视频专家只处理已观测的帧（无未来视频），其输出及 VLM 上下文在一次动作生成中不变。流匹配需要多个去噪步，每步只有动作 token 在变，所以视频与上下文 token 的 K/V 只需算一次，后续去噪步直接复用——与大语言模型的 KV cache 同理。 不变性二（固定形状）：同一台机器人的相机数、动作维度、前缀长度上限都固定，适合编译和 CUDA Graph（CUDA Graph 要求形状和内存地址固定）。最后一句强调这些都是“纯工程优化”，数学上与原模型等价——表 8 的成功率几乎不变印证了这一点。
| Configuration（配置） | Round-trip time (ms) \downarrow | Speedup | Success rate (LIBERO-Plus, %) |
| Standard runtime（标准运行时） | 780.5 | 1.00\times | 92.78 |
| + process isolation（进程隔离） | 374.1 | 2.09\times | 92.67 |
| + feature caching & compilation（特征缓存与编译） | 249.8 | 3.12\times | 92.46 |
| + context caching（上下文缓存） | 217.3 | 3.59\times | 92.41 |
| + grouped action execution（分组动作执行） | 186.2 | 4.19\times | 92.33 |
| + CUDA-graph replay（CUDA Graph 重放） | 152.8 | 5.11\times | 92.23 |
原文
Table 8: Cumulative inference-latency ablation on dexterous-hand deployment. Success rates are from separate LIBERO-Plus (Fei et al., 2026) simulations.
译文
表 8：灵巧手部署上的累积式推理延迟消融。成功率来自单独进行的 LIBERO-Plus（Fei et al., 2026）仿真。
表 8 解读
读法：每一行在上一行基础上累加一项优化（“+”号）。列：往返时间（越低越好）、相对标准运行时的加速比、在 LIBERO-Plus 仿真上的成功率（用于确认优化没有损害策略质量；注意它不是在真机上测的）。 逐项增益：
- 进程隔离：780.5\to374.1 ms，单项收益最大（省 406 ms），说明原先一半以上的延迟来自 ROS/GIL 干扰，而非模型计算本身。
- 特征缓存与编译：\to249.8 ms（再省 124 ms）。
- 上下文缓存（跨扩散步复用 K/V）：\to217.3 ms（省 33 ms）。
- 分组动作执行（连续层编为固定形状组）：\to186.2 ms（省 31 ms）。
- CUDA Graph 重放：\to152.8 ms（省 33 ms）。
原文
Table 8 reports a cumulative ablation of controller-observed round-trip latency on the dexterous-hand deployment. Each request is timed from when the controller issues a replan to when the returned action chunk is available. The RTT includes controller-side request handling and transport to the isolated policy process, as well as observation preprocessing, state normalization, recent-frame/prefix alignment, conditioning, action inference, action mapping, and output postprocessing. Action inference runs on one RTX 5090 GPU. Three warm-up requests are discarded, and the following 50 requests are averaged per configuration.
译文
表 8 报告了在灵巧手部署上、由控制器观测到的往返延迟的累积式消融。每个请求的计时从控制器发起重规划开始，到返回的动作块可用为止。RTT 包括控制器端的请求处理和传输到隔离策略进程的时间，以及观测预处理、状态归一化、最近帧/前缀对齐、条件计算、动作推理、动作映射和输出后处理。动作推理在一张 RTX 5090 GPU 上运行。每种配置丢弃前 3 个预热请求，对随后的 50 个请求取平均。
解释
本段交代了表 8 的测量口径：RTT 是端到端的，从控制器视角计时，包含了所有非模型开销，这正是 533 ms 预算所约束的量。丢弃 3 个预热请求是因为首次调用会触发编译、CUDA Graph 捕获和显存分配，耗时远高于稳态。 一个口径上的小疑问：延迟在“灵巧手部署”（真机）上测得，而成功率在 LIBERO-Plus（仿真、单臂 Franka 夹爪）上测得，两列来自不同的设置，原文在表注中已说明。
7实验（Experiments）
7.1评测协议（Evaluation Protocol）
原文
We evaluate InternW0-\Delta on four simulation benchmarks, including LIBERO-Plus (Fei et al., 2026), RoboTwin 2.0 (Chen et al., 2026c), EBench (Gao et al., 2026), and RoboDojo (Chen et al., 2026b). The post-training setup for each benchmark has been described in Section 5.2. For each benchmark, we follow its official simulator, task definitions, and success criteria without additional adaptation on the evaluation environments. Baseline results are taken from the corresponding papers or public benchmark results under matching evaluation protocols.
译文
我们在四个仿真基准上评测 InternW0-\Delta：LIBERO-Plus（Fei et al., 2026）、RoboTwin 2.0（Chen et al., 2026c）、EBench（Gao et al., 2026）和 RoboDojo（Chen et al., 2026b）。各基准的后训练（post-training）设置已在第 5.2 节说明。对每个基准，我们沿用其官方模拟器、任务定义和成功判据，不针对评测环境做任何额外适配。基线结果取自相应论文，或取自评测协议一致的公开榜单。
解释
这段交代实验的“游戏规则”，有三点值得注意。
- 四个基准各有侧重：LIBERO-Plus 测“扰动鲁棒性”（相机、机器人初始状态、语言、光照等被改动后还能不能做对）；RoboTwin 2.0 测双臂操作在“干净场景训练、随机场景测试”下的泛化；EBench 覆盖精细桌面操作、移动抓放和长时程任务；RoboDojo 则把能力拆成六类（泛化、精度、长时程、记忆、开放式任务等）。四个合起来，大致覆盖了“鲁棒性—泛化—精度—长时程—推理”几个维度。
- “不针对评测环境适配”：模型只在各基准的训练集上后训练，测试环境（尤其是被扰动、被随机化的环境）在训练中从未出现，因此测的是零样本（zero-shot）泛化。
- 基线数字是“抄来的”：作者没有自己复现所有基线，而是引用原论文或公开榜单的数字。这是该领域的常见做法，好处是省去复现误差的争议，坏处是不同方法的训练数据量、预训练规模并不对齐——比较的是“整套系统”而不是单一设计。
7.2仿真基准结果（Simulation Benchmark Results）
7.2.1LIBERO-Plus
原文
We train InternW0-\Delta on the standard LIBERO (Liu et al., 2023) training set and directly evaluate it on LIBERO-Plus (Fei et al., 2026) without adaptation to the evaluation environments. As shown in Table 9, InternW0-\Delta achieves the best overall success rate of 92.8%, outperforming Qwen-RobotManip-Context (Yuan et al., 2026a) by 1.4 percentage points and the strongest prior WAM, Being-H0.7 (Luo et al., 2026), by 8.0 points. The largest gains appear under robot perturbations, where InternW0-\Delta reaches 91.1%, compared with 87.4% for the previous best result. It also achieves the best performance under camera and language perturbations, reaching 90.6% and 92.9%, respectively. In addition, InternW0-\Delta remains competitive on background and layout perturbations, with 99.4% and 88.4% success rates.
译文
我们在标准 LIBERO（Liu et al., 2023）训练集上训练 InternW0-\Delta，并直接在 LIBERO-Plus（Fei et al., 2026）上评测，不对评测环境做任何适配。如表 9 所示，InternW0-\Delta 取得了最高的总体成功率 92.8%，比 Qwen-RobotManip-Context（Yuan et al., 2026a）高 1.4 个百分点，比此前最强的世界动作模型（WAM）Being-H0.7（Luo et al., 2026）高 8.0 个百分点。提升最大的是机器人扰动（robot perturbation）维度：InternW0-\Delta 达到 91.1%，而此前最佳为 87.4%。在相机扰动和语言扰动下它也取得最佳成绩，分别为 90.6% 和 92.9%。此外，在背景和布局扰动下 InternW0-\Delta 仍具竞争力，成功率分别为 99.4% 和 88.4%。
解释
LIBERO 与 LIBERO-Plus 的关系：LIBERO 是常用的单臂桌面操作仿真基准，主流方法在原版上已接近饱和（成功率 95%+）。LIBERO-Plus 在同样的任务上加入七类扰动，专门检验“换个视角、换个初始姿态、换个说法、换个光照……还行不行”。训练只用原版 LIBERO 的演示，所以这些扰动对模型来说全是没见过的分布外条件。数字验算：92.8-91.4=1.4（对 VLA 最强基线 Qwen-RobotManip-Context）；92.8-84.8=8.0（对 WAM 最强基线 Being-H0.7）。机器人扰动上此前最佳 87.4% 来自 ABot-M0.5，InternW0-\Delta 高 3.7 个百分点。注意措辞“remains competitive”：在背景（99.4 vs. 99.9）、布局（88.4 vs. 88.5）上它其实略低于最优，见下方表 9 的解读。
| Method | Camera | Robot | Language | Light | Background | Noise | Layout | Total \uparrow |
| VLA | ||||||||
| \pi_0 (Black et al., 2025b) | 13.8 | 6.0 | 58.8 | 85.0 | 81.4 | 79.0 | 68.9 | 53.6 |
| \pi_0-FAST (Pertsch et al., 2025) | 65.1 | 21.6 | 61.0 | 73.2 | 73.2 | 74.4 | 68.8 | 61.6 |
| RIPT-VLA (Tan et al., 2025) | 55.2 | 31.2 | 77.6 | 88.4 | 91.6 | 73.5 | 74.2 | 68.4 |
| OpenVLA-OFT (Kim et al., 2025) | 56.4 | 31.9 | 79.5 | 88.7 | 93.3 | 75.8 | 74.2 | 69.6 |
| StarVLA (StarVLA Community, 2026) | 52.5 | 49.8 | 88.5 | 95.7 | 95.7 | 73.0 | 76.9 | 74.1 |
| VLA-JEPA (Sun et al., 2026) | 63.3 | 67.1 | 85.4 | 95.6 | 93.6 | 66.3 | 85.1 | 79.5 |
| VLAct (Yang et al., 2026b) | 73.9 | 68.4 | 81.5 | 96.7 | 96.7 | 86.0 | 83.3 | 82.6 |
| \pi_{0.5} (Black et al., 2025a) | 78.4 | 73.6 | 80.8 | 96.2 | 94.1 | 89.0 | 84.5 | 84.4 |
| InternVLA-A1.5 (Ma et al., 2026a) | 83.1 | 55.1 | 86.9 | 96.4 | 98.2 | 95.6 | 85.2 | 84.8 |
| Qwen-RobotManip-Context (Yuan et al., 2026a) | 89.9 | 83.9 | 86.5 | 98.6 | 99.9 | 97.9 | 87.5 | 91.4 |
| WAM | ||||||||
| Fast-WAM (Yuan et al., 2026b) | 16.4 | 44.5 | 68.9 | 78.2 | 53.7 | 37.7 | 60.7 | 51.5 |
| OpenWAM-\alpha (Wang et al., 2026d) | 33.8 | 76.1 | 88.0 | 97.0 | 87.1 | 39.8 | 77.5 | 69.2 |
| 4D-WAM (Yang et al., 2026a) | 45.2 | 64.3 | 90.6 | 94.3 | 57.7 | 69.1 | 79.2 | 71.0 |
| ST-WAM (Wang et al., 2026b) | 55.4 | 60.1 | 79.3 | 93.0 | 74.2 | 79.5 | 74.3 | 72.8 |
| Faster-WAM (Ma et al., 2026b) | 67.9 | 49.0 | 92.1 | 94.3 | 57.0 | 82.3 | 82.7 | 75.0 |
| JEPA-WAM (Lin et al., 2026) | 79.2 | 59.2 | 68.2 | 93.3 | 94.6 | 83.6 | 76.1 | 79.2 |
| Cosmos-Policy (Kim et al., 2026) | 75.8 | 63.3 | 81.7 | 96.5 | 88.9 | 92.7 | 82.2 | 82.2 |
| ImageWAM (Zhang et al., 2026d) | 80.8 | 50.3 | 91.4 | 98.1 | 85.5 | 93.8 | 80.5 | 83.1 |
| ABot-M0.5 (Chen et al., 2026a) | 70.5 | 87.4 | 88.6 | 94.0 | 89.7 | 75.5 | 85.2 | 83.4 |
| Being-H0.7 (Luo et al., 2026) | 82.0 | 59.0 | 82.8 | 97.8 | 90.0 | 93.5 | 88.5 | 84.8 |
| InternW0-\Delta | 90.6 | 91.1 | 92.9 | 95.8 | 99.4 | 94.0 | 88.4 | 92.8 |
原文
Table 9: Zero-shot robustness on LIBERO-Plus. All values are success rates (%).
译文
表 9：LIBERO-Plus 上的零样本鲁棒性。所有数值均为成功率（%）。（加粗为各列最优，由译者根据数值标注。）
表 9 解读
行：上半部分是 10 个视觉—语言—动作模型（VLA），中间是 10 个世界动作模型（WAM，即同时建模“未来画面/世界演化”与动作的模型），最后一行是本文方法。两组内部大致按 Total 从低到高排序。列：前七列对应 LIBERO-Plus 的七类扰动——
- Camera：相机视角/位置变化；Robot：机器人初始关节状态变化；Language：指令改写（同义替换、加冗余描述等）；
- Light：光照变化；Background：桌面/背景纹理变化；Noise：图像噪声；Layout：物体摆放布局变化（含干扰物）。
- 总体：InternW0-\Delta 92.8，是唯一超过 92 的方法；VLA 最强 Qwen-RobotManip-Context 91.4（+1.4），WAM 最强 Being-H0.7 84.8（+8.0）。与其它 WAM 相比优势很大，说明本文的设计（稀疏记忆、Causal Imprint、4D 蒸馏、VLM 语义）显著缓解了 WAM 在鲁棒性上的短板。
- Camera 与 Robot 两列最能说明问题：这是多数方法的“重灾区”——\pi_0 在 Camera/Robot 上只有 13.8/6.0，Fast-WAM 为 16.4/44.5。InternW0-\Delta 两列都在 90 以上（90.6/91.1），且两列同时领先。相机扰动考验视觉表示的视角不变性，机器人初始状态扰动考验策略能否从“没见过的姿态”出发完成任务，后者恰好与本文强调的“动作相关动态表示”和本体条件化有关。
- 并非全面领先：Light（95.8 vs. Qwen 98.6）、Background（99.4 vs. 99.9）、Noise（94.0 vs. 97.9）、Layout（88.4 vs. Being-H0.7 的 88.5）四列都不是第一。这些扰动主要是“外观类”变化，强 VLA 依靠大规模视觉—语言预训练本就擅长；InternW0-\Delta 的优势集中在需要理解几何与动态的维度。
- WAM 内部差异很大：Fast-WAM 总分 51.5，与最弱的 VLA 相当；这说明“预测未来画面”本身并不自动带来鲁棒性，关键在于表示如何被动作专家利用。
7.2.2RoboTwin 2.0
原文
Under the Clean2Random protocol, models are trained on clean demonstrations only and evaluated on both Clean2Clean and Clean2Random settings. As shown in Table 10, InternW0-\Delta achieves the best performance in both settings, reaching 90.0% on Clean2Clean and 71.9% on Clean2Random, with an overall success rate of 81.0%. Compared with Qwen-RobotManip-Context (Yuan et al., 2026a), the strongest VLA baseline, InternW0-\Delta improves Clean2Random by 2.5 percentage points and the overall score by 3.9 points. The advantage over existing WAMs is larger: compared with OpenWAM-\alpha (Wang et al., 2026d), InternW0-\Delta improves Clean2Random from 48.7% to 71.9%, while also slightly improving Clean2Clean from 89.4% to 90.0%. These results show that the improvement on randomized environments is achieved without sacrificing performance on the original clean distribution.
译文
在 Clean2Random 协议下，模型只用干净（clean）演示训练，然后分别在 Clean2Clean 和 Clean2Random 两种设置下评测。如表 10 所示，InternW0-\Delta 在两种设置下都取得最佳成绩：Clean2Clean 为 90.0%，Clean2Random 为 71.9%，总体成功率 81.0%。与最强的 VLA 基线 Qwen-RobotManip-Context（Yuan et al., 2026a）相比，InternW0-\Delta 在 Clean2Random 上高 2.5 个百分点，总体高 3.9 个百分点。相对现有 WAM 的优势更大：与 OpenWAM-\alpha（Wang et al., 2026d）相比，InternW0-\Delta 把 Clean2Random 从 48.7% 提高到 71.9%，同时 Clean2Clean 也从 89.4% 小幅提高到 90.0%。这些结果表明，随机化环境上的提升并不是以牺牲原始干净分布上的性能为代价换来的。
解释
术语：RoboTwin 2.0 是双臂操作仿真基准。“Clean”指无干扰物、默认背景和光照的整洁桌面；“Random”指加入随机杂物、随机桌面纹理、随机光照和桌高等“域随机化”。“Clean2Clean”即“干净训练、干净测试”（分布内），“Clean2Random”即“干净训练、随机测试”（分布外）。Overall 是两者的平均，例如 (90.0+71.9)/2=80.95\approx81.0。数字验算：71.9-69.4=2.5，81.0-77.1=3.9（对 Qwen-RobotManip-Context）；对 OpenWAM-\alpha 的 Clean2Random 提升为 71.9-48.7=23.2 个百分点。最后一句话针对的是一种常见担忧：为了鲁棒而加强正则或增广，往往会让分布内性能下降；这里两列同时最好，说明没有出现这种权衡。
| Method | Clean2Clean \uparrow | Clean2Random \uparrow | Overall \uparrow |
| VLA | |||
| GR00T-N1.7 (NVIDIA, 2026) | 43.6 | 20.7 | 32.2 |
| StarVLA (StarVLA Community, 2026) | 58.1 | 10.6 | 34.4 |
| X-VLA (Zheng et al., 2026) | 68.0 | 20.9 | 44.5 |
| Spatial Forcing (Li et al., 2026a) | 77.2 | 26.7 | 52.0 |
| ABot-M0 (Yang et al., 2026c) | 70.7 | 36.0 | 53.4 |
| \pi_{0.5} (Black et al., 2025a) | 73.1 | 47.9 | 60.5 |
| GigaBrain-0.7 (GigaBrain Team et al., 2026) | 66.8 | 67.9 | 67.4 |
| Qwen-RobotManip-Context (Yuan et al., 2026a) | 84.7 | 69.4 | 77.1 |
| WAM | |||
| AHA-WAM (Cai et al., 2026a) | 64.3 | 3.2 | 33.8 |
| Fast-WAM (Yuan et al., 2026b) | 77.8 | 1.9 | 39.9 |
| X-WAM (Guo et al., 2026) | 70.0 | 25.8 | 47.9 |
| 4D-WAM (Yang et al., 2026a) | 81.5 | 41.8 | 61.7 |
| OpenWAM-\alpha (Wang et al., 2026d) | 89.4 | 48.7 | 69.0 |
| InternW0-\Delta | 90.0 | 71.9 | 81.0 |
原文
Table 10: Evaluation results on RoboTwin 2.0 (Chen et al., 2026c) Clean2Random under clean-only training. Success rates (%) are reported on Clean2Clean and Clean2Random.
译文
表 10：仅用干净数据训练时，RoboTwin 2.0（Chen et al., 2026c）Clean2Random 协议下的评测结果。分别报告 Clean2Clean 与 Clean2Random 上的成功率（%）。
表 10 解读
列：Clean2Clean（分布内）、Clean2Random（分布外，域随机化场景）、Overall（两者均值）。行：8 个 VLA、5 个 WAM 与本文方法。关键读数：
- 分布外断崖：多数方法从 Clean2Clean 到 Clean2Random 的掉点非常剧烈，WAM 尤甚——Fast-WAM 从 77.8 掉到 1.9，AHA-WAM 从 64.3 掉到 3.2，几乎完全失效。这说明这些 WAM 学到的视觉动态与“干净场景外观”强绑定，一旦桌面纹理、杂物改变就无法迁移。
- InternW0-\Delta 的掉幅：90.0\to71.9，掉 18.1 个百分点；对比 OpenWAM-\alpha 掉 40.7、\pi_{0.5} 掉 25.2。它是 WAM 中唯一在随机场景上超过 70% 的。
- 特例 GigaBrain-0.7：Clean2Random（67.9）反而略高于 Clean2Clean（66.8），说明它的鲁棒性很强，但分布内绝对性能不高。Qwen-RobotManip-Context 在两列都很强，是最接近本文的对手。
- 结合表 17 可知，Clean2Random 上的大幅领先主要来自大规模机器人数据预训练（无预训练时 Clean2Random 只有约 4%）。
7.2.3EBench
原文
We further evaluate InternW0-\Delta on EBench (Gao et al., 2026), which covers precision-sensitive Table Top tasks, mobile pick-and-place tasks, and multi-stage Long Horizon manipulation. As shown in Table 11, InternW0-\Delta achieves an overall success rate of 49.2% and the highest overall score of 66.0, demonstrating competitive performance across different manipulation settings.
译文
我们进一步在 EBench（Gao et al., 2026）上评测 InternW0-\Delta，该基准涵盖对精度敏感的桌面（Table Top）任务、移动抓放（pick-and-place）任务以及多阶段的长时程（Long Horizon）操作。如表 11 所示，InternW0-\Delta 取得 49.2% 的总体成功率和最高的总体得分 66.0，表明它在不同操作设置下都具有竞争力。
解释
EBench 同时报告两个指标：SR（success rate，任务是否完全完成）和 Score（得分，通常按完成的子步骤/进度给部分分，范围 0–100）。Score 比 SR 更“宽容”，能区分“完全没做”和“做到一半”。注意措辞：总体 得分 是最高的（66.0），但总体 成功率 49.2% 其实比 OpenWAM-\alpha 的 49.4% 低 0.2，所以作者只说“具竞争力”。
原文
The advantage of InternW0-\Delta is particularly clear on Long Horizon tasks, where it achieves 49.4% success rate and a score of 76.5, both the highest among the compared methods. Since these tasks require multiple dependent operations over extended interaction sequences, the results indicate that InternW0-\Delta can effectively maintain task progress and execution consistency over long-horizon manipulation. Together with its strong performance on Simple PnP, these results show that InternW0-\Delta generalizes well from basic mobile manipulation to more temporally extended behaviors.
译文
InternW0-\Delta 的优势在长时程任务上尤为明显：成功率 49.4%、得分 76.5，均为所有对比方法中最高。由于这类任务需要在较长的交互序列中完成多个相互依赖的操作，这一结果表明 InternW0-\Delta 能在长时程操作中有效地保持任务进度和执行一致性。结合它在 Simple PnP 上的强劲表现，这些结果说明 InternW0-\Delta 能从基础的移动操作很好地泛化到时间跨度更长的行为。
解释
长时程任务的难点在于“记得做到哪一步了”：例如“先开抽屉、再放物体、再关抽屉”，中间某一帧的画面可能与开始时很相似，单帧策略容易重复或跳步。作者把这里的领先归因于保持任务进度的能力，这与方法中的稀疏视觉记忆（锚帧 A 记录回合起点、最近帧 R 记录短期历史）直接对应。需要客观指出：在 Simple PnP 上，InternW0-\Delta（60.0/64.3）低于 OpenWAM-\alpha（67.5/72.0）；在 Table Top 上低于 Qwen-RobotManip（50.0/70.0）。“strong performance on Simple PnP”是相对于多数基线而言，并非第一。
| Method | Table Top | Simple PnP | Long Horizon | Overall | ||||
| SR \uparrow | Score \uparrow | SR \uparrow | Score \uparrow | SR \uparrow | Score \uparrow | SR \uparrow | Score \uparrow | |
| VLA | ||||||||
| StarVLA-OFT (StarVLA Community, 2026) | – | – | – | – | – | – | 0.0 | 0.2 |
| \pi_0 (Black et al., 2025b) | 15.7 | 30.0 | 35.0 | 39.0 | 17.0 | 41.0 | 23.6 | 37.0 |
| X-VLA (Zheng et al., 2026) | 8.6 | 24.0 | 50.0 | 54.0 | 6.2 | 25.0 | 23.7 | 36.0 |
| InternVLA-A1 (Cai et al., 2026b) | 4.3 | 11.0 | 43.0 | 47.0 | 17.9 | 46.0 | 23.9 | 36.0 |
| \pi_{0.5} (Black et al., 2025a) | 12.9 | 32.0 | 45.0 | 50.0 | 18.1 | 39.0 | 27.1 | 41.0 |
| GigaBrain-0.7 (GigaBrain Team et al., 2026) | – | – | – | – | – | – | 33.3 | 46.0 |
| Qwen-RobotManip (Yuan et al., 2026a) | 50.0 | 70.0 | 56.5 | 60.0 | 29.9 | 55.0 | 45.6 | 60.0 |
| WAM | ||||||||
| Fast-WAM (Yuan et al., 2026b) | – | – | – | – | – | – | 4.7 | 7.6 |
| OpenWAM-\alpha (Wang et al., 2026d) | 30.0 | 44.2 | 67.5 | 72.0 | 44.3 | 72.6 | 49.4 | 64.7 |
| InternW0-\Delta | 33.6 | 55.2 | 60.0 | 64.3 | 49.4 | 76.5 | 49.2 | 66.0 |
原文
Table 11: Evaluation results on EBench (Gao et al., 2026)
译文
表 11：EBench（Gao et al., 2026）上的评测结果。（加粗为各列最优，由译者标注。）
表 11 解读
列：三类任务——Table Top（桌面精细操作）、Simple PnP（移动底盘上的简单抓放）、Long Horizon（多阶段长时程），以及 Overall（总体）；每类都给出 SR（成功率，%）与 Score（进度得分）。“–”表示原文献只公布了总体数字。关键读数：
- Long Horizon 是 InternW0-\Delta 唯一全面领先的类别：SR 49.4（次优 OpenWAM-\alpha 44.3，+5.1），Score 76.5（次优 72.6，+3.9）。VLA 在这一类普遍很弱（\pi_{0.5} 仅 18.1），两种 WAM 明显更好，这暗示“建模世界如何演化”对长时程任务确实有帮助。
- Table Top：VLA 中的 Qwen-RobotManip 遥遥领先（50.0/70.0），InternW0-\Delta 为 33.6/55.2，但比 OpenWAM-\alpha（30.0/44.2）好；精度敏感任务可能更依赖高分辨率视觉与精确的动作标定。
- Overall：本文 SR 49.2 与 OpenWAM-\alpha 的 49.4 几乎持平（低 0.2），Score 66.0 最高（+1.3）。验算可知 Overall 并非三类的简单平均（(33.6+60.0+49.4)/3\approx47.7\neq49.2），应是按任务数加权的总平均。
- EBench 整体非常难：多数 VLA 总体 SR 在 25% 左右，StarVLA-OFT 和 Fast-WAM 几乎为 0。
7.2.4RoboDojo
原文
As shown in Table 12, InternW0-\Delta achieves highly competitive overall performance, reaching an average SR of 23.91% and a score of 30.77. Compared with DM0.5 (Dexmal, 2026), a strong VLA baseline in terms of average performance, InternW0-\Delta improves the average SR by 4.57 percentage points and the score by 5.87 points. The improvement over existing WAMs is more substantial: compared with OpenWAM-\alpha (Wang et al., 2026d), InternW0-\Delta increases the average SR from 11.92% to 23.91% and the score from 17.18 to 30.77.
译文
如表 12 所示，InternW0-\Delta 取得了极具竞争力的总体表现：平均成功率 23.91%，得分 30.77。与按平均表现来看较强的 VLA 基线 DM0.5（Dexmal, 2026）相比，InternW0-\Delta 的平均成功率高 4.57 个百分点，得分高 5.87 分。相对现有 WAM 的提升更为显著：与 OpenWAM-\alpha（Wang et al., 2026d）相比，InternW0-\Delta 把平均成功率从 11.92% 提高到 23.91%，得分从 17.18 提高到 30.77。
解释
RoboDojo 是一个刻意设计得很难的基准，绝对数字普遍很低（最强方法平均成功率也只有 20% 出头），所以要看相对差距。验算：23.91-19.34=4.57，30.77-24.90=5.87；对 OpenWAM-\alpha 成功率约翻倍（23.91/11.92\approx2.0）。
原文
In individual categories, InternW0-\Delta shows particularly strong performance on Gen-Std and Precision, reaching SRs of 33.78% and 23.25%, respectively, while also achieving a Long-Horizon score of 46.29. It remains competitive on Gen-Rand and Open tasks, where GPT-6 Astra (Zhang et al., 2026c) shows stronger performance. Overall, InternW0-\Delta also exceeds GPT-6 Astra in average SR and score, reaching 23.91% and 30.77 compared with 22.48% and 28.97, respectively.
译文
在各个类别上，InternW0-\Delta 在 Gen-Std 和 Precision 上表现尤为突出，成功率分别达到 33.78% 和 23.25%，同时 Long-Horizon 得分达到 46.29。在 Gen-Rand 和 Open 任务上它仍有竞争力，但 GPT-6 Astra（Zhang et al., 2026c）在这两类上表现更强。总体而言，InternW0-\Delta 的平均成功率和得分也都超过 GPT-6 Astra，分别为 23.91% 和 30.77，后者为 22.48% 和 28.97。
解释
GPT-6 Astra 被单列为“LLM as Policy”——用大语言模型（多模态 GPT）直接充当策略。它的长项是语义推理和开放式指令理解（Open 31.00、Gen-Rand 28.33 远高于其他方法），短项是精细操作（Precision 仅 4.00）。InternW0-\Delta 正好相反：精度和标准泛化强，开放式推理弱。这种互补性正是第 7.5 节把两者组合起来的动机。
| Method | Gen-Std | Gen-Rand | Precision | Long-Horizon | Memory | Open | Avg | |||||||
| SR\uparrow | Score\uparrow | SR\uparrow | Score\uparrow | SR\uparrow | Score\uparrow | SR\uparrow | Score\uparrow | SR\uparrow | Score\uparrow | SR\uparrow | Score\uparrow | SR\uparrow | Score\uparrow | |
| VLA | ||||||||||||||
| StarVLA-\alpha (StarVLA Community, 2026) | 5.00 | 7.54 | 0.00 | 0.33 | 4.33 | 9.90 | 6.50 | 14.15 | 2.44 | 3.34 | 0.58 | 0.68 | 3.24 | 6.40 |
| X-VLA (Zheng et al., 2026) | 12.00 | 17.90 | 1.00 | 3.04 | 12.00 | 18.32 | 9.75 | 16.53 | 3.56 | 4.76 | 0.50 | 0.55 | 6.52 | 10.13 |
| \pi_{0.5} (Black et al., 2025a) | 15.00 | 20.93 | 1.00 | 5.82 | 5.50 | 12.40 | 14.67 | 23.54 | 4.56 | 5.78 | 1.67 | 1.98 | 6.91 | 11.41 |
| Spatial Forcing (Li et al., 2026a) | 15.00 | 21.25 | 4.00 | 6.98 | 10.58 | 17.33 | 14.58 | 23.26 | 4.11 | 5.43 | 1.58 | 1.78 | 8.04 | 12.38 |
| Hy-Embodied-0.5-VLA (Zhang et al., 2026a) | 17.00 | 21.98 | 0.00 | 1.57 | 8.00 | 13.81 | 14.92 | 25.74 | 12.11 | 13.37 | 0.58 | 0.65 | 8.80 | 13.07 |
| Xiaomi-Robotics-1 (Team et al., 2026) | 28.00 | 35.65 | 6.00 | 11.44 | 18.83 | 26.69 | 23.67 | 38.39 | 6.56 | 7.81 | 3.58 | 3.94 | 13.93 | 20.07 |
| Galaxea G0.5 (Liu et al., 2026) | 20.00 | 26.74 | 6.00 | 11.16 | 20.42 | 28.25 | 32.25 | 44.12 | 7.33 | 8.61 | 1.58 | 1.73 | 14.88 | 20.23 |
| DM0.5 (Dexmal, 2026) | 18.00 | 23.49 | 4.00 | 8.06 | 16.75 | 24.82 | 19.50 | 33.70 | 47.44 | 47.74 | 2.08 | 2.43 | 19.34 | 24.90 |
| LLM as Policy | ||||||||||||||
| GPT-6 Astra (Zhang et al., 2026c) | 32.67 | 35.32 | 28.33 | 31.40 | 4.00 | 12.65 | 8.25 | 21.45 | 38.67 | 43.04 | 31.00 | 34.36 | 22.48 | 28.97 |
| WAM | ||||||||||||||
| Fast-WAM (Yuan et al., 2026b) | 2.00 | 4.33 | 0.00 | 0.34 | 0.00 | 1.96 | 5.17 | 9.14 | 3.44 | 3.55 | 0.42 | 0.42 | 2.03 | 3.48 |
| AHA-WAM (Cai et al., 2026a) | 6.00 | 10.32 | 0.00 | 1.26 | 2.42 | 5.86 | 2.67 | 8.61 | 2.78 | 2.97 | 0.83 | 0.88 | 2.39 | 4.82 |
| GigaWorld-Policy (Ye et al., 2026a) | 6.00 | 10.28 | 0.00 | 0.41 | 1.83 | 6.15 | 8.92 | 15.51 | 2.22 | 3.46 | 0.50 | 0.54 | 3.27 | 6.20 |
| X-WAM (Guo et al., 2026) | 5.00 | 11.24 | 1.00 | 3.54 | 1.83 | 6.72 | 9.08 | 17.47 | 4.67 | 6.32 | 0.25 | 0.57 | 3.83 | 7.69 |
| OpenWAM-\alpha (Wang et al., 2026d) | 25.56 | 33.16 | 4.11 | 8.26 | 9.25 | 18.45 | 25.33 | 34.93 | 9.11 | 10.41 | 1.08 | 1.41 | 11.92 | 17.18 |
| InternW0-\Delta | 33.78 | 40.98 | 11.78 | 19.19 | 23.25 | 31.98 | 29.33 | 46.29 | 34.00 | 34.67 | 10.17 | 10.84 | 23.91 | 30.77 |
原文
Table 12: Evaluation results on RoboDojo (Chen et al., 2026b) across six evaluation categories.
译文
表 12：RoboDojo（Chen et al., 2026b）六个评测类别上的结果。（加粗为各列最优，由译者标注。）
表 12 解读
列：RoboDojo 的六类能力，每类给 SR（成功率，%）与 Score（进度得分）——
- Gen-Std：标准设置下的泛化；Gen-Rand：随机化设置（物体、场景随机）下的泛化；
- Precision：需要精细定位/对准的任务；Long-Horizon：多阶段长时程任务；
- Memory：需要记住之前观察到的信息（如物体被遮挡前的位置）的任务；Open：开放式、需要语义或逻辑推理的任务（如第 7.5 节的“解方程”“按数字按键”）；
- Avg：全部任务的平均。验算 (33.78+11.78+23.25+29.33+34.00+10.17)/6\approx23.72\neq23.91，说明 Avg 是按任务数加权、而非六类等权平均。
- 平均最优：InternW0-\Delta 23.91/30.77，高于 GPT-6 Astra（22.48/28.97）和最强 VLA DM0.5（19.34/24.90）。在 WAM 组内是断层领先，第二名 OpenWAM-\alpha 只有 11.92/17.18，其余 WAM 平均 SR 不足 4%。
- 本文的强项：Gen-Std（33.78，略高于 Astra 的 32.67）、Precision（23.25，高于 Galaxea G0.5 的 20.42）两列 SR 与 Score 均第一；Long-Horizon 得分 46.29 第一，但 SR 29.33 低于 Galaxea G0.5 的 32.25。
- 本文的弱项：Gen-Rand（11.78 vs. Astra 28.33）和 Open（10.17 vs. 31.00）明显落后于 GPT-6 Astra；Memory（34.00）落后于 DM0.5（47.44）和 Astra（38.67）——但已远高于其他 WAM（\leq9.11），这可能得益于锚帧+最近帧的稀疏记忆。
- 互补性：Astra 精度极差（Precision 4.00）、语义推理极强，InternW0-\Delta 恰好相反，二者组合（第 7.5 节、表 18）便顺理成章。
7.3真机实验（Real-Robot Experiments）
原文
Tasks and evaluation procedure. We evaluate eleven tasks across four real-robot platforms: AC-One, Arx5, bimanual Franka+XHand, and TianJi Marvin+Wuji Hand. On AC-One, the tasks comprise get a drink, toast bread, Luminol reaction, and MOF experiment. Get a drink episodes place a cup under the dispenser and fill it to the marked level before moving it to the right side of the dispenser; toast bread episodes place two bread slices into the toaster in sequence and press its switch; Luminol reaction episodes add NaOH, luminol, hydrogen peroxide, and potassium ferricyanide in sequence and mix the reaction; MOF experiment episodes pour a measured solution through a funnel into a flask, return the funnel, and place and seal the flask on the stirrer. On Franka+XHand, we evaluate pour water, place fruit into box, and stack cups. These tasks respectively pour water from a bottle into a disposable paper cup, place the language-specified fruit into a box, and stack disposable cups.
译文
任务与评测流程。我们在四个真机平台上评测了十一个任务：AC-One、Arx5、双臂 Franka+XHand，以及天机 Marvin+Wuji 灵巧手（TianJi Marvin+Wuji Hand）。在 AC-One 上，任务包括接饮料（get a drink）、烤面包（toast bread）、鲁米诺反应（Luminol reaction）和 MOF 实验（MOF experiment）。接饮料：把杯子放到饮料机出水口下方，接到标记液位，再把杯子移到饮料机右侧；烤面包：依次把两片面包放进烤面包机并按下开关；鲁米诺反应：依次加入氢氧化钠（NaOH）、鲁米诺、过氧化氢和铁氰化钾并混合使之反应；MOF 实验：将定量溶液经漏斗倒入烧瓶，放回漏斗，再把烧瓶放到搅拌器上并封口。在 Franka+XHand 上，我们评测倒水（pour water）、把水果放进盒子（place fruit into box）和叠杯子（stack cups），分别是：把瓶中的水倒进一次性纸杯、把语言指定的水果放进盒子、把一次性杯子叠起来。
解释
四个平台覆盖了两类末端：AC-One（双臂、夹爪）和 Arx5（单臂、夹爪）是夹爪平台；Franka+XHand（双臂 + 灵巧手）和天机 Marvin+Wuji（机械臂 + 灵巧手）是灵巧手平台。任务设计偏重“多步骤 + 实验室化学操作”：鲁米诺反应要按固定顺序加四种试剂（顺序错了不发光），MOF（金属有机框架，一类多孔材料）实验需要漏斗倾倒、复位和封口等精细动作。这些任务的共同点是步骤多、对顺序敏感，正好检验第 3 节的稀疏记忆能否帮模型“记住做到第几步”。“把语言指定的水果放进盒子”则考验指令跟随——场景里有多种水果，策略必须听懂指令。
原文
On Arx5, magnetic stirrer places a magnetic stir bar into a beaker and then places the beaker on the magnetic stirrer; place tube transfers a test tube to a wooden test-tube rack. On TianJi Marvin+Wuji Hand, use dropper picks up a rubber-bulb dropper, draws liquid from a reagent bottle, and transfers it into a test tube held in a rack. The make a sandwich task places a bread slice from the bread rack onto a plate, sequentially layers cheese, egg, and lettuce on top, and adds a second bread slice to complete the sandwich. On these four platforms, each rollout starts from the robot's home pose with a text instruction and runs under asynchronous training-time RTC (Section 6.2), which achieves real-time deployment. Figure 10 illustrates representative execution sequences for eight of these tasks.
译文
在 Arx5 上，磁力搅拌（magnetic stirrer）任务先把磁力搅拌子放进烧杯，再把烧杯放到磁力搅拌器上；放试管（place tube）任务把一支试管转移到木制试管架上。在天机 Marvin+Wuji 灵巧手上，使用滴管（use dropper）任务要拿起胶头滴管，从试剂瓶中吸取液体，再转移到架上的试管中。做三明治（make a sandwich）任务把面包架上的一片面包放到盘子上，依次叠上奶酪、鸡蛋和生菜，再盖上第二片面包完成三明治。在这四个平台上，每次执行（rollout）都从机器人的初始（home）位姿出发、给定一条文本指令，并在异步的训练时 RTC（第 6.2 节）下运行，从而实现实时部署。图 10 展示了其中八个任务的代表性执行过程。
解释
任务计数：AC-One 4 个 + Franka+XHand 3 个 + Arx5 2 个 + 天机 1 个（使用滴管）+ 做三明治 1 个 =11。原文没有明确说“做三明治”在哪个平台上运行，按段落位置推测属于天机灵巧手平台。“使用滴管”是灵巧手的典型难题：需要用手指捏胶头来吸液和挤液，这是夹爪做不到的动作。“异步训练时 RTC”（Real-Time Chunking，实时动作块拼接）是部署的关键：模型一次预测 32 步动作，每执行 16 步就在后台发起下一次推理；新动作块的前若干步被“锁定”为旧计划中尚未执行完的动作（前缀），以保证两块之间无缝衔接。“训练时”表示模型在训练中就学过“给定前缀、续写后缀”，而不是推理时临时用梯度去引导（详见第 6.2 节和下文图 12）。
原文
Figure 10: Real-robot task execution. Selected video frames illustrate eight tasks, with each row ordered chronologically from left to right. From top to bottom: get a drink, toast bread, Luminol reaction, MOF experiment, place tube, pour water, stack cups, and use dropper. The final frame of the Luminol sequence shows a close-up of the reaction outcome.
译文
图 10：真机任务执行。所选视频帧展示了八个任务，每行从左到右按时间先后排列。自上而下依次为：接饮料、烤面包、鲁米诺反应、MOF 实验、放试管、倒水、叠杯子和使用滴管。鲁米诺序列的最后一帧是反应结果的特写。
图 10 解读
全图 8 行 \times 6 列，每行是一个任务的 6 个关键帧。
- 第 1 行（接饮料，AC-One）：每格由左侧外部/头部视角和右侧腕部视角拼成，可以看到杯子被放到出水口下、液体逐渐变黄（接饮料）、最后移到右侧。
- 第 2 行（烤面包，AC-One）：两片面包依次放入烤面包机，最后按下开关。
- 第 3 行（鲁米诺反应，AC-One）：双臂依次拿起试剂瓶倾倒；最后一格是暗室中的特写，烧杯发出蓝色荧光——这是反应成功的直观证据（只有四种试剂按正确顺序加入才会发光）。
- 第 4 行（MOF 实验，AC-One）：通过漏斗把溶液倒入烧瓶，再把烧瓶放到搅拌器上。
- 第 5 行（放试管，Arx5）：单臂把试管从塑料架转移到木制试管架。
- 第 6、7 行（倒水、叠杯子，Franka+XHand）：白色 Franka 机械臂末端是黑白相间的 XHand 灵巧手，用整只手握瓶倾倒、抓杯叠放。
- 第 8 行（使用滴管，天机 Marvin+Wuji）：灵巧手捏起滴管，在试剂瓶与红色试管架之间来回操作。
原文
Effect of pretraining on real-robot performance. We compare models with and without our pretraining stage after task-specific post-training on two AC-One tasks, using 20 evaluation trials per task and condition. As shown in Table 13, pretraining increases success rates from 20% to 95% on toast bread and from 0% to 95% on Luminol reaction, supporting its benefit for these downstream real-robot tasks.
译文
预训练对真机性能的影响。我们在两个 AC-One 任务上比较了“有/无本文预训练阶段”的模型（两者都经过任务特定的后训练），每个任务、每种条件各评测 20 次。如表 13 所示，预训练把烤面包的成功率从 20% 提高到 95%，把鲁米诺反应的成功率从 0% 提高到 95%，支持了预训练对这些下游真机任务的益处。
解释
这是一个干净的对照实验：唯一变量是“是否从大规模预训练权重出发”，后训练数据和流程相同。没有预训练时，模型只能从少量任务演示里同时学会视觉、语义和动作，对于鲁米诺反应这种四步加试剂的长序列任务完全学不会（0/20）；有预训练后两个任务都达到 19/20。20 次试验的样本量不大，但 0% 与 95% 的差距远超统计误差。
| Task | Without pretraining | With pretraining |
| Toast bread | 4/20 (20%) | 19/20 (95%) |
| Luminol reaction | 0/20 (0%) | 19/20 (95%) |
原文
Table 13: Real-robot performance with and without our pretraining stage, followed by task-specific post-training. Each entry reports successful trials out of 20 and the corresponding success rate.
译文
表 13：有/无本文预训练阶段（之后均做任务特定后训练）时的真机性能。每格报告 20 次试验中的成功次数及对应成功率。
表 13 解读
行：两个 AC-One 任务；列：“无预训练”（直接从初始化权重做后训练）与“有预训练”（从 20K+ 小时数据预训练的检查点出发）。格式“k/20（p%）”即 20 次中成功 k 次。含义：烤面包提升 75 个百分点（4\to19 次），鲁米诺反应提升 95 个百分点（0\to19 次）。任务越长、越依赖顺序，预训练的价值越大。这是全文对“大规模异构数据预训练”最直接的真机证据。
原文
Generalization across physical conditions. Beyond the training conditions, the post-trained policy exhibits qualitative generalization capabilities to unseen target water levels. For the AC-One get a drink task, all 137 post-training demonstrations use the same marked target water level. At deployment, the policy successfully fills cups to different marked target levels, indicating that its behavior is not restricted to the single target level represented in the demonstrations. Figure 11 shows three successful executions alongside the training target-level reference.
译文
跨物理条件的泛化。在训练条件之外，后训练得到的策略在定性上表现出对未见过的目标水位的泛化能力。对于 AC-One 的接饮料任务，全部 137 条后训练演示都使用同一个标记目标水位。部署时，策略能把杯子接到不同的标记目标水位，说明其行为并不局限于演示中出现的那唯一一个目标水位。图 11 展示了三次成功执行以及训练时的目标水位参照。
解释
这个实验的巧妙之处在于：如果策略只是“背下了”演示中的动作时长（比如“按住出水键 3 秒”），那么换了标记线它仍会接到原来的高度。能停在不同标记线处，说明策略在看着液面与黑线的相对位置做闭环决策——这正是“动作相关的动态表示”（感知液面在上升、预判何时到线）的体现。不过作者谨慎地称之为“定性”泛化，因为没有给出成功率统计。
原文
Figure 11: Generalization to different target water levels. For the AC-One get a drink task, the rightmost cup shows the marked target level used throughout post-training data collection. The three cups on the left show the outcomes of three successful executions at different marked target levels. Black markings indicate the target levels.
译文
图 11：对不同目标水位的泛化。对于 AC-One 的接饮料任务，最右侧的杯子显示整个后训练数据采集过程中使用的标记目标水位。左侧三个杯子是在不同标记目标水位下三次成功执行的结果。黑色标记线表示目标水位。
图 11 解读
四个透明杯并排放在绿色桌面上。最右侧是空杯，上面的黑线是训练时唯一使用过的目标水位（大约在杯子中上部）。左侧三个杯子装了黄色饮料，各自的黑色标记线高度不同：最左侧最低、中间两杯更高，液面都恰好停在各自的黑线附近。读图要点是“液面与黑线对齐”，而不是液面绝对高度。它支撑的论点是：策略学到的是“接到标记线为止”这一条件化的行为，而不是固定的动作轨迹。
原文
Cross-embodiment adaptation. The same pretrained checkpoint is post-trained separately for the gripper-based and dexterous hands interfaces. For grippers, AC-One uses 14-dimensional bimanual absolute joint targets and Arx5 utilizes 6-dimensional end-effector poses plus a 1-dimensional gripper. For dexterous hands, Franka+XHand uses 6-dimensional end-effector commands per Franka arm together with 12-dimensional dexterous hand commands per hand, whereas TianJi Marvin+Wuji Hand is controlled by 7-dimensional arm joint action and 20-dimensional hand action. All four settings therefore require different post-training action adapters while sharing the same pretrained model.
译文
跨本体适配。同一个预训练检查点分别针对夹爪接口和灵巧手接口做后训练。夹爪方面，AC-One 使用 14 维的双臂绝对关节目标，Arx5 使用 6 维末端执行器位姿加 1 维夹爪。灵巧手方面，Franka+XHand 每条 Franka 手臂使用 6 维末端执行器指令、每只手使用 12 维灵巧手指令；而天机 Marvin+Wuji 灵巧手由 7 维手臂关节动作和 20 维手部动作控制。因此，这四种设置虽然共享同一个预训练模型，但都需要各自不同的后训练动作适配器（action adapter）。
解释
把四个平台的动作空间列出来就能看出差异之大：
- AC-One：2\times(6\text{ 关节}+1\text{ 夹爪})=14 维，关节空间、绝对值；
- Arx5：6+1=7 维，末端位姿 + 夹爪；
- Franka+XHand：2\times(6+12)=36 维，末端位姿 + 灵巧手；
- 天机 Marvin+Wuji：7+20=27 维（按单臂计），关节空间 + 高自由度灵巧手。
原文
RTC continuity comparison. The three RTC strategies exhibit distinct continuity behaviors in the recorded AC-One runs (Figure 12). In the illustrated trace, VJP (Black et al., 2025c) shows an abrupt change in the published action commands at the chunk boundary, with a boundary-to-within-plan change ratio of 8.94. Hard prefix (Motubrain Team, 2026) preserves the committed actions at the chunk boundary, but introduces a sharp jetting event at the prefix-to-suffix boundary, where the model switches from the committed prefix to freely generated actions. Its corresponding ratio is 7.13. Training-time conditioning (Black et al., 2025d) keeps changes at the prefix-to-suffix boundary comparable to ordinary within-plan changes, with a ratio of 1.12. These diagnostic traces support our use of training-time prefix conditioning for continuous asynchronous execution.
译文
RTC 连续性比较。在记录的 AC-One 运行中，三种 RTC 策略表现出不同的连续性特征（图 12）。在图示轨迹中，VJP（Black et al., 2025c）在动作块边界处发布的动作指令出现突变，其“边界变化 / 计划内变化”之比为 8.94。硬前缀（hard prefix，Motubrain Team, 2026）在动作块边界处保留了已承诺的动作，却在前缀—后缀边界处（模型从已承诺的前缀切换到自由生成的动作）引入了剧烈的“喷射”（jetting）事件，对应比值为 7.13。训练时条件化（Black et al., 2025d）使前缀—后缀边界处的变化与普通计划内变化相当，比值为 1.12。这些诊断轨迹支持我们在连续异步执行中采用训练时前缀条件化。
解释
三种 RTC 方法的区别：
- VJP（vector–Jacobian product）：推理时 RTC，在扩散/流匹配采样过程中用梯度引导，让新块的开头贴近旧计划。引导是“软”的，衔接处仍可能跳变。
- 硬前缀：推理时直接把新块的前缀强行钳制（clamp）为旧计划中的动作。边界处确实连续了，但模型训练时从未见过“被钳住的前缀”，所以前缀结束、开始自由生成的那一步会与前缀脱节，形成一个尖峰——作者称之为“喷射（jetting）”，可以想象成机械臂突然“窜”一下。
- 训练时 RTC：训练时就随机给模型一段干净前缀并让它续写，模型学会了“接着前缀平滑地写下去”，因此前缀—后缀边界与普通步之间的变化没有区别。
原文
Figure 12: Action jetting visualization. (a) \ell_2 changes between consecutive published 14-dimensional action commands, aligned to the inference request at t=0, with t measured in published control steps. Hard prefix and training-time RTC are shown as mean curves with chunk switches at t=10; VJP is shown as an individual trace with its chunk switch at t=16. The gray dashed line at t=0 also marks the previous hard-prefix plan's prefix-to-suffix boundary. The blue dashed line at t=11 marks the training-time prefix-to-suffix boundary. The red dashed line at t=16 marks both the hard-prefix prefix-to-suffix boundary and the VJP chunk boundary. (b) Mean boundary command change divided by the mean consecutive-command change within the executed new-plan segments, excluding the evaluated boundary. The evaluated boundary is the chunk boundary for VJP and the prefix-to-suffix boundary for hard prefix and training-time RTC. The dashed horizontal line denotes a ratio of one.
译文
图 12：动作喷射可视化。（a）相邻两条已发布的 14 维动作指令之间的 \ell_2 变化，以推理请求发出时刻对齐为 t=0，t 以已发布的控制步计。硬前缀与训练时 RTC 显示为均值曲线，其动作块切换发生在 t=10；VJP 显示为单条轨迹，其动作块切换发生在 t=16。t=0 处的灰色虚线同时标出上一个硬前缀计划的前缀—后缀边界；t=11 处的蓝色虚线标出训练时 RTC 的前缀—后缀边界；t=16 处的红色虚线同时标出硬前缀的前缀—后缀边界和 VJP 的动作块边界。（b）边界处的平均指令变化除以已执行的新计划片段内（不含被评估的边界）相邻指令变化的平均值。对 VJP 而言被评估边界是动作块边界，对硬前缀和训练时 RTC 而言是前缀—后缀边界。水平虚线表示比值为 1。
图 12 解读
(a) 折线图：横轴是从发出推理请求起算的控制步（30 Hz 下一步约 33 ms），纵轴是相邻两条 14 维动作指令（AC-One 双臂关节目标）之差的 \ell_2 范数，即“这一步动作跳了多少”。三条曲线：红色 = 硬前缀，紫色 = VJP，橙色粗线 = 训练时 RTC。
- 红色在 t=0 和 t=16 各有一个约 0.17、0.22 的尖峰，都位于硬前缀的“前缀—后缀边界”（t=0 是上一个计划的，t=16 是本计划的）——这就是喷射。注意它在动作块切换处（t=10）反而平稳，说明硬前缀解决了块边界、却把不连续“挪”到了前缀末尾。
- 紫色（VJP）在 t=16（其块切换处）有约 0.22 的尖峰，其余时刻平稳。
- 橙色（训练时 RTC）全程在 0.02–0.04 之间平缓起伏，t=11 的前缀—后缀边界处看不出任何尖峰。
7.4消融实验（Ablation）
7.4.1逐组件消融（Component-Wise Ablations）
原文
We conduct cumulative ablations on LIBERO-Plus to investigate the contribution of the main components in InternW0-\Delta. All configurations are trained independently from scratch using the same training data, optimization recipe, and evaluation protocol. Therefore, each row in Table 14 corresponds to a separate training run rather than continued training from the preceding configuration. Starting from the baseline, we progressively introduce Sparse Memory Context (SMC), VLM, Causal Imprint (CI), representation alignment, and 4D-aware representation distillation.
译文
我们在 LIBERO-Plus 上进行累加式消融，以考察 InternW0-\Delta 各主要组件的贡献。所有配置都使用相同的训练数据、优化方案和评测协议，各自独立地从头训练。因此，表 14 的每一行对应一次单独的训练，而不是在上一行配置的基础上继续训练。从基线出发，我们依次加入稀疏记忆上下文（Sparse Memory Context, SMC）、VLM、Causal Imprint（CI）、表示对齐，以及 4D 感知表示蒸馏。
解释
累加式消融（cumulative ablation）：每一行都在上一行的基础上再加一个组件，相邻两行之差就是新组件的“边际贡献”。作者特别强调“每行都从头训练”，是为了排除一种混杂因素：如果后一行是在前一行的检查点上接着训练，那么提升可能只是因为训练步数更多。注意绝对数字：消融实验中的完整模型只有 78.37%，远低于表 9 中的 92.8%。原因是消融为了控制成本不使用大规模预训练（与表 16 中无预训练基线 78.59% 处于同一水平），只在 LIBERO 训练集上训练。因此这里比较的是各设计在同一低资源条件下的相对作用。
原文
Sparse Memory Context. We first investigate whether lightweight temporal context benefits action prediction. Adding SMC improves the success rate from 49.59% to 53.47%, a gain of 3.88 percentage points. SMC augments the current observation with an episode-level anchor and a recent observation preceding the previous action chunk, providing both coarse task context and short-term execution history. The improvement indicates that a single current observation is insufficient to fully capture the interaction state, while a small number of carefully selected historical observations already provides useful temporal information without maintaining a dense visual history.
译文
稀疏记忆上下文。我们首先考察轻量的时间上下文是否有利于动作预测。加入 SMC 后，成功率从 49.59% 提高到 53.47%，提升 3.88 个百分点。SMC 在当前观测之外加入一帧回合级锚帧和一帧位于上一个动作块之前的最近观测，同时提供粗粒度的任务上下文与短期执行历史。这一提升表明：单凭当前一帧观测不足以完整刻画交互状态，而少量精心挑选的历史观测在无需维护稠密视觉历史的情况下就已能提供有用的时间信息。
解释
SMC 就是第 3.3 节的 A/R/C 三帧设计：A（锚帧）= 回合第一帧，告诉模型“一开始场景是什么样”；R（最近帧）= 上一个动作块开始之前的那一帧，告诉模型“刚才发生了什么”；C = 当前帧。基线只看 C。为什么单帧不够？举例：抓起物体后又放下的那一刻，和还没抓之前的画面可能几乎一样，只看单帧分不清处于哪个阶段；有了 R 就能看出“手刚刚在移动”，有了 A 就能对比“物体已经不在原位了”。+3.88 的收益不算大，但几乎不增加计算（只多两帧 VAE 编码）。
| Method | Success rate (%) \uparrow |
| Baseline | 49.59 |
| Baseline + SMC | 53.47 |
| Baseline + SMC + Qwen3.5-2B | 60.37 |
| Baseline + SMC + RynnBrain1.1-2B | 69.08 |
| Baseline + SMC + RynnBrain1.1-2B + CI | 70.80 |
| Baseline + SMC + RynnBrain1.1-2B + CI + \mathcal{L}_{\text{align}} | 76.45 |
| Baseline + SMC + RynnBrain1.1-2B + CI + \mathcal{L}_{\text{align}} + \mathcal{L}_{\text{4D}} | 78.37 |
原文
Table 14: Cumulative ablation study on LIBERO-Plus (Fei et al., 2026). All variants are independently trained from scratch under the same training and evaluation settings. Starting from the baseline, we progressively introduce Sparse Memory Context (SMC), vision-language conditioning, Causal Imprint (CI), the additional CI alignment objective \mathcal{L}_{\text{align}}, and 4D-aware representation distillation \mathcal{L}_{\text{4D}}. Success rate denotes the overall success rate (%).
译文
表 14：LIBERO-Plus（Fei et al., 2026）上的累加式消融研究。所有变体都在相同的训练与评测设置下独立地从头训练。从基线出发，依次加入稀疏记忆上下文（SMC）、视觉—语言条件化、Causal Imprint（CI）、CI 的附加对齐目标 \mathcal{L}_{\text{align}}，以及 4D 感知表示蒸馏 \mathcal{L}_{\text{4D}}。成功率指总体成功率（%）。
表 14 解读
行：自上而下逐步加组件。Baseline 是只看当前帧、无 VLM 语义、无 Causal Imprint、无辅助损失的“视频专家 + 动作专家”MoT 骨架。第 3、4 行是两个替代关系的 VLM（Qwen3.5-2B 与 RynnBrain1.1-2B 二选一），从第 5 行起都基于 RynnBrain。列：LIBERO-Plus 总体成功率。各组件边际贡献（相邻行之差）：
- SMC：+3.88（49.59\to53.47）；
- VLM：Qwen3.5-2B +6.90；换成 RynnBrain1.1-2B 则 +15.61（53.47\to69.08），比 Qwen 多 8.71——这是单项最大的增益；
- CI（仅 \mathcal{L}_\Delta）：+1.72（69.08\to70.80）；
- \mathcal{L}_{\text{align}}：+5.65（70.80\to76.45）；
- \mathcal{L}_{\text{4D}}：+1.92（76.45\to78.37）。
原文
VLM. We next investigate the effect of the vision-language representation supplied to the action expert. With SMC fixed, introducing Qwen3.5-2B improves the success rate from 53.47% to 60.37%, showing the benefit of jointly reasoning over the current visual scene and task instruction. Replacing Qwen3.5-2B with RynnBrain1.1-2B further increases the success rate to 69.08%, corresponding to an additional gain of 8.71 percentage points. Since all variants use the same training and evaluation settings, this comparison shows that the representation provided by the VLM has a strong effect on downstream manipulation performance. We therefore adopt RynnBrain1.1-2B in the remaining experiments.
译文
VLM。接下来我们考察提供给动作专家的视觉—语言表示的作用。在保持 SMC 的前提下，引入 Qwen3.5-2B 使成功率从 53.47% 提高到 60.37%，表明对当前视觉场景与任务指令进行联合推理是有益的。把 Qwen3.5-2B 换成 RynnBrain1.1-2B 后，成功率进一步升至 69.08%，相当于再提升 8.71 个百分点。由于所有变体使用相同的训练和评测设置，这一比较表明 VLM 所提供的表示对下游操作性能有很大影响。因此我们在其余实验中采用 RynnBrain1.1-2B。
解释
两个 VLM 参数量相同（都是 2B），差别在于训练数据：Qwen3.5-2B 是通用多模态模型；RynnBrain 是面向具身场景（空间理解、物体定位、操作相关问答）专门训练的“具身大脑”模型。两者都是冻结的，只提供特征，所以 8.71 个百分点的差距完全来自“特征本身的质量”。这说明对动作专家而言，具身预训练过的 VLM 表示（更懂“哪个物体在哪、可以怎样抓”）远比通用 VLM 有用。没有 VLM 时，动作专家只能通过视频专家间接获取语言信息（视频专家用的是 T5 文本编码），而 T5 只编码文字、不结合画面理解指令。
原文
Causal Imprint. We then investigate Causal Imprint, which is designed to encode information about how the observed scene is likely to evolve while using only observations available to the policy at inference time. CI is trained with its latent-difference objective \mathcal{L}_\Delta, which directly supervises the imprint representation using changes between consecutive future video latents. Introducing CI improves the success rate from 69.08% to 70.80%. We further introduce the representation alignment objective \mathcal{L}_{\text{align}}, which aligns Causal Imprint tokens with spatially corresponding representations from the future video features. This increases the success rate substantially from 70.80% to 76.45%, a gain of 5.65 percentage points.
译文
Causal Imprint。然后我们考察 Causal Imprint。它的设计目的是：只利用推理时策略可获得的观测，来编码“当前观测到的场景将会如何演化”的信息。CI 通过其潜变量差分目标 \mathcal{L}_\Delta 训练，即直接用相邻未来视频潜变量之间的变化来监督印记表示。引入 CI 使成功率从 69.08% 提高到 70.80%。我们进一步引入表示对齐目标 \mathcal{L}_{\text{align}}，把 Causal Imprint token 与未来视频特征中空间上对应的表示对齐。这使成功率从 70.80% 大幅提升到 76.45%，提升 5.65 个百分点。
解释
回顾第 3.4 节：\mathcal{L}_\Delta=\|h^\Delta_t-\Delta Z_t\|_2^2（式 15），其中 \Delta Z_t 是相邻未来帧 VAE 潜变量之差，即“像素层面会变多少、在哪里变”；\mathcal{L}_{\text{align}} 则把 CI token 拉向视频专家处理未来帧时得到的深层特征。前者教“会变什么”，后者教“这种变化意味着什么”。数字显示后者贡献大得多（+5.65 vs. +1.72）。
原文
The two objectives provide complementary signals: \mathcal{L}_\Delta directly describes the temporal changes along the future trajectory, whereas \mathcal{L}_{\text{align}} transfers the richer semantic and temporal representation learned by the video expert. Together, they encourage Causal Imprint to capture not only low-level visual changes but also higher-level information about the subsequent evolution of the scene. Importantly, the future observations are used only to construct supervision during training. The Causal Imprint tokens themselves cannot directly attend to the realized future, and the action expert therefore receives no privileged future observation during either training or inference. This allows future trajectories to shape the learned representation without requiring explicit future-video generation for online action prediction.
译文
这两个目标提供互补的信号：\mathcal{L}_\Delta 直接刻画沿未来轨迹的时间变化，而 \mathcal{L}_{\text{align}} 迁移视频专家学到的更丰富的语义与时间表示。二者结合，促使 Causal Imprint 不仅捕捉低层的视觉变化，还捕捉关于场景后续演化的更高层信息。重要的是，未来观测仅在训练中用于构造监督信号。Causal Imprint token 本身不能直接注意到已实现的未来，因此动作专家无论在训练还是推理时都不会接收到任何特权性的未来观测。这使得未来轨迹能够塑造所学表示，而在线动作预测时又无需显式生成未来视频。
解释
这一段在重申全文的核心论点——“未来只当老师，不当输入”。打个比方：学生（CI token）考试时只能看题目（当前与历史帧），老师（未来帧）只在批改作业时出现，通过分数（损失梯度）告诉学生“你对未来的猜测对不对”。因为学生从未在作答时偷看答案，所以训练与推理的信息条件完全一致，推理时也就不必先花大量算力“想象”未来视频再决定动作。这既保证了训练—推理一致性，又解释了为什么 InternW0-\Delta 推理速度能远快于需要 rollout 未来视频的 WAM。
原文
4D-aware representation distillation. As shown in Table 14, adding \mathcal{L}_{\text{4D}} improves the overall success rate on LIBERO-Plus from 76.45% to 78.37%, a gain of 1.92 percentage points. We further investigate the teacher choice and action feature injection in Table 15. Distillation from Track4World (Lu et al., 2026) achieves the highest success rate of 78.37%, compared with 76.15% for CoWTracker (Lai et al., 2026) and 73.63% for Pi3X (Wang et al., 2025). Additionally, injecting the student descriptor into the action expert yields a slightly lower success rate of 77.78%. We therefore adopt auxiliary distillation of the video expert without action injection, allowing the student branch to be removed at inference with no additional policy inference cost.
译文
4D 感知表示蒸馏。如表 14 所示，加入 \mathcal{L}_{\text{4D}} 使 LIBERO-Plus 上的总体成功率从 76.45% 提高到 78.37%，提升 1.92 个百分点。我们在表 15 中进一步考察教师的选择以及是否向动作专家注入特征。以 Track4World（Lu et al., 2026）为教师的蒸馏取得最高成功率 78.37%，而 CoWTracker（Lai et al., 2026）为 76.15%，Pi3X（Wang et al., 2025）为 73.63%。此外，把学生描述子额外注入动作专家，成功率反而略降为 77.78%。因此我们采用不做动作注入、仅作用于视频专家的辅助蒸馏，这样学生分支在推理时可以移除，不带来任何额外的策略推理开销。
解释
这里有两个设计问题：
- 选哪个教师？三者都是视觉几何/运动基础模型：CoWTracker 偏重点跟踪（2D/3D 轨迹），Pi3X 偏重静态 3D 重建（点图、相机位姿），Track4World 同时给出几何、2D/3D 运动、相机运动和可见性（见第 3.5 节的 1430 维描述子）。结果是“几何 + 运动”兼备的 Track4World 最好；偏静态几何的 Pi3X 甚至比不蒸馏还差 2.82 个点，说明不合适的教师会带偏表示。
- 要不要把学生描述子喂给动作专家？直觉上多给信息应该更好，但实验显示注入后反而略降（77.78 vs. 78.37）。可能的解释是：描述子是对教师的近似，直接喂给动作专家会引入噪声或捷径；只把它作为视频专家的辅助训练目标，则让几何/运动知识“融化”进视频专家的特征里，再经 MoT 间接惠及动作专家。附带的好处是推理时可以把学生分支整个删掉，零额外开销。
| Teacher | Action injection | Success rate (%) \uparrow |
| None | No | 76.45 |
| CoWTracker | No | 76.15 |
| Pi3X | No | 73.63 |
| Track4World | Yes | 77.78 |
| Track4World | No | 78.37 |
原文
Table 15: Ablation of distillation design on LIBERO-Plus (Fei et al., 2026). All variants include SMC, RynnBrain1.1-2B (Dang et al., 2026), CI, and \mathcal{L}_{\text{align}}. Action injection indicates whether the student descriptor is additionally fed into the action expert.
译文
表 15：LIBERO-Plus（Fei et al., 2026）上蒸馏设计的消融。所有变体都包含 SMC、RynnBrain1.1-2B（Dang et al., 2026）、CI 与 \mathcal{L}_{\text{align}}。“动作注入”（Action injection）表示是否把学生描述子额外输入动作专家。
表 15 解读
列：Teacher（蒸馏教师；None 表示不做 4D 蒸馏）、Action injection（是否把学生分支输出的描述子也送进动作专家）、LIBERO-Plus 总体成功率。所有行共享表 14 第 6 行（76.45）的配置，只改变蒸馏部分。关键读数：
- 第 1 行 76.45 与表 14 第 6 行一致，是本表的参照。
- CoWTracker（76.15）与不蒸馏基本持平（-0.30），Pi3X（73.63）明显变差（-2.82）；只有 Track4World 带来正收益（+1.92）。可见“蒸馏一定有益”并不成立，教师所含信息需与操作任务需要的动态信息相匹配。
- 同为 Track4World，不注入（78.37）比注入（77.78）高 0.59。差距不大，但方向上支持“仅作辅助训练目标”的选择，并且该选择还省去推理成本。
7.4.2数据源消融（Data Source Ablations）
原文
We investigate how different data sources contribute to model performance. We consider four types of data, including raw robot demonstrations, raw human egocentric videos (Ego), human demonstrations converted through our Ego2Robot pipeline (Ego2Robot), and UMI data. All variants use the same InternW0-\Delta architecture and are pretrained using data from different sources. The subsequent training and evaluation pipelines are kept identical across all settings, allowing us to study the impact of data composition under a controlled setup.
译文
我们考察不同数据源对模型性能的贡献。我们考虑四类数据：原始机器人演示、原始人类第一人称视频（Ego）、经本文 Ego2Robot 流水线转换后的人类演示（Ego2Robot），以及 UMI 数据。所有变体都使用相同的 InternW0-\Delta 架构，只是用不同来源的数据进行预训练。其后的训练与评测流程在所有设置中保持一致，从而能在受控条件下研究数据构成的影响。
解释
四类数据与“机器人”的接近程度依次递增：Ego（画面是人手、动作是从人手估计出的末端轨迹）\to Ego2Robot（画面中人手被渲染的机器人替换，动作经 IK 变成机器人关节轨迹，见第 4.3 节与附录 A）\to UMI（人手持带夹爪的采集器，视角与动作空间天然接近机器人夹爪）\to Robot（真实机器人数据）。实验设计是“单一数据源预训练 \to 同样的下游后训练 \to 同样评测”，用来回答“哪种数据最值钱”。
原文
Across the evaluated settings, as shown in Table 16 and Table 17, robot demonstration data provides the strongest and most consistent benefit. On LIBERO-Plus, robot pretraining improves the overall success rate from 78.59% to 83.73%. The effect is particularly clear on RoboTwin 2.0 under the Clean2Random setting, where the success rate increases from 4.38% to 32.34%, indicating a substantial gain in robustness to visual and environmental variations. In comparison, raw egocentric video brings only a modest improvement on the current benchmarks, increasing LIBERO-Plus performance to 80.45% and RoboTwin Clean2Random from 2.80% to 3.13%. Ego2Robot data yields a larger gain, reaching 81.86% on LIBERO-Plus and 6.66% on RoboTwin Clean2Random. UMI data provides an even stronger improvement, achieving 83.24% on LIBERO-Plus and increasing RoboTwin Clean2Random from 2.80% to 13.90%. Overall, these results suggest that human data become more effective when their observation and action spaces are better aligned with those of robots.
译文
如表 16 和表 17 所示，在所有评测设置中，机器人演示数据带来最强、最稳定的收益。在 LIBERO-Plus 上，机器人数据预训练把总体成功率从 78.59% 提高到 83.73%。在 RoboTwin 2.0 的 Clean2Random 设置下效果尤为明显：成功率从 4.38% 升至 32.34%，表明对视觉与环境变化的鲁棒性大幅增强。相比之下，原始第一人称视频在当前基准上只带来有限的提升：LIBERO-Plus 升至 80.45%，RoboTwin Clean2Random 从 2.80% 升至 3.13%。Ego2Robot 数据的收益更大，LIBERO-Plus 达到 81.86%，RoboTwin Clean2Random 达到 6.66%。UMI 数据的提升更强，LIBERO-Plus 达到 83.24%，RoboTwin Clean2Random 从 2.80% 提高到 13.90%。总体来看，这些结果表明：人类数据的观测空间和动作空间与机器人越对齐，就越有效。
解释
注意 RoboTwin 上有两个不同的基线（4.38% 与 2.80%），因为动作空间不同：Robot 和 Ego2Robot 能提供关节动作，与 Joint 基线比较；Ego 和 UMI 只有末端（EEF）轨迹，与 EEF 基线比较（详见表 17 解读）。收益排序 Robot > UMI > Ego2Robot > Ego 与“和机器人对齐程度”完全一致，这是本段的结论。同时它也是对 Ego2Robot 流水线的肯定：同样的人类视频，经过视觉与运动学对齐之后，比原始 Ego 更有用（LIBERO-Plus 81.86 vs. 80.45）。
原文
The results are specific to our current data scale and evaluation setting, with both LIBERO-Plus and RoboTwin primarily focusing on gripper-based manipulation. Under this setting, raw egocentric video provides limited gains in task success rate, but this does not rule out stronger benefits at a larger scale or on tasks that are more closely aligned with human hand-object interaction. In particular, human demonstrations may be more useful for dexterous manipulation, where fine-grained contact patterns and hand motions are less well covered by standard robot datasets. Moreover, our current evaluation only measures downstream success rate. Therefore, the limited improvement from Ego data should not be interpreted as evidence that it does not improve the learned representation, since such effects may not be fully reflected by success rate on the current benchmarks.
译文
这些结果特定于我们当前的数据规模和评测设置，而 LIBERO-Plus 与 RoboTwin 都主要关注基于夹爪的操作。在这一设置下，原始第一人称视频对任务成功率的提升有限，但这并不排除它在更大规模下、或在与人手—物体交互更接近的任务上带来更强收益的可能。特别是，人类演示可能对灵巧操作更有用，因为细粒度的接触模式和手部运动在标准机器人数据集中覆盖不足。此外，我们当前的评测只衡量下游成功率。因此，Ego 数据带来的提升有限，不应被解读为它没有改善所学表示的证据，因为这类作用未必能在当前基准的成功率上完全体现出来。
解释
这是作者对“负面结果”的审慎限定，有三层意思：(1) 评测基准都是夹爪任务，而人手视频天然更接近灵巧手，评测与数据之间存在错位；(2) 数据规模有限，规模效应可能尚未显现；(3) 成功率是一个粗指标，表示层面的改善（如对物体可供性、接触的理解）未必立刻转化为成功率。这也呼应了第 8 节“局限”中“对第一人称数据的研究仍有限”的说法。读者应把“Ego 无用”理解为“在本文设置下尚未观察到明显收益”。
| Method | Camera | Robot | Language | Light | Background | Noise | Layout | Overall \uparrow |
| Baseline | 60.10 | 76.77 | 88.68 | 95.01 | 81.23 | 75.58 | 78.69 | 78.59 |
| Robot | 74.36 | 68.39 | 93.69 | 96.67 | 81.97 | 93.07 | 80.85 | 83.73 |
| Ego | 65.60 | 74.26 | 91.93 | 94.83 | 84.20 | 79.01 | 78.82 | 80.45 |
| Ego2Robot | 63.10 | 79.81 | 93.69 | 96.76 | 82.62 | 82.70 | 79.15 | 81.86 |
| UMI | 65.92 | 80.26 | 96.49 | 97.20 | 79.83 | 84.82 | 81.38 | 83.24 |
原文
Table 16: Pretraining data-source ablation on LIBERO-Plus (Fei et al., 2026). The baseline uses no pretraining, whereas Robot, Ego, Ego2Robot, and UMI are pretrained exclusively on their respective data sources. All values are success rates (%).
译文
表 16：LIBERO-Plus（Fei et al., 2026）上的预训练数据源消融。基线不做预训练；Robot、Ego、Ego2Robot 和 UMI 分别只用各自的数据源进行预训练。所有数值均为成功率（%）。（加粗为各列最优，由译者标注。）
表 16 解读
列：与表 9 相同的七类扰动及总体成功率。行：无预训练基线，以及四种单一数据源预训练。关键读数：
- 总体：Robot 83.73（+5.14）> UMI 83.24（+4.65）> Ego2Robot 81.86（+3.27）> Ego 80.45（+1.86）> 基线 78.59。所有数据源都有正收益，只是大小不同。
- Robot 数据的“偏科”：Camera（+14.26）和 Noise（+17.49）提升巨大——真实机器人数据包含大量不同相机位置与画质，自然增强了视角与噪声鲁棒性；但 Robot 列（初始状态扰动）反而从 76.77 降到 68.39（-8.38），可能是其他机器人数据的姿态分布与 LIBERO 的 Franka 不同，产生了负迁移。
- UMI 最均衡：七列中有四列最优（Robot、Language、Light、Layout），总体仅比 Robot 低 0.49。UMI 的腕部视角和夹爪动作与机器人高度一致，且没有引入特定机器人的姿态偏好。
- Ego 的唯一亮点是 Background（84.20，最高），可能因为人类视频场景极其多样（厨房、客厅等真实环境）。
- 与表 9 对照：即使最好的单一数据源也只有 83.73，而最终模型达 92.8，说明多源混合的完整预训练（加上更长的训练）远超任何单一来源。
| Method | Clean2Clean \uparrow | Clean2Random \uparrow | Overall \uparrow |
| Baseline-Joint | 78.20 | 4.38 | 41.29 |
| Robot-Joint | 81.36 | 32.34 | 56.85 |
| Ego2Robot-Joint | 76.92 | 6.66 | 41.79 |
| Baseline-EEF | 61.58 | 2.80 | 32.08 |
| Ego-EEF | 61.49 | 3.13 | 32.31 |
| UMI-EEF | 66.05 | 13.90 | 39.98 |
原文
Table 17: Pretraining data-source ablation on RoboTwin 2.0 (Chen et al., 2026c). Baseline-Joint and Baseline-EEF use no pretraining, whereas Robot-Joint, Ego2Robot-Joint, Ego-EEF and UMI-EEF are pretrained exclusively on their respective data sources. All values are success rates (%).
译文
表 17：RoboTwin 2.0（Chen et al., 2026c）上的预训练数据源消融。Baseline-Joint 与 Baseline-EEF 不做预训练；Robot-Joint、Ego2Robot-Joint、Ego-EEF 和 UMI-EEF 分别只用各自的数据源进行预训练。所有数值均为成功率（%）。（译者按动作空间加了分组线。）
表 17 解读
行的两组：后缀 -Joint 表示下游在 RoboTwin 上用关节空间动作训练与控制，-EEF 表示用末端执行器位姿动作。之所以分两组，是因为 Ego 和 UMI 数据只能提供末端轨迹（人手/手持夹爪的 6D 位姿），没有机器人关节量；而 Robot 和 Ego2Robot（经 IK 求出关节轨迹）能提供关节动作。每组各有一个无预训练基线，组内比较才公平。列：同表 10。关键读数：
- 关节组：Robot 预训练把 Clean2Random 从 4.38 提到 32.34（约 7.4 倍），是全表最显著的效应；Ego2Robot 只到 6.66，且 Clean2Clean 略降（78.20\to76.92）。
- EEF 组：UMI 把 Clean2Random 从 2.80 提到 13.90（约 5 倍），Clean2Clean 也 +4.47；Ego 几乎无变化（3.13，Clean2Clean 甚至 -0.09）。
- 两组之间：EEF 基线（61.58）比关节基线（78.20）低很多，说明在 RoboTwin 的双臂任务上关节空间控制本身更有效，所以跨组数字不宜直接比较。
- 与表 10 对照：最终模型 Clean2Random 为 71.9，远高于任何单一数据源，再次说明混合预训练的价值。所有单源结果在 Clean2Random 上都很低，也说明这个分布外设置对数据多样性极其敏感。
7.5GPT 引导策略的探索（Exploration of GPT-Guided Policy）
原文
Recent work on GPT as an embodied policy has explored using GPT-6 Astra (Zhang et al., 2026c) together with \pi_{0.5}, where GPT monitors the execution of a VLA policy and provides corrective actions when necessary (Su et al., 2026). Their experiments on RoboDojo show that such test-time correction can improve the execution of a pretrained VLA policy (Su et al., 2026). Motivated by these results, we conduct a small-scale exploration to examine whether the same mechanism can also complement a World Action Model.
译文
近期关于“GPT 作为具身策略”的工作探索了把 GPT-6 Astra（Zhang et al., 2026c）与 \pi_{0.5} 结合使用：GPT 监控 VLA 策略的执行，并在必要时给出纠正动作（Su et al., 2026）。他们在 RoboDojo 上的实验表明，这种测试时纠正能够改善预训练 VLA 策略的执行（Su et al., 2026）。受这些结果启发，我们开展了一项小规模探索，考察同样的机制能否也对世界动作模型起到补充作用。
解释
这是一种“大脑 + 小脑”的分层思路：底层策略（VLA 或 WAM）负责高频、精细的动作生成；上层大模型（GPT-6 Astra）低频地观察执行情况，发现偏差（如抓错物体、理解错指令）时介入纠正。表 12 已经显示二者能力互补（Astra 擅长语义推理、精度差；InternW0-\Delta 精度好、推理弱），本节就是验证这种互补能否通过组合兑现。
原文
We select five RoboDojo tasks on which the standalone InternW0-\Delta exhibits relatively low performance under seed 0, covering both semantic reasoning and manipulation challenges. As shown in Table 18, InternW0-\Delta obtains an average success rate of 10.80% and an average score of 13.92 across these tasks. We then introduce GPT-6 Astra as an execution-time assistant that observes the interaction and provides end-effector (EEF) corrections when necessary. This increases the average success rate to 47.20% and the average score to 52.00, corresponding to absolute gains of 36.40 percentage points in success rate and 38.08 score points, respectively.
译文
我们选取了五个 RoboDojo 任务，在随机种子 0 下单独运行的 InternW0-\Delta 在这些任务上表现相对较差，它们同时涵盖语义推理与操作两方面的挑战。如表 18 所示，InternW0-\Delta 在这些任务上的平均成功率为 10.80%，平均得分为 13.92。随后我们引入 GPT-6 Astra 作为执行时助手，由它观察交互过程，并在必要时给出末端执行器（EEF）纠正。这使平均成功率提高到 47.20%，平均得分提高到 52.00，分别对应成功率 36.40 个百分点和得分 38.08 分的绝对提升。
解释
选任务的方式值得注意：作者专挑 InternW0-\Delta 单独表现差的任务（低起点），这会让提升幅度显得更大——属于有意的“困难样本”探索，而非无偏的整体评估，作者也明确称之为“小规模探索”。验算：47.20-10.80=36.40，52.00-13.92=38.08；两组平均都是五个任务的简单平均（如 (14+4+0+36+0)/5=10.8）。“EEF 纠正”意味着 GPT 输出的是末端位姿层面的修正量，由于第 4.1 节的规范动作空间中有 EEF 槽位，这种外部指令可以较自然地与 WAM 的动作接口对接。
| Method | classify objects | press by number | solve equation | general pickup | arrange largest number | Average | ||||||
| SR\uparrow | Score\uparrow | SR\uparrow | Score\uparrow | SR\uparrow | Score\uparrow | SR\uparrow | Score\uparrow | SR\uparrow | Score\uparrow | SR\uparrow | Score\uparrow | |
| Ours | 14.00 | 22.80 | 4.00 | 4.00 | 0.00 | 0.00 | 36.00 | 36.00 | 0.00 | 6.80 | 10.80 | 13.92 |
| Ours+Astra | 80.00 | 88.00 | 20.00 | 20.00 | 20.00 | 20.00 | 76.00 | 76.00 | 40.00 | 56.00 | 47.20 | 52.00 |
原文
Table 18: Comparison of Ours and Ours+Astra on five RoboDojo (Chen et al., 2026b) tasks.
译文
表 18：在五个 RoboDojo（Chen et al., 2026b）任务上 Ours 与 Ours+Astra 的比较。
表 18 解读
列：五个任务——classify objects（按语言要求对物体分类）、press by number（按指定数字按键）、solve equation（解算式并按答案操作）、general pickup（通用抓取）、arrange largest number（用数字块拼出最大的数），以及平均；每个任务报告 SR 与 Score。前四个中有三个明显需要语义/算术推理，general pickup 则偏操作。行：Ours = InternW0-\Delta 单独运行；Ours+Astra = 加入 GPT-6 Astra 执行时纠正。关键读数：
- 最大提升在 classify objects（SR 14\to80）和 general pickup（36\to76）；
- 原本完全失败的 solve equation（0\to20）和 arrange largest number（0\to40）变得部分可解——这两项本质上是“先想清楚答案再动手”，单靠 WAM 无法完成；
- press by number 只从 4 提到 20，仍然很低；
- 对 Ours+Astra 而言 SR 全是 20 的倍数，结合下一段“五个评测回合”的描述，加 Astra 的设置很可能每任务只评测 5 个回合，统计不确定性较大（每多成功一次就是 20 个百分点）。
原文
These results suggest that GPT-based execution correction can provide complementary high-level reasoning and online adjustment even when the underlying policy is a world-action model rather than a conventional VLA.
译文
这些结果表明，即便底层策略是世界动作模型而非传统的 VLA，基于 GPT 的执行纠正也能提供互补的高层推理与在线调整。
解释
结论的落脚点是“通用性”：外部大模型纠正这一机制不依赖底层策略的具体类型。对 InternW0-\Delta 而言，这意味着它的语义推理短板（表 12 中 Open 类仅 10.17）可以通过外接大模型弥补，而不必把推理能力全部塞进策略模型本身。
原文
We further observe that the reasoning configuration of GPT-6 Astra can have a noticeable effect on correction quality, especially for tasks that require semantic understanding. For example, on “classify objects by language”, using GPT-6 Astra with the xhigh reasoning setting together with InternW0-\Delta successfully completes all five evaluated episodes. In contrast, the medium setting obtains only partial task scores and does not complete the full task in these trials. Although this comparison is based on a small number of episodes, it indicates that stronger test-time reasoning may be particularly useful when policy correction requires interpreting language instructions, identifying task-relevant objects, and deciding how the underlying policy should be adjusted.
译文
我们还观察到，GPT-6 Astra 的推理配置会对纠正质量产生明显影响，尤其是在需要语义理解的任务上。例如，在“按语言对物体分类”任务中，以 xhigh 推理设置运行的 GPT-6 Astra 与 InternW0-\Delta 配合，成功完成了全部五个评测回合；相比之下，medium 设置只获得部分任务得分，在这些试验中没有一次完整完成任务。尽管这一比较只基于少量回合，它仍表明：当策略纠正需要解读语言指令、识别与任务相关的物体并决定如何调整底层策略时，更强的测试时推理可能尤其有用。
解释
“xhigh”“medium”是 GPT 模型可调的推理强度（reasoning effort）档位：档位越高，模型在回答前“思考”得越久、越深入，延迟和成本也越高。5/5 vs. 0/5 的差距很鲜明，但样本只有 5 个回合，作者也承认这只是初步迹象。它提示了一种“算力换性能”的取舍：上层纠正调用频率低，因此可以负担较高的推理档位，而不影响底层策略的实时性。
8结论（Conclusion）
原文
Summary. We have presented InternW0-\Delta, a world-action model that learns action-relevant dynamic representations by combining pretrained visual dynamics, task-conditioned scene semantics, and robot action generation within a directed Mixture-of-Transformers architecture. A pretrained video expert is coupled with an action expert grounded in scene semantics from a frozen VLM, while sparse visual memory provides both episode-level context and recent interaction history. Causal Imprint uses future supervision to capture changes relevant to subsequent interaction, and training-only 4D-aware distillation further introduces geometric and motion priors into the video representation. Together, these designs allow predictive information learned during training to directly support action generation without requiring future-video rollout at inference.
译文
总结。我们提出了 InternW0-\Delta，一种世界动作模型：它在有向混合 Transformer 架构中结合预训练视觉动力学、任务条件化的场景语义和机器人动作生成，从而学习与动作相关的动态表示。预训练视频专家与一个动作专家耦合，后者以冻结 VLM 提供的场景语义为依托；稀疏视觉记忆同时提供回合级上下文和近期交互历史。Causal Imprint 利用未来监督来捕捉与后续交互相关的变化，仅训练期使用的 4D 感知蒸馏则进一步向视频表示中引入几何与运动先验。这些设计共同使训练中学到的预测性信息能够直接支持动作生成，而无需在推理时展开未来视频。
解释
这一段把模型层面的贡献浓缩成四件事，并能与第 7.4.1 节的消融一一对应：(1) 有向 MoT（视频专家 + 动作专家，信息只能单向流入动作）是骨架；(2) 冻结 VLM 语义——消融中单项最大增益（+15.61）；(3) 稀疏视觉记忆（SMC，+3.88）；(4) Causal Imprint（\mathcal{L}_\Delta+\mathcal{L}_{\text{align}}，+7.37）与 4D 蒸馏（+1.92）。最后一句是全文的核心卖点：“预测未来”的能力在训练时被吸收进表示里，推理时不必真的生成未来视频，因此既有 WAM 的动态理解，又有接近 VLA 的推理速度。
原文
Beyond the model, we have developed a scalable data, training, and deployment recipe built on over 20K hours of processed robot, UMI, egocentric, and Ego2Robot data. Canonical state and action representations, systematic quality filtering, and temporal alignment enable heterogeneous pretraining followed by target-embodiment post-training. Across multiple simulation benchmarks and real-robot platforms, the same pretrained checkpoint can be adapted to different task distributions, embodiments, and control interfaces, including both gripper-based and dexterous-hand manipulation.
译文
在模型之外，我们还建立了一套可扩展的数据、训练与部署方案，其基础是超过 2 万小时、经过处理的机器人、UMI、第一人称和 Ego2Robot 数据。规范的状态与动作表示、系统化的质量过滤以及时间对齐，使得“先异构预训练、再针对目标本体后训练”成为可能。在多个仿真基准和真机平台上，同一个预训练检查点可以适配到不同的任务分布、本体和控制接口，既包括夹爪操作，也包括灵巧手操作。
解释
这一段总结“工程/数据”层面的贡献，对应第 4 节（数据）和第 5 节（训练）。“同一个检查点”贯穿了第 7 节的所有实验：四个仿真基准、四个真机平台（夹爪 2 个、灵巧手 2 个），动作空间从 7 维到 36 维不等。表 13（有/无预训练 20% vs. 95%、0% vs. 95%）是这条主张最直接的证据。
原文
We have further developed training and inference infrastructure for efficient model iteration and online execution, and will release the associated code, checkpoints, training recipes, data-processing tools, and evaluation and deployment utilities.
译文
我们还开发了用于高效模型迭代与在线执行的训练和推理基础设施，并将开源相关代码、检查点、训练方案、数据处理工具以及评测与部署工具。
解释
对应第 6 节基础设施（包括推理往返延迟从 780.5 ms 降到 152.8 ms 的一系列优化，以及训练时 RTC 异步执行）。标题中的“Open Data”和这里的开源承诺，是本文区别于许多闭源大模型工作的定位。
原文
Limitations. The current work does not exhaustively explore all components of the proposed training and deployment framework. First, although egocentric human demonstrations constitute an important part of our pretraining mixture, our study of their contribution remains limited. We have not yet systematically examined how different egocentric data sources, conversion strategies, scaling ratios, and supervision forms affect downstream robot performance. Second, our investigation of agent-assisted control is still preliminary. The current experiments only consider a limited corrective setting, and do not systematically study agent invocation policies, long-horizon planning, hierarchical decision making, or tighter integration between external agents and the world-action model. We leave a broader study of egocentric data utilization and agent-enhanced control to future work.
译文
局限。当前工作并未穷尽地探索所提训练与部署框架的全部组成部分。第一，尽管第一人称人类演示是我们预训练数据混合中的重要部分，我们对其贡献的研究仍然有限。我们尚未系统地考察不同的第一人称数据来源、转换策略、配比规模和监督形式如何影响下游机器人性能。第二，我们对智能体辅助控制（agent-assisted control）的研究仍处于初步阶段。当前实验只考虑了有限的纠正设置，没有系统研究智能体的调用策略、长时程规划、分层决策，或外部智能体与世界动作模型之间更紧密的集成。我们将对第一人称数据利用和智能体增强控制的更广泛研究留待未来工作。
解释
两条局限分别对应第 7.4.2 节和第 7.5 节的“未尽之处”：
- 第一人称数据：表 16、17 显示原始 Ego 数据收益很小，但作者只做了“单一来源预训练”这一种实验，没有研究“Ego 占多少比例最好”“用什么方式转换”“当作视频监督还是动作监督”等问题，评测也只覆盖夹爪任务。因此“人类视频到底多有用”这个问题在本文中仍是开放的。
- 智能体辅助控制：表 18 只是 5 个任务、少量回合的纠正实验。何时调用 GPT（调用策略）、GPT 能否做长程任务规划、如何分层决策、GPT 与 WAM 能否端到端联合等问题都没有涉及。
9团队（Team）
原文
Core Contributors. Real-Robot Data: Zizun Li*, Xingyu Miao*, Xueyuan Wei. Ego & UMI Data: Kaiwen Song*, Tenghui Wang*, Yuping He. Model, Pretraining & Infrastructure: Xingyu Miao*, Zizun Li*, Hanxue Zhang, Yating Wang. Post-Training & Real-Robot Deployment: Baole Fang*, Xudong Li*, Xijie Yang*. Technical Lead (listed alphabetically): Junting Dong†, Haoyu Guo†, Tao Lu†, Mulin Yu†. Project Lead: Bowen Zhou, Bin Zhao, Tianfan Xue, Weinan Zhang†, Chunhua Shen†.Contributors. (28 further names; see original.)*Equal contribution. †Corresponding authors.
解释
本节是作者贡献名单，按规范只作简要说明。核心贡献者按工作方向分为四组：真机数据；第一人称与 UMI 数据；模型、预训练与基础设施；后训练与真机部署。另列技术负责人 4 人（按字母序）、项目负责人 5 人，以及 28 名其他贡献者（完整名单见原文第 39 页）。星号 * 表示同等贡献，† 表示通讯作者。分工本身也反映了本文的工作构成：数据（真机 + 人类数据）与工程部署占了相当大的比重，而不仅是模型设计。
参考文献（References）
解释
参考文献从略，见原文（第 40–48 页）。
A人到机器人的逆运动学细节（Human-to-Robot IK Details）
原文
At each local IK iteration for a fixed robot base placement, the solver combines position and approach tracking, contact-point and orientation refinement, and projected joint-space regularization:
\Delta\mathbf{q} = \underbrace{\Delta\mathbf{q}_p}_{\substack{\text{position and}\\ \text{approach tracking}}} + \underbrace{\Delta\mathbf{q}_s}_{\substack{\text{contact-point and}\\ \text{orientation refinement}}} + \underbrace{\mathbf{N}_p\mathbf{g}_{\text{aux}}}_{\substack{\text{joint-space}\\ \text{regularization}}}, \tag{26}
where \mathbf{q} is the current joint configuration and \Delta\mathbf{q} is its local update. The increment \Delta\mathbf{q}_p tracks TCP position and approach direction, \Delta\mathbf{q}_s refines contact-point alignment and orientation through the damped projection \mathbf{N}_p, and \mathbf{N}_p\mathbf{g}_{\text{aux}} applies projected joint-space preferences. The subscript p denotes position and approach tracking, s denotes contact-point and orientation refinement, and \mu is the pseudoinverse damping. The individual terms and update bounds are specified below. 译文
对于固定的机器人底座摆放，在每一次局部 IK 迭代中，求解器结合位置与接近方向跟踪、接触点与姿态细化，以及投影后的关节空间正则化：
\Delta\mathbf{q} = \underbrace{\Delta\mathbf{q}_p}_{\text{位置与接近方向跟踪}} + \underbrace{\Delta\mathbf{q}_s}_{\text{接触点与姿态细化}} + \underbrace{\mathbf{N}_p\mathbf{g}_{\text{aux}}}_{\text{关节空间正则化}}, \qquad (26)
其中 \mathbf{q} 是当前关节构型，\Delta\mathbf{q} 是它的局部更新量。增量 \Delta\mathbf{q}_p 跟踪 TCP（工具中心点，tool center point）的位置和接近方向；\Delta\mathbf{q}_s 通过阻尼投影 \mathbf{N}_p 细化接触点对齐与姿态；\mathbf{N}_p\mathbf{g}_{\text{aux}} 施加经过投影的关节空间偏好。下标 p 表示位置与接近方向跟踪，s 表示接触点与姿态细化，\mu 是伪逆的阻尼系数。各项及更新的边界约束说明如下。 解释
背景：这是第 4.3 节 Ego2Robot 流水线中“运动学对齐”的数值核心。给定从人类视频中估计出的手部轨迹，要为机器人手臂求一串关节角，使机器人夹爪“模仿”人手的位置、朝向和捏合点——这就是逆运动学（IK）。由于目标有多个、可能彼此冲突，作者采用经典的任务优先级（task-priority）IK：
- 第一优先级 \Delta\mathbf{q}_p：让 TCP（夹爪末端参考点）到达目标位置，并让夹爪的接近方向（approach，夹爪“指向”的轴）与人手一致。这是最重要的，决定“手伸到哪儿”。
- 第二优先级 \Delta\mathbf{q}_s：在不破坏第一优先级的前提下，微调夹爪两指的接触点和完整姿态（包括绕接近轴的转角）。
- 最低优先级 \mathbf{N}_p\mathbf{g}_{\text{aux}}：在剩余自由度里做“软偏好”——动作连续、靠近舒适姿态、远离关节限位。
原文
Position and approach tracking. This step reduces TCP position error and approach-direction error beyond the allowed tolerance:
\Delta\mathbf{q}_p = \mathbf{J}^{\#}_{p,\mu}\mathbf{e}_p, \qquad \mathbf{N}_p = \mathbf{I} - \mathbf{J}^{\#}_{p,\mu}\mathbf{J}_p. \tag{27}
Here (\mathbf{J}_p,\mathbf{e}_p) contains the weighted position-and-approach Jacobian and residual. The damped inverse is defined by \mathbf{J}^{\#}_\mu = \mathbf{J}^\top(\mathbf{J}\mathbf{J}^\top + \mu\mathbf{I})^{-1}, with adaptive damping \mu > 0. 译文
位置与接近方向跟踪。这一步减小超出允许容差的 TCP 位置误差和接近方向误差：
\Delta\mathbf{q}_p = \mathbf{J}^{\#}_{p,\mu}\mathbf{e}_p, \qquad \mathbf{N}_p = \mathbf{I} - \mathbf{J}^{\#}_{p,\mu}\mathbf{J}_p. \qquad (27)
其中 (\mathbf{J}_p,\mathbf{e}_p) 是加权后的位置—接近方向雅可比矩阵及残差。阻尼逆定义为 \mathbf{J}^{\#}_\mu = \mathbf{J}^\top(\mathbf{J}\mathbf{J}^\top + \mu\mathbf{I})^{-1}，阻尼 \mu>0 自适应调节。 解释
符号：
- \mathbf{e}_p：任务空间残差，即“目标位置/方向 - 当前位置/方向”，只在误差超过容差时才非零（“beyond the allowed tolerance”），因此已经足够接近时不再强行修正。
- \mathbf{J}_p：雅可比矩阵，描述关节角微小变化 \Delta\mathbf{q} 引起的 TCP 位置/方向变化：\Delta\mathbf{x}\approx\mathbf{J}_p\Delta\mathbf{q}。“加权”指位置与方向误差单位不同（米 vs. 弧度），需要权重平衡。
- \mathbf{J}^{\#}_\mu：阻尼最小二乘伪逆（damped least squares, DLS，又称 Levenberg–Marquardt 形式）。若 \mu=0 就是普通伪逆 \mathbf{J}^\top(\mathbf{J}\mathbf{J}^\top)^{-1}；但在奇异位形附近 \mathbf{J}\mathbf{J}^\top 接近不可逆，求出的 \Delta\mathbf{q} 会爆炸。加上 \mu\mathbf{I} 后，等价于求解 \min_{\Delta\mathbf{q}}\|\mathbf{J}\Delta\mathbf{q}-\mathbf{e}\|^2+\mu\|\Delta\mathbf{q}\|^2，以牺牲少许精度换取数值稳定。“自适应”指在接近奇异时增大 \mu、远离时减小。
- \mathbf{N}_p=\mathbf{I}-\mathbf{J}^{\#}_{p,\mu}\mathbf{J}_p：零空间投影器的阻尼版本。当 \mu=0 且 \mathbf{J}_p 行满秩时，\mathbf{J}_p\mathbf{N}_p=\mathbf{J}_p-\mathbf{J}_p\mathbf{J}_p^{\#}\mathbf{J}_p=\mathbf{0}，即任何形如 \mathbf{N}_p\mathbf{v} 的关节运动都不会改变 TCP 的位置与方向。有阻尼时这一性质只近似成立（下文会说明）。
原文
Contact-point and orientation refinement. Optional gripper contact-point and full-orientation targets are refined after the position-and-approach step. Their correction accounts for the residual left by that step and uses the position-and-approach projection \mathbf{N}_p to attenuate interference:
\Delta\mathbf{q}_s = \mathbf{N}_p(\mathbf{J}_s\mathbf{N}_p)^{\#}_{4\mu}(\mathbf{e}_s - \mathbf{J}_s\Delta\mathbf{q}_p), \tag{28}
where (\mathbf{J}_s,\mathbf{e}_s) stacks the weighted Jacobians and residuals of the enabled contact-point and orientation terms. Contact-point alignment drives the left and right gripper-pad centers toward two virtual points on the human pinch axis. These targets specify geometric alignment. This term is zero when neither refinement is active. 译文
接触点与姿态细化。可选的夹爪接触点目标和完整姿态目标在位置—接近方向这一步之后进行细化。其修正量考虑了上一步留下的残差，并利用位置—接近方向的投影 \mathbf{N}_p 来减弱相互干扰：
\Delta\mathbf{q}_s = \mathbf{N}_p(\mathbf{J}_s\mathbf{N}_p)^{\#}_{4\mu}(\mathbf{e}_s - \mathbf{J}_s\Delta\mathbf{q}_p), \qquad (28)
其中 (\mathbf{J}_s,\mathbf{e}_s) 是把已启用的接触点项和姿态项的加权雅可比与残差堆叠在一起得到的。接触点对齐会驱动左右夹爪指垫的中心，分别趋向人手捏合轴（pinch axis）上的两个虚拟点。这些目标规定的是几何对齐。当两种细化都未启用时，该项为零。 解释
式 (28) 是经典的两级任务优先级公式（Nakamura / Siciliano–Slotine 形式）的阻尼版，逐项理解：
- \mathbf{e}_s-\mathbf{J}_s\Delta\mathbf{q}_p：第一步的 \Delta\mathbf{q}_p 已经“顺带”改变了次级任务的误差（改变量为 \mathbf{J}_s\Delta\mathbf{q}_p），所以次级只需修正剩下的部分，避免重复补偿。
- \mathbf{J}_s\mathbf{N}_p：次级任务在“第一优先级零空间”里的有效雅可比——只用那些不影响 TCP 位置/方向的关节运动去完成次级任务。
- (\cdot)^{\#}_{4\mu}：对它做阻尼伪逆，阻尼取 4\mu（比第一级大 4 倍）。次级任务在零空间里往往条件数更差，更大的阻尼让修正更保守，防止为了次要目标而产生大幅关节运动。
- 最外层再左乘 \mathbf{N}_p：保证最终的修正量仍落在第一优先级的（近似）零空间中。
原文
Joint-space regularization. The auxiliary adjustment encourages continuity, a preferred home configuration, and separation from joint limits:
\mathbf{g}_{\text{aux}} = \lambda_r(\mathbf{q}_{\text{ref}} - \mathbf{q}) + \lambda_h(\mathbf{q}_{\text{home}} - \mathbf{q}) + \lambda_l\mathbf{d}_{\text{lim}}. \tag{29}
The reference \mathbf{q}_{\text{ref}} is the warm-reference configuration when available, or otherwise the continuation seed. Attraction to this reference is proportional to the negative gradient of \frac{1}{2}\|\mathbf{q}-\mathbf{q}_{\text{ref}}\|_2^2. The remaining terms pull toward the home configuration \mathbf{q}_{\text{home}} and follow the joint-limit avoidance direction \mathbf{d}_{\text{lim}}. The weights \lambda_r, \lambda_h, and \lambda_l control the respective contributions, with disabled terms set to zero. All three contributions pass through \mathbf{N}_p in the total update. 译文
关节空间正则化。辅助调整项鼓励连续性、偏好的初始（home）构型以及远离关节限位：
\mathbf{g}_{\text{aux}} = \lambda_r(\mathbf{q}_{\text{ref}} - \mathbf{q}) + \lambda_h(\mathbf{q}_{\text{home}} - \mathbf{q}) + \lambda_l\mathbf{d}_{\text{lim}}. \qquad (29)
参考构型 \mathbf{q}_{\text{ref}} 在可用时取暖启动参考构型（warm-reference configuration），否则取延续种子（continuation seed）。向该参考构型的吸引与 \frac{1}{2}\|\mathbf{q}-\mathbf{q}_{\text{ref}}\|_2^2 的负梯度成正比。其余两项分别把构型拉向 home 构型 \mathbf{q}_{\text{home}}，以及沿关节限位回避方向 \mathbf{d}_{\text{lim}} 移动。权重 \lambda_r、\lambda_h、\lambda_l 控制各自的贡献，被禁用的项权重设为零。在总更新中，这三项贡献都要经过 \mathbf{N}_p。 解释
三项都是“梯度下降一步”的形式：
- \lambda_r(\mathbf{q}_{\text{ref}}-\mathbf{q})：-\nabla_{\mathbf{q}}\tfrac12\|\mathbf{q}-\mathbf{q}_{\text{ref}}\|^2=\mathbf{q}_{\text{ref}}-\mathbf{q}，把解拉向参考构型，通常是上一帧的解（暖启动）。这保证逐帧求解时关节轨迹连续，不会因为 IK 多解而在两种姿态之间“翻转”（例如手肘忽上忽下）——这对生成可用作训练数据的平滑机器人轨迹至关重要。
- \lambda_h(\mathbf{q}_{\text{home}}-\mathbf{q})：偏好自然、舒展的姿态，避免手臂扭成奇怪的形状。
- \lambda_l\mathbf{d}_{\text{lim}}：\mathbf{d}_{\text{lim}} 指向远离关节上下限的方向，防止关节贴着极限运行（接近极限时可活动余量小，后续帧容易无解）。
原文
The damped projection is not an exact null-space projector. The combined increment is clipped before updating the joint configuration, followed by joint-limit enforcement and bounds on displacement from the continuation seed. Accepted iterates are selected using task-priority criteria rather than a single aggregate loss. Continuity depends on reference attraction, solution reuse, step bounds, and trajectory-level validation.
译文
阻尼投影并不是精确的零空间投影器。合并后的增量在更新关节构型之前会先被裁剪（clip），随后施加关节限位约束，并限制相对延续种子的位移幅度。被接受的迭代结果按任务优先级准则来挑选，而不是依据单一的聚合损失。连续性依赖于参考吸引、解的复用、步长界限以及轨迹级验证。
解释
这一段是工程上的“诚实声明”与安全措施：
- 近似零空间：由于 \mu>0，\mathbf{J}_p\mathbf{N}_p=\mu\,(\mathbf{J}_p\mathbf{J}_p^\top+\mu\mathbf{I})^{-1}\mathbf{J}_p\neq\mathbf{0}，低优先级项会轻微干扰高优先级任务；\mu 越小干扰越小，但数值越不稳定，这是精度与稳定性的折中。
- 三道保险：增量裁剪（单步不能走太远）、关节限位硬约束（物理上不可达的角度直接截断）、相对种子的位移上限（不偏离上一帧太远，配合连续性）。
- 按优先级挑选迭代：先比较第一优先级（位置/接近方向）误差，再比较次级误差，而不是把所有误差加权求和成一个数——避免“次级目标做得很好但位置没对准”的解被误选。
- 连续性来自多处共同作用：\lambda_r 吸引、复用上一帧的解作为初值、步长限制，以及第 4.3 节中对整条轨迹的跳变检查（不合格的轨迹会被丢弃）。