显示：
OpenWAM：迈向系统化世界–动作模型预训练的开放、模块化探索 OpenWAM: An Open, Modular Exploration Towards Systematic World–Action Model Pretraining Yuran Wang^{1,*,\ddagger}, Siqiao Huang^{2,*,\ddagger}, Mingleyang Li^{3,*}, Chenhao Zhang^{3,*}, Jiaqi Liang^{3,*}, Weiyang Jin^{4}, Yue Chen^{3}, Xuemin Chi^{5}, Donghao Zhou^{6}, Qize Yu^{3}, Yu-Kai Wang^{3}, Yuhan Rui^{3}, Shenzhe Yao^{2}, Zhen Yuan^{4}, Zhenhao Shen^{3}, Kefei Zhu^{3}, Zijie Zhu^{4}, Ning Gao^{7}, Xiaowei Chi^{3}, Guanqi He^{2}, Shanghang Zhang^{3}, Hao Dong^{3}, Lin Shao^{1,\dagger}, Hang Zhao^{2,\dagger} ^1新加坡国立大学（National University of Singapore），^2清华大学，^3北京大学，^4香港大学， ^5浙江大学，^6香港中文大学，^7上海交通大学^*同等贡献，^\ddagger项目负责人，^\dagger共同指导 arXiv:2609.07398v1 [cs.RO]，2026 年 9 月 7 日 项目主页：https://openwam-official.github.io/ 代码：https://github.com/OpenWAM-Official/OpenWAM模型与数据：https://huggingface.co/OpenWAM
文档说明：本文档逐段给出原文（灰框）、译文（蓝框）和解释（橙框），图表附原图注、译文图注和绿色解读框。参考文献列表从略，见原文。
目录导读这篇论文要解决什么问题全文结构：三个组成部分主要结论（含第 5 节的额外发现）读懂本文需要的背景知识本文档的覆盖范围图 1：OpenWAM 总览摘要1 引言（Introduction）2 相关工作（Related Work）3 OpenWAM-Infra：面向世界–动作建模的模块化基础设施3.1 可组合模型（Composable Model）3.2 训练运行时（Training Runtime）3.3 部署运行时（Deployment Runtime）3.4 评测协议（Evaluation Protocol）4 OpenWAM-Study：世界–动作模型的设计原则4.1 继承上游世界知识（Inheriting Upstream World Knowledge）4.1.1 生成式世界先验（Generative World Priors）4.1.2 视觉表征先验（Visual Representation Priors）4.2 构建世界学习与动作学习的协同（Building Synergy between World and Action Learning）4.2.1 架构容量（Architectural Capacity）4.2.2 训练时信息流（Training-Time Information Flow）4.2.3 推理时信息流（Inference-Time Information Flow）4.3 跨领域巩固知识（Consolidating Knowledge Across Domains）4.3.1 问题设置与评测协议（Problem Setup and Evaluation Protocol）4.3.2 具身预训练主要扩展 OOD 泛化（Embodied Pretraining Primarily Expands OOD Generalization）4.3.3 预训练改变了偏好的信息流（Pretraining Changes the Preferred Information Flow）4.4 总结（Concluding Remarks）5 OpenWAM-\alpha：从设计原则到预训练模型5.1 OpenWAM-\alpha 的架构、训练与部署5.1.1 架构5.1.2 训练5.1.3 部署5.2 多领域预训练数据与整理5.2.1 预训练数据混合5.2.2 数据整理5.3 仿真基准评测5.3.1 OpenWAM-\alpha 表现如何？5.3.2 VLA 与 WAM：哪种范式更胜一筹？5.4 真机评测6 结论参考文献附录总览A 局限与未来工作B 训练细节B.1 预训练配置B.2 针对各数据集的 SFT 配置C 真机评测协议C.1 单臂真机实验C.2 灵巧手真机实验C.3 双臂真机实验D 逐基准仿真结果

导读

这篇论文要解决什么问题

近两年机器人学习出现了一条新路线：世界–动作模型（World–Action Model，WAM）。它不像视觉–语言–动作模型（VLA）那样从图文大模型出发，而是从视频生成模型出发：先继承视频模型里"世界会怎样变化"的知识，再在机器人数据上学会"该怎么动"。直觉上，会预测未来画面的模型应当更懂物理和因果，从而更会操作。问题在于，已有的 WAM 系统大多是"一体化"（monolithic）的：用哪个视频骨干、视觉潜空间怎么编码、动作分支怎么接、注意力怎么连、推理时视频和动作谁先去噪、用什么数据预训练，这些选择被打包在一起。某个系统效果好，说不清是哪个选择起了作用。本文的目标就是把这些选择拆开，做成可控变量，系统地回答三个问题：
  1. WAM 应该从上游继承什么样的世界知识？（骨干、视觉表征）
  2. 怎样让世界学习和动作学习真正互相促进（synergy）？（架构容量、训练与推理时的信息流）
  3. 这种协同怎样跨领域扩展？（人类第一视角数据、机器人数据怎么用于预训练）

全文结构：三个组成部分

主要结论（含第 5 节的额外发现）

读懂本文需要的背景知识

本文档的覆盖范围

本文档前半部分（第 1–16 页）覆盖：摘要、引言、相关工作、OpenWAM-Infra（第 3 节）和 OpenWAM-Study（第 4 节，到"总结"小节）；后半部分覆盖 OpenWAM-\alpha（第 5 节）、结论和附录。

图 1：OpenWAM 总览

A_fig1.png
原文
Figure 1 Overview of OpenWAM. OpenWAM-Infra (left) factorizes world–action modeling into composable modules with unified training, deployment, and evaluation; OpenWAM-Study (middle) resolves the design space through controlled questions and distills a pretraining recipe; OpenWAM-\alpha (right), pretrained on 518.5M frames of egocentric and robot data, sustains top-tier performance from simulation to the real world.
译文
图 1 OpenWAM 总览。OpenWAM-Infra（左）把世界–动作建模分解为可组合的模块，并提供统一的训练、部署与评测；OpenWAM-Study（中）通过一组受控问题厘清设计空间，提炼出预训练配方；OpenWAM-\alpha（右）在 5.185 亿帧第一视角人类数据与机器人数据上预训练，从仿真到真实世界都保持第一梯队的性能。
图 1 解读
整张图按"基础设施 \to 研究 \to 模型"从左到右排开，正好对应论文第 3、4、5 节。
  • 左栏 OpenWAM-Infra（红框），自上而下四块：
    • Multi-Source Data：数据加载器既支持 LeRobot 格式，也可扩展自定义格式；数据源有人类第一视角数据（Human Ego Data）和机器人数据（Robot Data），统一成一个"灵活数据字典"（图像、语言、动作与本体感觉）。
    • Model：可替换的组件——4 种视觉编码器、5 种视频骨干、6 种架构变体、4 种注意力掩码，且可继续扩展。
    • Deployment：去噪调度（视频领先 Video-Leading / 同步 Sync / 动作领先 Action-Leading，可用方差平移 Variance Shift 或线性偏移 Linear Offset 实现）、推理加速（DiT 缓存 + torch.compile）、推理模式（同步/异步）。
    • Evaluation：统一接口（观测/本体预处理、统一或分离的动作空间、动作反归一化），通过 WebSocket 连接仿真基准和真机基准。
  • 中栏 OpenWAM-Study（绿框）：六个问题，带靶心图标的是最终选中的配方。
    • Q1 架构：在 Single-System（Vanilla / MoE）、Dual-System（联合自注意力 / 联合交叉注意力 / IDM）、Tri-System 中，选 Dual-System 联合自注意力；Tri-System 性能最高（奖杯）但代价更大。
    • Q2 骨干：Wan2.1-VACE-1.3B、Cosmos-Predict2.5-2B、Cosmos3-Edge-4B、Wan2.1-I2V-14B、Wan2.2-TI2V-5B 中选 Wan2.2-TI2V-5B，理由是"性能与效率平衡"；14B 性能最好（奖杯）。
    • Q3 视觉表征：高维语义潜变量、经 S-VAE 压缩的低维语义潜变量（维度 48）、低维像素潜变量三者比较；结论是理想表征应"紧凑且富含世界信息"，压缩后的语义潜变量与像素潜变量相当（\approx），都远好于高维语义潜变量（\ll）。
    • Q4 视频–动作交互：从零训练时最优的是 A\leftarrow V（动作看视频）；预训练后最优的是 V\leftrightarrow A（相互可见）——"预训练揭示了最优交互范式"。
    • Q5 预训练与数据配方：预训练主要提升 OOD（+12.12 个百分点），ID 几乎不变（+0.68）；人类数据带来泛化，机器人数据带来精度；人类与机器人数据联合训练（Cotrain）优于两阶段训练。
    • Q6 去噪策略：动作领先、同步、视频领先三者中选同步（Sync）。
  • 右栏 OpenWAM-\alpha（蓝框）：预训练数据共 5.185 亿帧、约 6,369 小时，其中人类第一视角数据占 30%，机器人数据占 70%（真实 40%，仿真 30%）；模型为 Wan-VAE + Wan2.2-TI2V-5B + Dual-System 联合自注意力 + Mutual 掩码。下方雷达图比较 OpenWAM-\alpha（蓝，Ours）、此前 WAM 最佳（深灰）和 \pi_{0.5}（浅灰）在 LIBERO、LIBERO-Plus、RoboCasa365、RoboDojo、RoboTwin（C2R / Full）、EBench、VLABench、RoboCasa-GR1 以及三类真机任务上的成绩，蓝色区域在大多数轴上最外，表明整体处于第一梯队（LIBERO-Plus 轴上略逊于此前 WAM 最佳）。
这张图是全文的"地图"：读者可以先把每个 Q 记下，后文第 4 节逐一给出实验依据。

摘要

原文
World–Action Models inherit world knowledge from video-generative priors, and channel it into executable control signals through embodied experience. Existing systems, however, are monolithic: the generative backbone, visual representation, architecture, information flow, inference procedure, and training data are tightly coupled, obscuring which design choices matter and why. We introduce OpenWAM, an open research stack that turns world–action pretraining into a controlled experimental program. OpenWAM-Infra factorizes the WAM design space into composable modules with unified training, inference, deployment, and evaluation.
译文
世界–动作模型（World–Action Model，WAM）从视频生成先验中继承世界知识，并通过具身经验把这些知识转化为可执行的控制信号。然而现有系统是一体化的（monolithic）：生成骨干、视觉表征、架构、信息流、推理流程和训练数据紧密耦合，使人看不清哪些设计选择重要、为什么重要。我们提出 OpenWAM，一个开放的研究栈，把世界–动作预训练变成一项受控的实验计划。OpenWAM-Infra 把 WAM 的设计空间分解为可组合的模块，并提供统一的训练、推理、部署与评测。
解释
摘要前半段交代动机和第一个产出。"继承世界知识"指视频生成模型在海量视频上学到的物体如何运动、场景如何变化等规律；"具身经验"指带动作标签的机器人轨迹。作者认为当前 WAM 研究的瓶颈不是缺少一个更强的模型，而是缺少一个能做对照实验的平台：六类设计选择绑在一起，任何性能差异都无法归因。所以第一个贡献是"基础设施"，把各个选择拆成可替换的模块。
原文
On this substrate, OpenWAM-Study examines three questions through controlled experiments: what to inherit, how world and action learning interact, and how their synergy scales; and distills three principles: upstream knowledge transfers through a sufficiently capable generative backbone and a compact, information-rich latent space; world–action synergy requires dedicated action capacity, explicit world-to-action information flow, and synchronized joint denoising; and embodied pretraining principally improves out-of-domain generalization, with one-stage co-training over egocentric and robot data integrating world coverage and action grounding.
译文
在此基础上，OpenWAM-Study 通过受控实验考察三个问题：继承什么、世界学习与动作学习如何相互作用、二者的协同如何扩展；并提炼出三条原则：上游知识要借助足够强的生成骨干和紧凑而信息丰富的潜空间才能迁移；世界–动作协同需要专门的动作容量、显式的"世界到动作"信息流以及同步的联合去噪；具身预训练主要改善分布外（out-of-domain）泛化，而在第一视角数据与机器人数据上的一阶段联合训练（co-training）能把世界覆盖面与动作落地结合起来。
解释
三个问题与三条原则一一对应，分别是第 4.1、4.2、4.3 节的结论。几个关键词的含义：紧凑（compact）指潜变量通道数低（比如 48 维），信息丰富指仍保留足以重建画面的信息；专门的动作容量指给动作单独的参数（而不是和视频共用一套 Transformer）；显式的世界到动作信息流指动作 token 在注意力里能直接读取视频 token；同步联合去噪指推理时视频和动作的噪声水平一起下降。第三条原则有点反直觉：预训练几乎不提高训练分布内的成绩，好处集中在没见过的场景上。"世界覆盖"来自人类第一视角视频（场景多样但没有机器人动作），"动作落地"（action grounding）来自机器人轨迹。
原文
Composing these principles, we build OpenWAM-\alpha, an open WAM pretrained on roughly 6,400 hours of egocentric human and robot data and evaluated across simulation and real-world benchmarks. Across the eight simulation benchmarks and the real-robot experiments, which together span embodiments from single-arm and bimanual manipulation to dexterous hands, OpenWAM-\alpha delivers consistently excellent performance, sustaining its top-tier standing from simulation to the physical world. We release the full stack, including infrastructure, evaluation protocols, pretrained models, and data recipes, to facilitate future research.
译文
把这些原则组合起来，我们构建了 OpenWAM-\alpha：一个开放的 WAM，在约 6,400 小时的人类第一视角数据和机器人数据上预训练，并在仿真与真实世界基准上评测。在 8 个仿真基准和真机实验中——涵盖从单臂、双臂操作到灵巧手的多种本体（embodiment）——OpenWAM-\alpha 始终表现出色，从仿真到物理世界都保持第一梯队。我们开放整个技术栈，包括基础设施、评测协议、预训练模型和数据配方，以促进后续研究。
解释
第三个产出是一个实际可用的预训练模型，用来验证从小规模对照实验得到的原则在大规模数据上依然成立。"本体"（embodiment）指机器人的具体形态（单臂、双臂、带灵巧手等），不同本体的动作维度和含义不同，后文用统一的 80 维动作空间把它们放到一起训练。注意作者的措辞是"第一梯队"而不是"全面最优"，第 5 节里确实有若干基准上 OpenWAM-\alpha 不是第一。

1引言（Introduction）

原文
“Knowledge is the beginning of action, action is the completion of knowledge.” — Yang-ming Wang, “Instructions for Practical Living” (Wang, 1963)
译文
"知是行之始，行是知之成。"——王阳明，《传习录》
解释
作者用王阳明"知行合一"的名句开篇，点题全文：WAM 的"知"是从视频中学到的世界知识，"行"是机器人动作；论文的核心主张正是这两者应当在一个模型里相互成就，而不是各学各的。英文书名 Instructions for Practical Living 即陈荣捷译的《传习录》。
原文
Intelligence requires more than recognizing the world: an embodied agent must anticipate how the world changes and act to bring about desired changes. Modern vision and vision–language models have learned rich semantic representations from large-scale image–text data (Radford et al., 2021; Caron et al., 2021; Tong et al., 2024). Video generation models go one step further by learning to synthesize how visual worlds may evolve over time (Ho et al., 2022; Brooks et al., 2024). An embodied system, however, must learn not only what can happen in the world, but also what actions it can take to make it happen.
译文
智能不只是识别世界：一个具身智能体（embodied agent）必须预见世界如何变化，并采取行动促成期望的变化。现代视觉模型和视觉–语言模型从大规模图文数据中学到了丰富的语义表征（Radford 等，2021；Caron 等，2021；Tong 等，2024）。视频生成模型更进一步，学会了合成视觉世界随时间可能怎样演化（Ho 等，2022；Brooks 等，2024）。然而，具身系统不仅要知道世界里可能发生什么，还要知道自己可以采取哪些动作让它发生。
解释
这一段排出了一个"能力阶梯"：识别（CLIP、DINO 等图文/视觉模型）\to 预测演化（视频生成模型，如 Sora）\to 行动（具身智能）。引用的 Radford 2021 是 CLIP，Caron 2021 是 DINO，Brooks 2024 是 Sora 技术报告。作者想说明：视频模型已经走到了第二级，离第三级只差"动作"这一环，这正是 WAM 要补的。
原文
This distinction exposes a fundamental data asymmetry in embodied learning. Videos of the changing world are abundant, whereas robot trajectories with executable action labels remain comparatively scarce (Ye et al., 2026d). Earlier approaches such as ACT (Zhao et al., 2023) and Diffusion Policy (Chi et al., 2025) largely learn visual regularities and control together solely from robot demonstrations. More recently, Vision–Language–Action (VLA) models (Brohan et al., 2023; Kim et al., 2024; Black et al., 2024) instead inherit semantic and linguistic knowledge from pretrained vision–language models. World–Action Models (WAMs) (Pai et al., 2025; Ye et al., 2026c; Li et al., 2026b) offer a different warm start: they inherit a generative prior over visual dynamics from video generation pretraining and adapt it through embodied experience. Because video generation is explicitly trained to model temporal evolution, it provides a direct starting point for learning how actions interact with physical change. In this sense, a WAM inherits world knowledge from video generation priors, then learns how to take actions in this world through embodied experience.
译文
这一区别揭示了具身学习中一个根本性的数据不对称：记录世界变化的视频非常丰富，而带有可执行动作标签的机器人轨迹相对稀缺（Ye 等，2026d）。早期方法如 ACT（Zhao 等，2023）和扩散策略（Diffusion Policy，Chi 等，2025）主要只从机器人演示中同时学习视觉规律和控制。近来，视觉–语言–动作（VLA）模型（Brohan 等，2023；Kim 等，2024；Black 等，2024）转而从预训练视觉–语言模型继承语义和语言知识。世界–动作模型（WAM）（Pai 等，2025；Ye 等，2026c；Li 等，2026b）提供了另一种"热启动"（warm start）：它们从视频生成预训练中继承关于视觉动态的生成先验，再通过具身经验加以适配。由于视频生成本身就是被显式训练来建模时间演化的，它为学习"动作如何与物理变化相互作用"提供了一个直接的起点。在这个意义上，WAM 从视频生成先验中继承世界知识，然后通过具身经验学会如何在这个世界中行动。
解释
这里把三代方法按"从哪里热启动"来区分：
  • ACT / Diffusion Policy：从零开始，视觉和控制都只靠机器人演示学，数据少就很难泛化；
  • VLA（RT-2、OpenVLA、\pi_0）：从视觉–语言模型（VLM）启动，带来的是"这是杯子""把它放进抽屉"这类语义知识，但 VLM 并没有学过东西怎么动；
  • WAM：从视频生成模型启动，带来的是"杯子被推会滑动、布被拉会变形"这类动态知识。
"数据不对称"是 WAM 的根本动机：互联网和人类第一视角视频可以有数百万小时，而带动作标签的机器人数据通常只有数千到数万小时。视频模型可以吃下前者，再用少量后者教它怎么动。
原文
The promise of a WAM, however, lies not merely in initializing a policy with a video model or attaching an action head to a video generator. Its central hypothesis is that world prediction and action generation can be learned in synergy: world modeling supplies structured knowledge of states, dynamics, and possible futures that can inform action, while action learning focuses the model on changes that matter for control. However, realizing this synergy is nontrivial. Useful knowledge may reside in different parts of an upstream video model; nominally joint world and action prediction may still lack an effective information path; and a design that fits one training domain may fail to retain its advantage across new scenes or embodiments. These challenges lead to three central questions:
译文
然而，WAM 的价值并不仅仅在于用视频模型初始化一个策略，或在视频生成器上挂一个动作头。它的核心假设是：世界预测与动作生成可以协同学习——世界建模提供关于状态、动态和可能未来的结构化知识，为动作提供信息；而动作学习则让模型聚焦于对控制真正重要的变化。但实现这种协同并不容易：有用的知识可能分布在上游视频模型的不同部分；名义上"联合"预测世界和动作的模型，可能仍缺少有效的信息通路；在某个训练领域里适配良好的设计，到了新场景或新本体上可能保不住优势。这些挑战引出三个核心问题：
解释
这一段区分了"弱 WAM"和"强 WAM"。弱版本只是拿视频模型权重做初始化，或在视频模型上接个动作头，二者其实各干各的；强版本要求两个任务互相帮助（synergy）。随后列出的三个难点分别对应后面三个问题：(1) 知识"藏在哪"——骨干还是视觉编码器（对应 4.1 节）；(2) "通路是否存在"——即使两种 token 在同一个网络里，如果注意力掩码不让动作看到视频，世界知识就流不到动作上（对应 4.2 节）；(3) "能否跨域保持"（对应 4.3 节）。
原文
Question 1: What world knowledge should a WAM inherit?
Question 2: How can we create synergy between world and action learning?
Question 3: How can this synergy be scaled across domains?
译文
问题 1：WAM 应该继承什么样的世界知识？
问题 2：如何在世界学习与动作学习之间建立协同？
问题 3：如何把这种协同扩展到多个领域？
解释
三个问题是全文的骨架，分别是"继承（inheritance）–协同（synergy）–扩展（scaling）"。它们有先后依赖：先确定从上游拿什么，再确定拿来的知识怎样流向动作，最后看这一套在更大、更杂的数据上是否仍然成立。
原文
Answering these questions is difficult with existing monolithic systems, where the generative backbone, visual representation, model architecture, information flow, inference procedure, and composition of training data are often tightly coupled (Kim et al., 2026b; Bi et al., 2026; Zhang et al., 2026b). We therefore introduce OpenWAM, an open research stack for systematically developing World–Action Models. OpenWAM-Infra factorizes the WAM design space into modular components, while providing unified training, inference, deployment, and evaluation across domains and embodiments (Section 3). This modularity turns world–action modeling from a collection of coupled implementation choices into a controlled experimental program.
译文
在现有的一体化系统中，生成骨干、视觉表征、模型架构、信息流、推理流程和训练数据组成往往紧密耦合（Kim 等，2026b；Bi 等，2026；Zhang 等，2026b），因此很难回答上述问题。为此我们提出 OpenWAM，一个用于系统化开发世界–动作模型的开放研究栈。OpenWAM-Infra 把 WAM 的设计空间分解为模块化组件，同时提供跨领域、跨本体的统一训练、推理、部署和评测（第 3 节）。这种模块化把世界–动作建模从一堆相互耦合的实现选择，变成了一项受控的实验计划。
解释
"受控实验"（controlled experiment）是本文方法论的关键词：每次只改一个变量，其余保持不变，才能把性能差异归因到这个变量上。例如要比较两个视频骨干，就必须保证视觉编码、注意力掩码、训练步数、评测协议都一样——这在各家代码库各写各的情况下做不到，所以需要一个统一平台。
原文
Building on this framework, OpenWAM-Study investigates the design principles underlying World–Action Models (Section 4). Our study produces three main findings. First, upstream world knowledge transfers most effectively through a sufficiently capable generative backbone and a compact, information-rich visual latent space. Second, world–action synergy does not emerge from parameter count or joint prediction alone. It is best fostered with sufficient action-specific capacity, explicit world-to-action information flow, and a joint test-time denoising schedule. Third, embodied pretraining primarily improves out-of-domain generalization rather than in-domain fitting: human egocentric video broadens world coverage, robot trajectories provide executable action knowledge, and their joint training offers the strongest practical integration strategy in our experiments. Together, these findings suggest a practical recipe from inheriting world knowledge, to enabling world–action synergy, to scaling that synergy across domains.
译文
在此框架上，OpenWAM-Study 研究世界–动作模型背后的设计原则（第 4 节）。研究得到三个主要发现。第一，上游世界知识要通过足够强的生成骨干和紧凑而信息丰富的视觉潜空间，才能最有效地迁移。第二，世界–动作协同并不会仅凭参数量或联合预测就自然出现；最能促进它的是充足的动作专用容量、显式的世界到动作信息流，以及测试时的联合去噪调度。第三，具身预训练主要提升分布外泛化，而非分布内拟合：人类第一视角视频拓宽了世界覆盖面，机器人轨迹提供了可执行的动作知识，而在我们的实验中，二者联合训练是最有效的实际整合策略。这些发现合在一起，给出了一套实用配方：从继承世界知识，到实现世界–动作协同，再到把协同扩展到多个领域。
解释
第二个发现里"不会仅凭参数量出现"很重要：后文会看到，把同样的参数塞进一个共享骨干（Single-System）并不如单独给动作一个网络（Dual-System）；而且"联合预测"本身也不够——如果掩码让动作看不到视频，即使两者一起训练，协同也弱。第三个发现中"in-domain fitting"指在与训练数据同分布的测试集上的成绩，预训练对它帮助很小（图 1 中仅 +0.68 个百分点），这提醒读者：评价预训练要看 OOD 指标。
原文
Finally, we compose the resulting design principles into OpenWAM-\alpha, an open pretrained World–Action Model (Section 5). Pretrained on 518M frames (\approx6,400 hours) of egocentric human and robot data through a unified 80-D action space, OpenWAM-\alpha demonstrates that the recipe distilled from controlled settings remains effective when scaled across heterogeneous data, domains, and embodiments. It delivers consistently strong results on eight simulation benchmarks covering five embodiment categories, and preserves this standing in real-robot experiments on single-arm, bimanual, and dexterous-hand platforms. Beyond the scores themselves, these large-scale evaluations also distill further insights into the design and scaling behavior of embodied foundation models. To let the community reproduce and extend these findings, we release alongside the model the full stack: the infrastructure, evaluation protocols, pretrained weights, and data recipes.
译文
最后，我们把得到的设计原则组合成 OpenWAM-\alpha，一个开放的预训练世界–动作模型（第 5 节）。它通过统一的 80 维动作空间，在 5.18 亿帧（约 6,400 小时）的人类第一视角数据和机器人数据上预训练，表明从受控设置中提炼的配方在扩展到异构数据、领域和本体时依然有效。它在覆盖五类本体的 8 个仿真基准上始终取得强劲结果，并在单臂、双臂和灵巧手平台的真机实验中保持这一水平。除分数本身外，这些大规模评测还进一步提炼出关于具身基础模型设计与扩展行为的见解。为了让社区复现并拓展这些发现，我们在发布模型的同时开放整个技术栈：基础设施、评测协议、预训练权重和数据配方。
解释
"80 维统一动作空间"是让不同机器人一起训练的关键：不同本体的动作向量被放到固定语义的槽位里（第 5 节给出：左右臂各 34 维——末端位置 3、6D 旋转 6、夹爪 1、灵巧手 24——再加 12 维预留），缺失的槽位用掩码屏蔽。人类视频没有机器人动作标签，只监督视频流。顺带验算：5.18 亿帧 / 6,400 小时 \approx 5.18\times10^8 / (6400\times3600 s) \approx 22.5 帧/秒，与常见的 15–30 fps 采样率相符。
原文
In summary, our major contributions are as follows:
  • OpenWAM-Infra: a Modular Infrastructure for World–Action Modeling. It factorizes model, representation, training, inference, deployment, and evaluation choices, enabling controlled comparison across WAM designs and embodiments (Section 3).
  • OpenWAM-Study: Design Principles for World–Action Synergy. Through controlled studies of upstream priors, architectural capacity, information flow, denoising, and multi-domain pretraining, we identify how world knowledge can interact productively with action learning (Section 4).
  • OpenWAM-\alpha: a Pretrained World–Action Model. It instantiates and scales the derived principles into an open model for evaluating generalization and efficiency across domains and embodiments (Section 5).
译文
总之，我们的主要贡献如下：
  • OpenWAM-Infra：世界–动作建模的模块化基础设施。它把模型、表征、训练、推理、部署和评测各方面的选择拆分开，使不同 WAM 设计、不同本体之间可以做受控比较（第 3 节）。
  • OpenWAM-Study：世界–动作协同的设计原则。通过对上游先验、架构容量、信息流、去噪和多领域预训练的受控研究，我们弄清了世界知识怎样才能与动作学习产生有益的相互作用（第 4 节）。
  • OpenWAM-\alpha：一个预训练的世界–动作模型。它把推导出的原则实例化并扩大规模，形成一个开放模型，用于评估跨领域、跨本体的泛化能力与效率（第 5 节）。
解释
三项贡献是"平台–知识–模型"的关系：平台使对照实验可行，对照实验产出原则，原则落地为模型；模型的大规模评测又反过来检验原则。阅读时可以把第 4 节当作全文的核心，第 3 节是它的实验装置，第 5 节是它的规模化验证。

2相关工作（Related Work）

原文
World–Action Models. World models (LeCun et al., 2022; Ha & Schmidhuber, 2018) learn predictive structure from observations and have long supported control through planning (Zhou et al., 2024; Maes et al., 2026; Huang et al., 2026), model-based reinforcement learning (Hafner et al., 2019; M. Moerland et al., 2023), and policy evaluation (Huang et al., 2025; Wang et al., 2026b). World–Action Models (WAMs) (Ye et al., 2026c; Pai et al., 2025; Li et al., 2026b) more directly connect this predictive capacity to executable behavior by serving as a policy model. Whereas VLA models (Brohan et al., 2023; Kim et al., 2024; Black et al., 2024) primarily inherit semantic and linguistic knowledge from vision–language pretraining (Beyer et al., 2024; Bai et al., 2025), WAMs initialize from video-generative priors so that action learning begins with a model with rich visual dynamical priors (Wan et al., 2025; Ali et al., 2025). Yet existing systems remain largely monolithic, where changes in model architecture, training procedure, data recipe, and sampling schedule are often coupled. Consequently, it remains unclear which components transfer world knowledge, which interactions create world–action synergy, and which benefits persist across domains. OpenWAM exposes these coupled choices as controlled variables and organizes them around precisely these three questions.
译文
世界–动作模型。世界模型（LeCun 等，2022；Ha & Schmidhuber，2018）从观测中学习可预测的结构，长期以来通过规划（Zhou 等，2024；Maes 等，2026；Huang 等，2026）、基于模型的强化学习（Hafner 等，2019；M. Moerland 等，2023）和策略评估（Huang 等，2025；Wang 等，2026b）支撑控制。世界–动作模型（Ye 等，2026c；Pai 等，2025；Li 等，2026b）则把这种预测能力更直接地连接到可执行的行为上——它本身就充当策略模型。VLA 模型（Brohan 等，2023；Kim 等，2024；Black 等，2024）主要从视觉–语言预训练（Beyer 等，2024；Bai 等，2025）继承语义和语言知识；而 WAM 从视频生成先验初始化，使动作学习从一个拥有丰富视觉动态先验的模型起步（Wan 等，2025；Ali 等，2025）。然而现有系统大多是一体化的，模型架构、训练流程、数据配方和采样调度的改动往往相互耦合。因此，哪些组件在传递世界知识、哪些交互产生世界–动作协同、哪些收益能跨领域保持，至今仍不清楚。OpenWAM 把这些耦合的选择暴露为受控变量，并恰好围绕这三个问题来组织。
解释
这一段给 WAM 定位。传统世界模型（如 Dreamer 系列，Hafner 2019）是"辅助工具"：用来做规划、在想象中训练强化学习策略、或者评估策略好坏，本身不出动作。WAM 的不同之处是"世界模型就是策略"，同一个网络既预测未来也输出动作。引用的 Beyer 2024 是 PaliGemma，Bai 2025 是 Qwen2.5-VL（VLA 常用的 VLM 骨干）；Wan 2025 是 Wan 视频模型，Ali 2025 是 NVIDIA Cosmos 世界基础模型（WAM 常用的视频骨干）。最后一句再次把三个研究问题与"一体化系统无法归因"的痛点挂钩。
原文
Open Research Ecosystems for Generalist Robot Policy Learning. Open models and codebases have made generalist robot learning increasingly accessible. OpenVLA (Kim et al., 2024) established an open-weight pretrained baseline, while StarVLA (Community, 2026) provides a modular and performant platform for varied design choices. StarVLA-\alpha (Ye et al., 2026b) complements this breadth with a pretrained model of minimalist design, and XPolicyLab (Community et al., 2026) contributes a unified standard and open ecosystem for policy evaluation and deployment. These efforts have significantly reduced development complexity in the VLA research community; however, in the WAM community, such open research ecosystems remain largely absent. A modular system in this realm accompanied by a strong pretrained model would help democratize research, as well as serve as a principled foundation for understanding and scaling world–action model pretraining.
译文
通用机器人策略学习的开放研究生态。开放的模型和代码库让通用机器人学习越来越容易上手。OpenVLA（Kim 等，2024）建立了一个开放权重的预训练基线；StarVLA（Community，2026）提供了一个模块化、高性能、支持多种设计选择的平台；StarVLA-\alpha（Ye 等，2026b）以一个极简设计的预训练模型补充了这种广度；XPolicyLab（Community 等，2026）为策略评测和部署贡献了统一标准和开放生态。这些工作显著降低了 VLA 研究社区的开发复杂度；然而在 WAM 社区，这样的开放研究生态基本还不存在。一个在该领域里配有强预训练模型的模块化系统，将有助于研究的普及，并为理解和扩展世界–动作模型预训练提供一个有原则的基础。
解释
这一段说明 OpenWAM 的"生态位"：VLA 社区已经有"开放权重模型（OpenVLA）+ 模块化平台（StarVLA）+ 极简预训练模型（StarVLA-\alpha）+ 评测部署标准（XPolicyLab）"的完整链条，而 WAM 社区没有。OpenWAM 想在 WAM 方向同时补上平台（Infra）和预训练模型（\alpha）两环——它的命名 OpenWAM-\alpha 显然也在呼应 StarVLA-\alpha。
原文
Towards a Scientific Understanding of Model Design. A growing line of work treats model design as an empirical science (Allen-Zhu, 2026; Karras et al., 2022; McKinzie et al., 2024; Liu et al., 2022; Wen et al., 2026): decomposing a complex system into controlled variables, testing the mechanisms behind observed gains, deriving a recipe, and validating whether it survives scale. In multimodal learning, Cambrian-1 (Tong et al., 2024) and Beyond Language Modeling (Tong et al., 2026) systematically study visual representations, modality-specific capacity, data composition, and unified pretraining; Towards Physics of Multimodal Pretraining (Han et al., 2026) further isolates knowledge flow, synergy versus competition, and the timing of modality unification. In robot learning, analyses around Action Chunking (Simchowitz et al., 2025; Zhang et al., 2025b; Lazzati et al., 2026) and Generative Control Policies (Pan et al., 2026) have substantially reshaped the community's understanding of these topics. At the data and system level, Large Behavior Models (Barreiros et al., 2026), LBM co-train (Lin et al., 2026a), StarVLA-\alpha (Ye et al., 2026b), and OpenHLM (Hu et al., 2026) similarly use controlled comparisons to study multitask transfer, heterogeneous supervision, action design, and embodiment interfaces. OpenWAM brings this methodology to WAMs: OpenWAM-Infra builds the substrate for controlled experiments, OpenWAM-Study turns them into controlled scientific questions about inheritance, synergy, and scaling, and OpenWAM-\alpha scales the resulting recipe under heterogeneous multi-domain pretraining.
译文
迈向对模型设计的科学理解。越来越多的工作把模型设计当作一门实证科学（Allen-Zhu，2026；Karras 等，2022；McKinzie 等，2024；Liu 等，2022；Wen 等，2026）：把复杂系统分解为受控变量，检验观测到的增益背后的机制，推导出配方，再验证它能否经受住规模扩大的考验。在多模态学习中，Cambrian-1（Tong 等，2024）和 Beyond Language Modeling（Tong 等，2026）系统研究了视觉表征、模态专用容量、数据组成和统一预训练；Towards Physics of Multimodal Pretraining（Han 等，2026）进一步分离出知识流动、协同与竞争、以及模态统一的时机。在机器人学习中，围绕动作分块（Action Chunking）（Simchowitz 等，2025；Zhang 等，2025b；Lazzati 等，2026）和生成式控制策略（Pan 等，2026）的分析，显著改变了社区对这些问题的理解。在数据和系统层面，大行为模型（Large Behavior Models，Barreiros 等，2026）、LBM co-train（Lin 等，2026a）、StarVLA-\alpha（Ye 等，2026b）和 OpenHLM（Hu 等，2026）同样借助受控比较来研究多任务迁移、异构监督、动作设计和本体接口。OpenWAM 把这一方法论带到 WAM 上：OpenWAM-Infra 搭建受控实验的底座，OpenWAM-Study 把实验转化为关于继承、协同和扩展的受控科学问题，OpenWAM-\alpha 则在异构多领域预训练下扩展得到的配方。
解释
这一段交代方法论的渊源。Karras 2022 是 EDM（把扩散模型的设计空间逐项拆开比较的经典工作），Liu 2022 是 ConvNeXt（逐步把 ResNet"现代化"并测量每一步收益），McKinzie 2024 是 MM1（多模态大模型的消融配方），Allen-Zhu 的"语言模型物理学"系列用受控合成数据研究模型机制。Cambrian-1 则在多模态大模型上系统比较视觉编码器。这些工作的共同套路是"拆变量 \to 测机制 \to 出配方 \to 验证规模"，OpenWAM 的三部分恰好对应这一套路。

3OpenWAM-Infra：面向世界–动作建模的模块化基础设施

原文
Most existing world–action models differ substantially in architecture and infrastructure implementation, with no shared standard; since each system is built around a single model design, its model, training, serving, and evaluation components are likewise organized idiosyncratically and are often tightly coupled. This brings two problems: 1) such codebases are difficult for users to extend or build upon, and 2) the coupling among components allows modules to interfere with one another, confounding the conclusions drawn from controlled comparisons. OpenWAM-Infra addresses both problems by factoring world–action modeling into four decoupled components with explicit interfaces: a composable model assembled from interchangeable encoders, stream backbones, and visibility attention masks (Section 3.1); a training runtime that trains every such model with one trainer (Section 3.2); a deployment runtime that serves every resulting checkpoint through one policy server (Section 3.3); and an evaluation protocol through which every benchmark reaches that server (Section 3.4). These components are either mutually independent or related by strict one-way dependencies, which keeps the codebase straightforward to extend, insulates modules from mutual interference, and further provides the substrate on which OpenWAM-Study (Section 4) conducts controlled experiments and OpenWAM-\alpha (Section 5) is instantiated at scale.
译文
现有的大多数世界–动作模型在架构和基础设施实现上差异很大，没有共同标准；由于每个系统都围绕单一的模型设计搭建，其模型、训练、服务和评测组件也都以各自独特的方式组织，而且往往紧密耦合。这带来两个问题：1）这样的代码库很难被使用者扩展或在其上继续开发；2）组件之间的耦合让模块彼此干扰，使受控比较得出的结论被混杂。OpenWAM-Infra 通过把世界–动作建模分解为四个解耦且接口明确的组件来解决这两个问题：由可互换的编码器、流骨干和可见性注意力掩码组装而成的可组合模型（3.1 节）；用同一个训练器训练所有这类模型的训练运行时（3.2 节）；通过同一个策略服务器（policy server）部署所有检查点的部署运行时（3.3 节）；以及让每个基准都接入该服务器的评测协议（3.4 节）。这些组件要么相互独立，要么只存在严格的单向依赖，这让代码库易于扩展，使模块免受相互干扰，并为 OpenWAM-Study（第 4 节）开展受控实验、为 OpenWAM-\alpha（第 5 节）的大规模实例化提供了底座。
解释
这段是软件工程层面的设计说明。"混杂结论"（confounding）的例子：如果 A 模型和 B 模型用不同的数据加载、不同的推理脚本、不同的评测环境，那么 A 比 B 好 5 分，可能只是 A 的评测脚本对动作做了更好的平滑。四个组件的依赖方向是"模型 \to 训练 \to 部署 \to 评测"单向的：训练器不关心模型内部是什么架构，服务器不关心是哪个检查点，评测基准只与服务器对话。这样换掉任何一个模块，其它部分都不需要改。

3.1可组合模型（Composable Model）

A_fig2.png
原文
Figure 2 OpenWAM Model Infra. Top: the three classes of interchangeable modules: the visual encoder \mathcal{E} (left); the stream backbones \mathcal{S} (middle); and the visibility attention mask \mathcal{M} (right). The central Training Utils panel summarizes the utilities of the training runtime (Section 3.2). Bottom: the composition rule C assembles the modules into six architecture variants across the Single-System, Dual-System, and Tri-System families.
译文
图 2 OpenWAM 模型基础设施。上：三类可互换模块——视觉编码器 \mathcal{E}（左）、流骨干 \mathcal{S}（中）、可见性注意力掩码 \mathcal{M}（右）。中央的 Training Utils 面板概括了训练运行时提供的工具（3.2 节）。下：组合规则 C 把这些模块组装成六种架构变体，分属 Single-System、Dual-System 和 Tri-System 三个家族。
图 2 解读
上排左：视觉编码器（雪花图标表示始终冻结）。分两类：像素类（Pixel）——Wan2.2-VAE、FLUX.2-VAE，它们是为重建像素训练的自编码器；语义类（Semantics）——DINOv3（图像自监督表征）、V-JEPA 2.1（视频自监督表征），并可选用 S-VAE 把高维语义特征压缩到低维空间（红字）。上排中：流骨干。顶部是 5 个视频骨干，按参数量从 1.3B 到 14B 排列；左下 VLM 骨干（提供语义理解），右下动作骨干，中间虚线的"可扩展骨干"表示可再注册新流。中央虚线框是训练工具：框架用 DeepSpeed ZeRO-1/2，显存优化用梯度检查点（gradient checkpointing）和 CPU 卸载（offload），工作流支持预训练、微调与断点续训。上排右：可见性注意力掩码。每个小方阵的行是"查询方"，列是"被看方"，依次为 V_{obs}（干净的当前观测帧）、V_{future}（待生成的未来帧）、A_{future}（待生成的动作）。着色格表示允许注意，灰格表示屏蔽。四种模式：Mutual（视频和动作互相可见）、Action Sees Video（只有动作看视频）、Video Sees Action（只有视频看动作）、Isolated（互不可见）。四个方阵的共同点是 V_{obs} 那一行只有自己可见（干净帧不看任何带噪 token）。下排：六种架构（方块上方彩条代表输入 token，下方灰条代表输出 token）：
  1. Single-System Vanilla：一个网络同时生成视频和动作，参数全部共享；
  2. Single-System MoE：仍是一个网络，但动作 token 走专门的"动作专家"前馈层；
  3. Dual-System Joint Self Attention：视频网络与动作网络各自独立，双向箭头表示通过联合自注意力双向交换信息；
  4. Dual-System Joint Cross Attention：单向箭头，动作网络通过交叉注意力读取视频特征；
  5. Dual-System IDM：两阶段，先由视频网络生成未来视频（Stage 1），再由逆动力学模型根据视频推出动作（Stage 2），虚线表示阶段间传递；
  6. Tri-System Joint Self Attention：视频、动作、VLM 三个网络通过联合自注意力交互。
从左到右，"动作专用参数"逐渐增多、流之间的耦合方式逐渐变化。这张图是第 4.2 节对比实验的变量表。
原文
As shown in Figure 2, OpenWAM-Infra organizes a World–Action Model (WAM) as three classes of interchangeable modules that a composition rule C assembles into a concrete architecture, written C(\mathcal{E},\mathcal{S},\mathcal{M}):
  • Visual Encoder \mathcal{E}: It maps observations into the latent sequences the world stream predicts;
  • Stream Backbones \mathcal{S}: It processes the model's token streams: a world stream \mathcal{W}, an action stream \mathcal{A}, optionally an understanding stream \mathcal{U}, and any further streams a design may introduce; distinct streams may share a single backbone;
  • Visibility Attention Mask \mathcal{M}: It specifies the attention relations among streams and tokens, i.e. which tokens may attend to which, both within and across streams.
译文
如图 2 所示，OpenWAM-Infra 把一个世界–动作模型（WAM）组织为三类可互换模块，再由组合规则 C 组装成一个具体的架构，记作 C(\mathcal{E},\mathcal{S},\mathcal{M})：
  • 视觉编码器 \mathcal{E}：把观测映射为世界流要预测的潜变量序列；
  • 流骨干 \mathcal{S}：处理模型的各条 token 流——世界流 \mathcal{W}、动作流 \mathcal{A}、可选的理解流 \mathcal{U}，以及某个设计可能引入的其他流；不同的流可以共用同一个骨干；
  • 可见性注意力掩码 \mathcal{M}：规定流与 token 之间的注意力关系，即在流内和流间，哪些 token 可以注意哪些 token。
解释
这是全文的"形式化记号"。一个 WAM 被看成三元组加一个组装规则：\mathcal{E} 决定"预测什么样的潜变量"，\mathcal{S} 决定"用哪些网络处理哪些 token"，\mathcal{M} 决定"信息怎么流"，C 决定"网络之间怎么拼"。"流"（stream）是关键概念：一条流就是一类 token（视频 token、动作 token、语义 token）以及处理它的那套参数。"不同流可共用骨干"对应 Single-System：视频流和动作流都由同一个 DiT 处理。例如后文的 OpenWAM-\alpha 就是 C（Wan2.2-VAE，{Wan2.2-TI2V-5B, 1B ActionDiT}，mutual 掩码）。
原文
Visual Encoder. The encoder \mathcal{E} maps observations into the latent sequence the world stream predicts and is always kept frozen; different encoders capture different information in their latents and in turn induce different world-stream behavior. In most cases, a video backbone is accompanied by a natively matched encoder, in which case the pretrained parameters of the base DiT are reused directly, retaining the full benefit of pretraining. Beyond this default, OpenWAM-Infra additionally supports pluggable encoders: swapping \mathcal{E} alters the latent representation to be predicted, and the base DiT can further be re-initialized to exclude the influence of pretrained parameters. Currently, OpenWAM-Infra provides two reconstructive encoders, trained on pixel-reconstruction objectives: Wan2.2-VAE (Wan et al., 2025) and FLUX.2-VAE (Black Forest Labs, 2025), and two representation encoders (Zheng et al., 2026a): DINOv3 (Siméoni et al., 2025) and V-JEPA 2.1 (Mur-Labadia et al., 2026), along with an optional S-VAE (Zhang et al., 2025a) module that compresses the latent dimension. These capabilities together support the study of visual representations in Section 4.1.2.
译文
视觉编码器。编码器 \mathcal{E} 把观测映射为世界流要预测的潜变量序列，并且始终保持冻结；不同编码器在潜变量中捕获不同的信息，进而引出不同的世界流行为。多数情况下，视频骨干配有一个原生匹配的编码器，此时可直接复用基础 DiT 的预训练参数，完整保留预训练的好处。除了这一默认方式，OpenWAM-Infra 还支持可插拔的编码器：替换 \mathcal{E} 会改变要预测的潜表征，此时还可以把基础 DiT 重新初始化，以排除预训练参数的影响。目前 OpenWAM-Infra 提供两个以像素重建为目标训练的重建型编码器——Wan2.2-VAE（Wan 等，2025）和 FLUX.2-VAE（Black Forest Labs，2025），以及两个表征型编码器（Zheng 等，2026a）——DINOv3（Siméoni 等，2025）和 V-JEPA 2.1（Mur-Labadia 等，2026），另有一个可选的 S-VAE（Zhang 等，2025a）模块用来压缩潜变量维度。这些能力共同支撑了 4.1.2 节对视觉表征的研究。
解释
要点有三。(1) 编码器冻结：世界流学的是"在固定潜空间里预测未来"，而不是边学边改潜空间。(2) "原生匹配"：Wan2.2-TI2V-5B 的 DiT 是在 Wan2.2-VAE 的潜空间上训练的，二者配套才能直接复用 DiT 权重；如果换成 DINOv3 特征，DiT 预训练学到的"潜变量统计规律"就失效了，所以作者允许重新初始化 DiT，以便公平地只比较表征本身。(3) 两类编码器的区别：重建型（VAE）潜变量能还原出像素，信息完整但偏低层；表征型（DINO、V-JEPA）特征语义强但维度高（上千维），不一定能还原像素。S-VAE 把语义特征压到低维（如 48 维），用于检验"是维度高导致不好学，还是语义本身不好"。
原文
Stream Backbones. The backbones in \mathcal{S} are laid out in and around the central panel of Figure 2. The video backbone (\mathcal{W}) predicts the temporal evolution of future world visual states, while the action backbone (\mathcal{A}) predicts the upcoming action chunk (Zhao et al., 2023); together they form the world–action core of the model. The optional VLM backbone (\mathcal{U}) supplements this core with semantic understanding of the current observation. Beyond these, the backbone roster is itself expandable: further backbones can be registered to execute any additional streams a design may introduce. Regardless of type, every backbone executes through one code contract that decomposes its forward pass into three stages:
译文
流骨干。\mathcal{S} 中的骨干分布在图 2 中央面板及其周围。视频骨干（\mathcal{W}）预测未来世界视觉状态的时间演化，动作骨干（\mathcal{A}）预测接下来的动作块（action chunk，Zhao 等，2023）；二者共同构成模型的世界–动作核心。可选的 VLM 骨干（\mathcal{U}）为这一核心补充对当前观测的语义理解。此外，骨干列表本身可扩展：可以注册更多骨干来执行某个设计可能引入的额外流。无论哪种类型，每个骨干都遵循同一个代码契约（code contract），把前向过程分解为三个阶段：
解释
"动作块"指一次预测未来 H 步的动作序列 a_{1:H}，源自 ACT（Zhao 等，2023）。"代码契约"是接口约定：只要骨干实现了下面三个函数，组合规则就能把它和别的骨干拼在一起，而无需了解其内部实现。
原文
  • prepare, invoked once before the stack, which embeds the inputs into the initial token state;
  • per-layer block step, invoked once per layer, which advances this state through one transformer layer;
  • finalize, invoked once after the stack, which maps the final state to the stream's prediction.
Each layer may further split its block step into a pre-attention half, which emits the layer's queries, keys, and values, and a post-attention half, which consumes the attention output, so that the attention between the two halves can be computed jointly across streams.
译文
  • prepare（准备）：在层栈之前调用一次，把输入嵌入为初始 token 状态；
  • 逐层 block step（块步）：每层调用一次，让状态经过一个 Transformer 层向前推进；
  • finalize（收尾）：在层栈之后调用一次，把最终状态映射为该流的预测。
每一层还可以把块步进一步拆成注意力前半段和注意力后半段：前半段输出该层的查询（query）、键（key）和值（value），后半段接收注意力输出；这样两半之间的注意力就可以跨流联合计算。
解释
这是实现"联合自注意力"而不改动骨干内部代码的技巧。以 Dual-System 为例：第 l 层，视频骨干的前半段算出视频 token 的 Q_v,K_v,V_v，动作骨干的前半段算出 Q_a,K_a,V_a；组合规则把它们拼接成 [Q_v;Q_a]、[K_v;K_a]、[V_v;V_a]，按掩码 \mathcal{M} 做一次注意力，再把输出按位置拆回两条流，各自交给自己的后半段（输出投影、FFN、残差等）。每条流的参数仍然独立，但注意力是"共享"的。这与 MoT（Mixture-of-Transformers）的做法一致。
原文
For the video backbone, OpenWAM-Infra supports five pretrained video generation models with increasing model parameters, namely Wan2.1-VACE-1.3B, Cosmos-Predict2.5-2B, Cosmos3-Edge-4B, Wan2.2-TI2V-5B, and Wan2.1-I2V-14B (Wan et al., 2025; Ali et al., 2025). For VLM backbones, OpenWAM-Infra currently supports only the Qwen3-VL family (Bai et al., 2025). For the action backbone, OpenWAM-Infra offers two options: a separate set of parameters residing in ActionDiT, or a shared video backbone in which action tokens join the video token sequence and are processed jointly.
译文
视频骨干方面，OpenWAM-Infra 支持五个参数量递增的预训练视频生成模型：Wan2.1-VACE-1.3B、Cosmos-Predict2.5-2B、Cosmos3-Edge-4B、Wan2.2-TI2V-5B 和 Wan2.1-I2V-14B（Wan 等，2025；Ali 等，2025）。VLM 骨干方面，目前只支持 Qwen3-VL 系列（Bai 等，2025）。动作骨干方面提供两种选项：一套独立参数的 ActionDiT，或者共享视频骨干——动作 token 并入视频 token 序列一起处理。
解释
名字里的信息：VACE 是 Wan 的"全能视频创作与编辑"版本；I2V 是图生视频；TI2V 是文本+图像生视频；Cosmos 是 NVIDIA 的物理世界基础模型系列；末尾数字是参数量。这五个骨干横跨 1.3B 到 14B，正好用于 4.1.1 节"骨干要多强"的研究。动作骨干的两种选项对应 Single-System（共享）与 Dual/Tri-System（独立 ActionDiT）。
原文
Visibility Attention Mask. The mask \mathcal{M} governs the information flow with the mixed self-attention through which streams interact: it factorizes into intra-modality and cross-modality blocks, granting attention where tokens reinforce one another and withholding it where their mutual influence must be isolated. Over the video and action modalities, this factorization reads
译文
可见性注意力掩码。掩码 \mathcal{M} 通过各流交互所用的混合自注意力来控制信息流：它分解为模态内和跨模态的分块，在 token 能相互增益处开放注意力，在需要隔离相互影响处屏蔽注意力。在视频和动作两个模态上，这一分解写作
解释
下面的式 (1) 把整个注意力掩码看成 2\times2 分块矩阵，行表示"谁在看"，列表示"被看的是谁"。
原文
\mathcal{M}=\begin{pmatrix}\mathcal{M}_{V\leftarrow V} & \mathcal{M}_{V\leftarrow A}\\ \mathcal{M}_{A\leftarrow V} & \mathcal{M}_{A\leftarrow A}\end{pmatrix},\tag{1}
where the block \mathcal{M}_{X\leftarrow Y} specifies whether tokens of modality X may attend to tokens of modality Y.
译文
\mathcal{M}=\begin{pmatrix}\mathcal{M}_{V\leftarrow V} & \mathcal{M}_{V\leftarrow A}\\ \mathcal{M}_{A\leftarrow V} & \mathcal{M}_{A\leftarrow A}\end{pmatrix},\qquad(1)
其中分块 \mathcal{M}_{X\leftarrow Y} 规定模态 X 的 token 是否可以注意模态 Y 的 token。
解释
记号 X\leftarrow Y 读作"X 从 Y 读取信息"，箭头方向就是信息流方向。若视频有 N_v 个 token、动作有 N_a 个 token，整个掩码就是 (N_v+N_a)\times(N_v+N_a) 的 0/1 矩阵（实现中常以 -\infty 加到注意力 logits 上表示屏蔽）：左上 N_v\times N_v 块是视频内部注意力，右下 N_a\times N_a 块是动作内部注意力，右上 N_v\times N_a 块控制视频能否读动作，左下 N_a\times N_v 块控制动作能否读视频。
原文
OpenWAM-Infra fixes the two intra-modality blocks: \mathcal{M}_{V\leftarrow V} adopts first-frame causal attention, in which noisy frames attend to one another and to the clean first frame while the clean frame attends only to itself, shielding clean conditioning from noise; \mathcal{M}_{A\leftarrow A} adopts bidirectional attention, in which the noisy action tokens of a chunk are mutually visible so that the predicted actions inform one another. The two cross-modality blocks then define the four attention mask modes that OpenWAM-Infra supports, as drawn in the right panel of Figure 2: mutual enables both \mathcal{M}_{A\leftarrow V} and \mathcal{M}_{V\leftarrow A}, so the two modalities attend to each other; action-sees-video enables only \mathcal{M}_{A\leftarrow V}, letting actions read the predicted world while leaving video generation undisturbed; video-sees-action enables only \mathcal{M}_{V\leftarrow A}, the reverse; and isolated disables both, denoising the two modalities independently. Building on this native support, Section 4.2.2 later compares these modes under controlled settings.
译文
OpenWAM-Infra 固定了两个模态内分块：\mathcal{M}_{V\leftarrow V} 采用首帧因果注意力（first-frame causal attention）——带噪帧之间相互注意并注意干净的首帧，而干净帧只注意自身，从而保护干净条件不被噪声污染；\mathcal{M}_{A\leftarrow A} 采用双向注意力——同一个动作块中的带噪动作 token 相互可见，使预测出的各步动作彼此参照。两个跨模态分块则定义了 OpenWAM-Infra 支持的四种注意力掩码模式（见图 2 右侧面板）：mutual（相互）同时开启 \mathcal{M}_{A\leftarrow V} 和 \mathcal{M}_{V\leftarrow A}，两个模态互相注意；action-sees-video（动作看视频）只开启 \mathcal{M}_{A\leftarrow V}，让动作读取预测的世界，而视频生成不受干扰；video-sees-action（视频看动作）只开启 \mathcal{M}_{V\leftarrow A}，方向相反；isolated（隔离）两者都关闭，两个模态各自独立去噪。基于这一原生支持，4.2.2 节将在受控设置下比较这些模式。
解释
为什么首帧要"只看自己"：首帧是当前真实观测，是生成的条件，它的表示应当在每个去噪步保持一致；如果让它看到带噪的未来帧，它的特征会随噪声水平变化，条件就"被污染"了。这也让首帧特征可以被缓存。为什么动作内部双向：动作块的各步需要平滑连贯，双向注意力让第 k 步动作也能参考第 k+1 步。四种模式的直觉：在 2\times2 的跨模态开关上取遍 4 种组合。A\leftarrow V 是最符合"先想象再行动"的方向：动作参考预测出的未来画面；V\leftarrow A 则相当于"根据打算执行的动作想象未来"，即动作条件化的世界模型；mutual 两者兼有；isolated 是对照组，两个任务只共享参数（若有），不共享 token 信息。注意，即使在 action-sees-video 下，由于联合训练时动作损失的梯度会经过视频 token 回传，视频分支的参数仍会受到动作学习的影响；"不受干扰"指的是前向时视频 token 不读取动作。
原文
Architectures. The composition rule C specifies where and how information crosses streams, and it does so purely through the execution contract above: it sequences the prepare, per-layer block, and finalize stages of the participating backbones and, when interaction must occur inside attention, splits the block step into its pre-attention and post-attention halves to substitute the attention computation itself, never modifying backbone internals. Composition rules therefore carry no parameters of their own; all learned capacity resides in the stream backbones. A concrete architecture is a choice C(\mathcal{E},\mathcal{S},\mathcal{M}); the designs currently supported fall into three families, laid out left to right in the bottom row of Figure 2.
译文
架构。组合规则 C 规定信息在何处、以何种方式跨流传递，而且完全通过上述执行契约来实现：它编排参与骨干的 prepare、逐层块步和 finalize 三个阶段；当交互必须发生在注意力内部时，就把块步拆成注意力前、后两半，替换掉注意力计算本身，从不修改骨干内部。因此组合规则本身不带任何参数，全部可学习容量都在流骨干里。一个具体架构就是一次 C(\mathcal{E},\mathcal{S},\mathcal{M}) 的选择；目前支持的设计分为三个家族，在图 2 底排从左到右排列。
解释
"组合规则不带参数"这一点对受控实验很重要：比较不同架构时，参数差异只来自骨干（比如是否多了一个 ActionDiT），而不会因为某种拼接方式额外引入了适配层、投影层，导致"参数量"和"交互方式"两个变量混在一起。（实际上联合自注意力需要把不同宽度投影到共享注意力空间，第 5 节提到这些投影由各流自己"拥有"，即算在骨干参数里。）
原文
  • Single-System. This family comprises only the video backbone: the action backbone takes the shared form and injects its tokens into the video sequence, so one transformer processes both modalities with most parameters shared; representative systems include Cosmos Policy (Kim et al., 2026b) and DreamZero (Ye et al., 2026c). OpenWAM-Infra provides two variants, differing in modality-specific capacity:
    • Vanilla processes video, action, and proprioceptive tokens as one sequence through the same attention and dense feed-forward blocks, providing no modality-specific capacity.
    • MoE retains the shared sequence and self-attention but hard-routes action tokens to a dedicated feed-forward expert while video tokens follow the default path, adding modality-specific capacity without separating the streams (Mu & Lin, 2025).
译文
  • 单系统（Single-System）。该家族只有视频骨干：动作骨干采取共享形式，把动作 token 注入视频序列，于是由一个 Transformer 处理两种模态，大部分参数共享；代表系统有 Cosmos Policy（Kim 等，2026b）和 DreamZero（Ye 等，2026c）。OpenWAM-Infra 提供两个变体，区别在于模态专用容量：
    • Vanilla（朴素）：把视频、动作和本体感觉 token 作为一个序列，经过相同的注意力和稠密前馈块处理，不提供任何模态专用容量。
    • MoE（混合专家）：保留共享序列和自注意力，但把动作 token 硬路由到一个专门的前馈专家，视频 token 走默认路径；这样在不拆分流的前提下增加了模态专用容量（Mu & Lin，2025）。
解释
Single-System 的代表 Cosmos Policy 就是把动作编码成"潜帧"插进视频潜变量序列，直接复用视频扩散模型。这里的 MoE 与 LLM 里常见的可学习路由 MoE 不同，是硬路由：按模态决定 token 走哪个 FFN，动作 token 永远进动作专家。所以它更像"模态专用 FFN"——注意力层和归一化仍然共享。两个变体的对比用来回答：只多给动作一个 FFN，能不能换来协同？
原文
  • Dual-System. This family comprises an independent video backbone and action backbone, the latter a dedicated ActionDiT: the two streams hold separate sets of parameters and are connected through self- or cross-attention; representative systems include Fast-WAM (Yuan et al., 2026b) and LingBot-VA (Li et al., 2026b). OpenWAM-Infra provides three variants, differing in how the two streams communicate:
    • Joint self-attention merges the hidden states of the two streams into a joint sequence at designated bridge layers, allowing bidirectional token-level interaction before the states return to their streams.
    • Joint cross-attention lets the action stream query video features through video-to-action cross-attention at the bridge layers, trained end-to-end so that action-learning gradients update the video stream; optionally, gradients are detached at the video features to isolate action learning from video parameter updates.
    • IDM formulates the action module as an inverse-dynamics model conditioned on video features, trained with teacher-forced video states and run in two inference stages: the video trajectory is generated first and the actions are predicted from it.
  • Tri-System. This family extends the dual layout with a VLM backbone, in which a frozen vision–language model feeds a separate trainable understanding stream; representative systems include Motus (Bi et al., 2026). OpenWAM-Infra provides a single variant:
    • Joint self-attention extends the joint sequence to all three streams, which exchange information while retaining stream-specific parameters; the understanding stream joins as a read-only tail that the other streams may attend to while it attends only to itself.
译文
  • 双系统（Dual-System）。该家族由独立的视频骨干和动作骨干组成，后者是专门的 ActionDiT：两条流各有一套参数，通过自注意力或交叉注意力相连；代表系统有 Fast-WAM（Yuan 等，2026b）和 LingBot-VA（Li 等，2026b）。OpenWAM-Infra 提供三个变体，区别在于两条流如何通信：
    • 联合自注意力（Joint self-attention）：在指定的桥接层（bridge layer）把两条流的隐状态合并成一个联合序列，允许 token 级的双向交互，然后状态再回到各自的流中。
    • 联合交叉注意力（Joint cross-attention）：在桥接层让动作流通过"视频到动作"的交叉注意力查询视频特征；端到端训练，因此动作学习的梯度也会更新视频流；也可以选择在视频特征处截断梯度，使动作学习不影响视频参数的更新。
    • IDM：把动作模块建模为以视频特征为条件的逆动力学模型（inverse-dynamics model），训练时用教师强制（teacher-forced）的视频状态，推理时分两个阶段：先生成视频轨迹，再从中预测动作。
  • 三系统（Tri-System）。该家族在双系统布局上增加一个 VLM 骨干：一个冻结的视觉–语言模型为一条独立的、可训练的理解流提供输入；代表系统有 Motus（Bi 等，2026）。OpenWAM-Infra 提供一个变体：
    • 联合自注意力：把联合序列扩展到全部三条流，它们交换信息，同时保留各自的参数；理解流作为一个"只读尾部"加入——其他流可以注意它，而它只注意自己。
解释
三个 Dual-System 变体的区别可以用"信息怎么走"概括：
  • 联合自注意力：视频 token 和动作 token 在同一个注意力里，配合掩码可实现四种方向；
  • 联合交叉注意力：只有动作做 query、视频做 key/value，天然是 A\leftarrow V 单向；"截断梯度"（detach）则进一步让视频流完全不受动作损失影响，相当于把视频模型当作冻结的特征提取器；
  • IDM：把"预测视频"和"推断动作"串成两步。"教师强制"指训练 IDM 时喂给它的是真实未来帧的特征，而不是模型自己生成的；推理时只能用生成的视频，因此存在训练–推理不一致（exposure bias），且必须先把视频完整生成出来，推理慢。
Tri-System 中理解流是"只读"的：它为视频和动作提供语义信息，但自己不受带噪 token 影响——与首帧因果注意力保护干净条件的思路相同。
原文
Within each architecture C(\mathcal{E},\mathcal{S},\mathcal{M}), every module (the visual encoder, the stream backbones, and the visibility attention mask) is instantiated from a registry, orthogonally to the composition rule: every combination is assembled from configuration, and neither the trainer nor the policy server is aware of which architecture is running.
译文
在每个架构 C(\mathcal{E},\mathcal{S},\mathcal{M}) 中，每个模块（视觉编码器、流骨干、可见性注意力掩码）都从注册表（registry）中实例化，且与组合规则正交：每种组合都由配置文件组装，训练器和策略服务器都不知道正在运行的是哪种架构。
解释
"注册表 + 配置"是常见的插件式工程模式：在配置文件里写上 encoder: wan22_vae、mask: mutual 之类的名字即可组装模型。"正交"意味着任一编码器可以配任一骨干、任一掩码，组合数是各选项数的乘积，这正是做网格式消融实验所需要的。

3.2训练运行时（Training Runtime）

原文
Training Formulation. OpenWAM-Infra trains every architecture under one trainer, against one sample contract and one joint flow-matching objective. The trainer never inspects architecture internals: it asks the selected architecture to prepare its own inputs and run its own forward pass, then optimizes the objective on the resulting predictions. Define a sample as (\ell, o_{1:T}, a_{1:H}, q, m), a language instruction, a video window, an action chunk, an optional proprioceptive state, and a per-dimension validity mask. During input preparation, the architecture's visual encoder \mathcal{E} encodes o_{1:T} into latents z, and \ell, optionally joined by q, becomes the context c.
译文
训练形式化。OpenWAM-Infra 用同一个训练器、同一个样本契约和同一个联合流匹配目标训练所有架构。训练器从不查看架构内部：它让所选架构自己准备输入、自己执行前向，然后在得到的预测上优化目标。定义一个样本为 (\ell, o_{1:T}, a_{1:H}, q, m)，依次是语言指令、视频窗口、动作块、可选的本体感觉状态，以及逐维度的有效性掩码。在输入准备阶段，架构的视觉编码器 \mathcal{E} 把 o_{1:T} 编码为潜变量 z，\ell（可选地连同 q）成为上下文 c。
解释
符号说明：\ell 是语言指令（如"把红色方块放到盘子里"）；o_{1:T} 是 T 帧视频，o_1 是当前观测，o_{2:T} 是要预测的未来；a_{1:H} 是未来 H 步动作；q 是本体感觉（proprioception，关节角、末端位姿、夹爪开合等机器人自身状态）；m 是与动作同维的 0/1 掩码，标出该本体实际使用了统一动作空间里的哪些维度（例如单臂机器人只填左臂或右臂槽位）。上下文 c 通过交叉注意力送入骨干。
原文
Throughout the paper, t=0 denotes pure noise and t=1 clean data. Each stream is noised to its own timestep, t_v for video and t_a for actions, yielding the interpolants z_{t_v}=t_v z+(1-t_v)\epsilon_v and a_{t_a}=t_a a+(1-t_a)\epsilon_a with Gaussian noise \epsilon_v,\epsilon_a; one joint forward pass of the architecture (\hat v_z,\hat v_a)=v_\theta(z_{t_v},a_{t_a},t_v,t_a,c) predicts both velocities, and the objective takes the form
\mathcal{L}=\lambda_v\,\mathbb{E}_{t_v,\epsilon_v}\!\left[w(t_v)\,\|\hat v_z-(z-\epsilon_v)\|_2^2\right]+\lambda_a\,\mathbb{E}_{t_a,\epsilon_a}\!\left[w(t_a)\,\|m\odot(\hat v_a-(a-\epsilon_a))\|_2^2\right],\tag{2}
where \lambda_v,\lambda_a and w(\cdot) weight the streams and the timesteps, while the validity mask m restricts the action term to the coordinates an embodiment actually populates, and clean conditioning frames are excluded from the video term. Because t_v and t_a are sampled independently, training covers the entire (t_v,t_a) noise plane; any inference schedule, whether it denoises the two streams synchronously at a shared timestep or asynchronously with one stream leading the other, traces a path through this plane and thus remains in-distribution.
译文
全文约定 t=0 表示纯噪声，t=1 表示干净数据。每条流被加噪到各自的时间步——视频为 t_v，动作为 t_a——得到插值 z_{t_v}=t_v z+(1-t_v)\epsilon_v 和 a_{t_a}=t_a a+(1-t_a)\epsilon_a，其中 \epsilon_v,\epsilon_a 为高斯噪声；架构的一次联合前向 (\hat v_z,\hat v_a)=v_\theta(z_{t_v},a_{t_a},t_v,t_a,c) 同时预测两个速度，目标函数为
\mathcal{L}=\lambda_v\,\mathbb{E}_{t_v,\epsilon_v}\!\left[w(t_v)\,\|\hat v_z-(z-\epsilon_v)\|_2^2\right]+\lambda_a\,\mathbb{E}_{t_a,\epsilon_a}\!\left[w(t_a)\,\|m\odot(\hat v_a-(a-\epsilon_a))\|_2^2\right],\qquad(2)
其中 \lambda_v,\lambda_a 和 w(\cdot) 分别对两条流和各时间步加权；有效性掩码 m 把动作项限制在该本体实际填充的坐标上；干净的条件帧不计入视频项。由于 t_v 与 t_a 独立采样，训练覆盖了整个 (t_v,t_a) 噪声平面；任何推理调度——无论是让两条流在共同时间步上同步去噪，还是让一条流领先于另一条异步去噪——都只是在该平面上走出一条路径，因而始终处于训练分布之内。
解释
流匹配的直觉。在噪声 \epsilon 与数据 x 之间连一条直线 x_t=tx+(1-t)\epsilon，沿 t 的速度就是 \frac{dx_t}{dt}=x-\epsilon，与 t 无关。网络 v_\theta 学习在任意 (x_t,t) 处预测这个速度；推理时从 t=0 的纯噪声出发，用欧拉法 x_{t+\Delta t}=x_t+\Delta t\cdot\hat v 积分到 t=1 即得样本。式 (2) 中的两项就是视频和动作各自的速度回归误差。各符号。z 是视频潜变量，a 是干净动作块；\hat v_z,\hat v_a 是网络预测的速度；\lambda_v,\lambda_a 平衡两个任务（比如动作项权重大一些以免被视频项淹没——视频 token 数通常是动作的上百倍）；w(t) 是时间步权重；\odot 是逐元素乘，m 让不存在的动作维度不产生损失。两个独立时间步的意义。这是本节最重要的设计。如果训练时总令 t_v=t_a，模型只见过噪声平面的对角线，推理时就只能同步去噪。独立采样后，模型见过诸如"视频已基本干净（t_v=0.9）而动作还很嘈杂（t_a=0.1）"的组合，于是"视频领先""动作领先""同步"三种调度都不会遇到没见过的输入。这样，3.3 节的去噪调度可以只在推理时切换，无需为每种调度重新训练，从而保证 4.2.3 节的比较是公平的。验算一个点：t=0.25 时 x_t=0.25x+0.75\epsilon，速度目标仍是 x-\epsilon；若网络预测准确，从此处一步走到 t=1 得 x_t+0.75(x-\epsilon)=x，正好还原数据。
原文
Training Utilities. As shown in the Training Utils panel at the center of Figure 2, three core utilities support OpenWAM-Infra training:
  1. Framework. OpenWAM-Infra integrates DeepSpeed ZeRO (stage 1 or 2) through Accelerate and supports mixed precision (bf16 by default), gradient accumulation, and gradient clipping; a single entry point scales from single-GPU runs to multi-node jobs.
  2. Memory optimization. To reduce memory consumption, OpenWAM-Infra provides gradient checkpointing, with optional CPU offload of the checkpointed activations, and optimizer-state offload to CPU.
  3. Workflows. OpenWAM-Infra supports three training workflows. Pretraining starts a fresh run. Fine-tuning starts a new run initialized from a previous checkpoint: the architecture is rebuilt from the checkpoint's own record, the new configuration is layered on top, and the identity of the modules the weights belong to is protected from override. Resume continues the same run exactly: the full optimizer and scheduler state is restored, training re-enters the data stream at the recorded position, and the run refuses to continue if the dataset's normalization statistics diverge from those recorded with the run.
译文
训练工具。如图 2 中央的 Training Utils 面板所示，三项核心工具支撑 OpenWAM-Infra 的训练：
  1. 框架。OpenWAM-Infra 通过 Accelerate 集成了 DeepSpeed ZeRO（stage 1 或 2），支持混合精度（默认 bf16）、梯度累积和梯度裁剪；同一个入口即可从单卡运行扩展到多节点任务。
  2. 显存优化。为降低显存占用，OpenWAM-Infra 提供梯度检查点（可选把检查点激活卸载到 CPU），以及把优化器状态卸载到 CPU。
  3. 工作流。OpenWAM-Infra 支持三种训练工作流。预训练：开启一次全新运行。微调：从先前检查点初始化一次新运行——架构根据检查点自带的记录重建，新配置叠加其上，并且权重所属模块的身份受到保护、不会被覆盖。续训：精确地继续同一次运行——恢复完整的优化器和学习率调度器状态，训练从记录的位置重新进入数据流；如果数据集的归一化统计量与该运行记录的不一致，则拒绝继续。
解释
这些是大模型训练的标准工程手段。ZeRO-1 切分优化器状态，ZeRO-2 再切分梯度，以降低每卡显存；梯度检查点用"前向时少存激活、反向时重算"换显存。"模块身份受保护"指微调时即使新配置写错了编码器名称，也不会把一个用 Wan2.2-VAE 训练出的 DiT 当作别的编码器的模型加载。"归一化统计量不一致即拒绝续训"防止数据集被悄悄改动后，动作的归一化尺度前后不一，导致训练崩坏。
原文
Self-Contained Checkpoints. A self-contained checkpoint comprises three parts: the model weights, the fully resolved configuration with every module's reconstruction specification (and artifacts such as tokenizers) merged in, and the action-normalization statistics. Fine-tuning, resume, and deployment all rebuild the architecture from this record before loading parameters; at deployment, a missing normalization record is a hard error. An evaluation therefore cannot silently change the encoder, the action layout, or the scaling of a trained model, and the checkpoint is exactly what the deployment runtime serves.
译文
自包含检查点。一个自包含检查点由三部分组成：模型权重；完全解析后的配置（合并了每个模块的重建规格以及分词器等附属文件）；动作归一化统计量。微调、续训和部署都先根据这份记录重建架构，再加载参数；部署时缺少归一化记录会直接报错。因此评测无法悄悄改变训练好的模型的编码器、动作布局或尺度，检查点就是部署运行时实际服务的东西。
解释
动作归一化统计量（如每个维度的均值/方差或分位数）在机器人策略里非常关键：模型输出的是归一化后的动作，部署时必须用与训练完全相同的统计量反归一化，否则机械臂会以错误的幅度运动。很多开源策略复现失败就出在这里，因此作者把它做成硬性约束。"自包含"的含义是：拿到一个检查点文件夹，不需要任何外部配置就能完整还原模型。

3.3部署运行时（Deployment Runtime）

原文
Every checkpoint is served by one policy server, which rebuilds the architecture from its self-contained record and keeps two choices orthogonal: when inference runs (the inference mode) and how the two streams are denoised (the denoising schedule). Figure 3 illustrates the two choices in panels (a) and (b), respectively.
译文
每个检查点都由同一个策略服务器提供服务。服务器根据检查点自包含的记录重建架构，并让两个选择相互正交：推理何时运行（推理模式），以及两条流如何去噪（去噪调度）。图 3 的 (a)、(b) 两栏分别展示这两个选择。
解释
"正交"意味着推理模式（同步/异步）与去噪调度（同步/视频领先/动作领先）可以任意组合。注意这里有两个"同步"：推理模式的同步指"执行和推理是否串行"，去噪调度的同步（sync）指"视频和动作的噪声水平是否一起下降"，二者是不同层面的概念。
A_fig3.png
原文
Figure 3 Inference modes and denoising schedules of the deployment runtime. (a) Illustration of the synchronous and asynchronous inference modes. (b) Illustration of the three denoising schedules (variance shift, linear offset, and sync); five denoising steps are drawn for illustration, and circles of the same color denote the timesteps that the two modalities reach at the same denoising step.
译文
图 3 部署运行时的推理模式与去噪调度。(a) 同步与异步推理模式示意。(b) 三种去噪调度（方差平移、线性偏移和同步）示意；图中画了 5 个去噪步作为示例，同色圆圈表示两个模态在同一去噪步所到达的时间步。
图 3 解读
(a) 推理模式。横轴为时间。深蓝小块是一次推理，浅紫长条是执行一个动作块。Sync（同步）：一个动作块执行完后，机器人停下来（灰色间隙）等待下一次推理完成，再执行下一块；推理延迟直接变成停顿。Async（异步）：在当前动作块快执行完时就开始下一次推理，推理与执行重叠，机器人不停顿。下方方格条展示异步时新动作块怎样被切分：深灰的 delayed（推理期间旧动作已经执行掉了，对应的新动作被跳过）、浅紫的 executed（真正执行的部分）、白色的 discarded（多余的尾部，丢弃）。(b) 去噪调度。每行两条轨道，黑色是领先模态（Lead Modality），灰色是落后模态（Lag Modality），从左（噪声）到右（干净）。圆圈从浅蓝到紫表示第 1 到第 5 个去噪步，同色圆圈是同一步时两个模态各自的位置。Variance Shift：领先模态的圆圈靠右，更早接近干净；Linear Offset：落后模态前几步停在噪声端不动，后来才开始去噪；Sync：两条轨道上同色圆圈位置一致。右侧小图以模态 A、B 的时间步为横纵轴画出噪声平面上的路径：对角线是同步，向上凸的曲线是方差平移（B 领先），贴着坐标轴先横走再上升的折线是线性偏移。所有路径都从 (0,0) 出发到 (1,1) 结束。
原文
Inference Modes. OpenWAM-Infra provides two inference modes over a common buffer mechanism (Figure 3(a)): each inference produces an action chunk that is buffered, and the server pops one action per request. Under synchronous inference, the server blocks on a fresh inference whenever the buffer empties, so execution stalls for the inference latency. Under asynchronous inference, let H denote the length of the predicted chunk, n\le H the inference horizon, and d<n the lead threshold in steps, defaulting to n/2. Once only d buffered actions remain, a single background worker prefetches the next chunk while those actions keep executing. The adopted chunk then splits, in order, into a delayed prefix of d actions, already covered by the previous buffer while inference ran and therefore skipped; an executed window of the next n actions, which becomes the new buffer; and a discarded tail of the remaining \max\{H-d-n,0\} actions. The two modes are indistinguishable to the client: every request is one observation in, one action out.
译文
推理模式。OpenWAM-Infra 在一个共同的缓冲机制上提供两种推理模式（图 3(a)）：每次推理产生一个动作块并放入缓冲区，服务器每收到一个请求就弹出一个动作。在同步推理下，只要缓冲区为空，服务器就阻塞等待一次新的推理，因此执行会停顿一个推理延迟的时间。在异步推理下，设 H 为预测动作块的长度，n\le H 为推理视野（inference horizon），d<n 为以步数计的提前量阈值，默认为 n/2。当缓冲区只剩 d 个动作时，一个后台工作线程开始预取下一个动作块，同时这 d 个动作继续执行。被采用的新动作块随后依次分为三段：前 d 个动作为延迟前缀——推理期间已被上一个缓冲区覆盖，因此跳过；接下来 n 个动作为执行窗口，成为新的缓冲区；剩余 \max\{H-d-n,0\} 个动作为丢弃尾部。两种模式对客户端来说没有区别：每个请求都是"一个观测进，一个动作出"。
解释
用数字走一遍：设 H=32，n=16，则 d=8。服务器执行缓冲区里的 16 个动作，当剩 8 个时以当前观测发起推理；假设推理恰好耗时 8 个控制步，那么新块的前 8 个动作对应的时间已经由旧缓冲执行掉了（delayed，跳过）；第 9–24 个动作成为新缓冲（executed）；第 25–32 个共 32-8-16=8 个被丢弃。为什么跳过前 d 个：新动作块是基于"推理开始时"的观测预测的，它的第 1 个动作对应推理开始的时刻；等推理结束时机器人已经前进了 d 步，所以要从第 d+1 个开始执行，才能和时间对齐。这一机制与 RTC（real-time chunking）等异步执行方法思路相近。不过第 5 节提到，所有基准评测实际都使用同步推理，以最直接地反映模型本身的性能。
原文
Denoising Schedules. A denoising schedule is a path \tau=\{(t_v^i,t_a^i)\}_{i=0}^{N} through the joint noise plane, with t=0 pure noise and t=1 clean data as in Section 3.2; Figure 3(b) draws the three schedules that OpenWAM-Infra supports. Under the sync schedule, both streams advance in lockstep along the diagonal: each step performs one joint forward pass and a coupled Euler update in which each stream moves by its own timestep increment; the video latents z follow z^{t_v^{i+1}}=z^{t_v^{i}}+(t_v^{i+1}-t_v^{i})\,\hat v_z, and the action chunk a follows a^{t_a^{i+1}}=a^{t_a^{i}}+(t_a^{i+1}-t_a^{i})\,\hat v_a. Asynchronous schedules let one stream lead through two composable families (Baade et al., 2026),
f_\alpha(s)=\frac{\alpha s}{1+(\alpha-1)s},\qquad h_o(s)=\max\left\{\frac{s-o}{1-o},\,0\right\},\tag{3}
where s=i/N denotes global progress, the variance shift curve f_\alpha lifts the leading stream above the diagonal for \alpha>1 so that it reaches clean data earlier, and the linear offset h_o holds the lagging stream at pure noise until global progress exceeds o. Assigning the lead to the world stream or to the action stream yields the video-lead and action-lead regimes, and (\alpha,o)=(1,0) recovers the synchronized diagonal exactly: synchronous serving is a special case rather than a separate code path, and every asynchronous run has an aligned baseline. Because training samples the two timesteps independently (Section 3.2), every such path stays in-distribution. Independently of the schedule shape, each stream's timestep warp is a backbone property stored in the checkpoint and reused at inference, so the training and serving noise grids cannot drift.
译文
去噪调度。去噪调度是联合噪声平面上的一条路径 \tau=\{(t_v^i,t_a^i)\}_{i=0}^{N}，与 3.2 节一样，t=0 为纯噪声、t=1 为干净数据；图 3(b) 画出了 OpenWAM-Infra 支持的三种调度。在同步（sync）调度下，两条流沿对角线齐步前进：每一步做一次联合前向，再做一次耦合的欧拉更新，每条流按各自的时间步增量移动——视频潜变量 z 按 z^{t_v^{i+1}}=z^{t_v^{i}}+(t_v^{i+1}-t_v^{i})\,\hat v_z 更新，动作块 a 按 a^{t_a^{i+1}}=a^{t_a^{i}}+(t_a^{i+1}-t_a^{i})\,\hat v_a 更新。异步调度通过两个可组合的函数族让一条流领先（Baade 等，2026）：
f_\alpha(s)=\frac{\alpha s}{1+(\alpha-1)s},\qquad h_o(s)=\max\left\{\frac{s-o}{1-o},\,0\right\},\qquad(3)
其中 s=i/N 表示全局进度；方差平移（variance shift）曲线 f_\alpha 在 \alpha>1 时把领先流抬到对角线之上，使其更早到达干净数据；线性偏移（linear offset）h_o 让落后流一直停留在纯噪声，直到全局进度超过 o。把领先权交给世界流或动作流，就分别得到视频领先和动作领先两种模式；而 (\alpha,o)=(1,0) 恰好还原同步对角线：同步服务是一个特例而非单独的代码路径，每个异步运行都有一个对齐的基线。由于训练时两个时间步独立采样（3.2 节），所有这样的路径都处于训练分布之内。与调度形状无关，每条流的时间步扭曲（timestep warp）是骨干的属性，存储在检查点里并在推理时复用，因此训练与服务时的噪声网格不会漂移。
解释
两个函数的直觉与验算。
  • f_\alpha(s)：f_\alpha(0)=0，f_\alpha(1)=\alpha/\alpha=1，端点固定。取 \alpha=3、s=0.5：f=1.5/(1+2\times0.5)=0.75，即全局进度一半时领先流已走了 75%。\alpha=1 时 f(s)=s，就是对角线。这个形式与扩散模型里常见的"时间步平移"（timestep shift，如 SD3 的 \frac{\alpha t}{1+(\alpha-1)t}）同构，等价于改变信噪比，所以叫"方差平移"。
  • h_o(s)：在 s\le o 时为 0（一直是纯噪声），之后线性升到 1。取 o=0.5：s=0.75 时 h=0.25/0.5=0.5。o=0 时 h(s)=s，同样回到对角线。
为什么关心谁先去噪。视频领先：先把未来画面"想清楚"，再据此确定动作，类似"先想象后行动"；动作领先：先定动作，再据此想象结果，类似动作条件的世界模型；同步：两者在每一步互相参照、一起变清晰。4.2.3 节的实验结论是同步最好。欧拉更新。每一步用网络在当前点预测的速度乘以时间步增量前进。同步调度下两者增量相同；异步时增量不同，例如线性偏移初期落后流增量为 0，即它在这些步里保持不动，只作为"纯噪声输入"参与联合前向。时间步扭曲指每个骨干训练时可能使用的时间步重映射（如 Wan 的 shift 参数），它被写进检查点，保证推理时的噪声网格与训练一致。
原文
Acceleration. OpenWAM-Infra provides four serving-side accelerations, each independently configurable.
译文
加速。OpenWAM-Infra 在服务端提供四项加速，每项都可单独配置。
解释
下面四项中，前两项（提示词嵌入缓存、跳过视频解码）默认开启；图 4 消融的是后两项（编译和 DiT 速度缓存）。
原文
  • Prompt-embedding cache: a server-lifetime cache maps each prompt to its text-encoder embeddings, removing the text encoder from the per-request path.
  • Video-decode skip: control consumes actions rather than pixels, so the serving path can skip VAE video decoding entirely.
  • Compilation: each architecture registers a fixed-shape torch.compile path for its inner joint denoising loop, replayed under CUDA graphs to eliminate per-layer launch overhead; the first request carries the compilation warmup.
  • DiT velocity cache: when the recent velocity predictions of both streams are similarity-stable (cosine similarity above a threshold), the next joint forward pass is skipped and the cached velocities are integrated instead, with a bounded number of consecutive skips, following the cross-step reuse of Ye et al. (2026c).
With Wan2.2-TI2V-5B as the video backbone, Figure 4 illustrates the resulting inference speedups across the different architectures.
译文
  • 提示词嵌入缓存：一个在服务器生命周期内有效的缓存，把每条提示词映射到其文本编码器嵌入，从而把文本编码器从每次请求的路径中移除。
  • 跳过视频解码：控制消耗的是动作而不是像素，因此服务路径可以完全跳过 VAE 视频解码。
  • 编译：每个架构为其内部联合去噪循环注册一条固定形状的 torch.compile 路径，并在 CUDA graphs 下重放，以消除逐层的内核启动开销；首个请求承担编译预热的代价。
  • DiT 速度缓存：当两条流最近的速度预测都"相似度稳定"（余弦相似度高于阈值）时，跳过下一次联合前向，改用缓存的速度做积分；连续跳过的次数有上限。这一做法沿用了 Ye 等（2026c）的跨步复用。
以 Wan2.2-TI2V-5B 作为视频骨干，图 4 展示了各架构由此获得的推理加速。
解释
  • 提示词缓存：同一任务里语言指令不变，umT5 这类大文本编码器只需跑一次。
  • 跳过视频解码：WAM 虽然"想象"了未来视频，但只需要视频潜变量来辅助动作，不必把潜变量解码成像素——VAE 解码往往是视频生成里很耗时的一步。这也意味着部署时 WAM 的视频预测完全停留在潜空间。
  • 编译 + CUDA graphs：Transformer 每层都有很多小内核，单次推理批量小、形状固定，内核启动开销占比高；把整个去噪循环录成一张 CUDA 图后一次性重放，可大幅降低开销。
  • 速度缓存：流匹配的速度场在相邻去噪步之间常常变化很小，直接复用上一步的速度（"跨步复用"，与 TeaCache 等扩散缓存方法同类）可省掉部分前向。要求两条流都稳定，是为了避免动作还在剧烈变化时被错误跳过。
A_fig4.png
原文
Figure 4 Serving latency across architectures. Inference latency with Wan2.2-TI2V-5B as the video backbone on an RTX 5090. The prompt-embedding cache and video-decode skip are enabled by default; the figure ablates compilation and the DiT velocity cache.
译文
图 4 各架构的服务延迟。以 Wan2.2-TI2V-5B 为视频骨干、在 RTX 5090 上测得的推理延迟。提示词嵌入缓存和跳过视频解码默认开启；该图消融的是编译与 DiT 速度缓存。
图 4 解读
读法。每行一种架构。横条长度表示一次推理（生成一个动作块）的延迟，横轴刻度 100–500 ms。浅灰长条是基线（两项都不开），带 "I" 形标记的位置分别是只开缓存（深蓝）和只开编译（浅蓝）的延迟，蓝色实心条是两者都开（Cache+Compile）的延迟，左侧蓝字为其数值；最右列 Speed up 是相对基线的加速比。关键数字。全开时：Single-System Vanilla 149 ms、MoE 156 ms、Dual-System 联合自注意力 175 ms、联合交叉注意力 180 ms、IDM 251 ms、Tri-System 216 ms；加速比在 2.01\times–2.63\times 之间。由此可反推基线延迟，例如 Vanilla 约 149\times2.49\approx371 ms，IDM 约 251\times2.01\approx505 ms。结论。(1) 两项加速合起来普遍让推理快 2 倍多；(2) 架构越"重"越慢：共享骨干的 Single-System 最快，Dual-System 多一个 ActionDiT 约慢 20–30 ms，Tri-System 多一个 VLM 流再慢约 40 ms；(3) IDM 最慢且加速比最低，因为它要串行跑两个阶段（先生成视频再推动作），能缓存复用的部分更少。论文最终选的 Dual-System 联合自注意力为 175 ms，大约 5.7 Hz 的动作块生成频率，配合动作块执行足以满足实时控制。

3.4评测协议（Evaluation Protocol）

原文
OpenWAM-Infra evaluates trained checkpoints through the policy server of Section 3.3: each benchmark connects as a client, sends observations, and executes the actions returned by the server, as shown in Figure 5.
译文
OpenWAM-Infra 通过 3.3 节的策略服务器评测训练好的检查点：每个基准作为客户端接入，发送观测，并执行服务器返回的动作，如图 5 所示。
解释
这种"客户端–服务器"结构把评测环境与模型完全隔离：仿真器可以运行在不同的 Python 环境、甚至不同的机器上，只通过网络交换数据。这在机器人领域很实用，因为各个仿真基准的依赖经常相互冲突。
A_fig5.png
原文
Figure 5 Evaluation protocol of OpenWAM-Infra. Benchmarks connect to the policy server as thin clients over WebSocket. The server canonicalizes each observation, maps the proprioceptive state into the model-side action representation (the 80-D unified action space or the benchmark's native action space), and denormalizes the predicted action chunk back to native physical units before returning actions.
译文
图 5 OpenWAM-Infra 的评测协议。各基准作为瘦客户端（thin client）通过 WebSocket 连接策略服务器。服务器把每个观测规范化，把本体感觉状态映射到模型侧的动作表示（80 维统一动作空间或该基准的原生动作空间），并在返回动作之前把预测的动作块反归一化回原生物理单位。
图 5 解读
左：基准（Benchmark）。上半是 8 个仿真基准，按本体类型用不同颜色分组：绿框是单臂桌面（VLABench / LIBERO / LIBERO-Plus），蓝框是双臂（RoboDojo / RoboTwin），紫框是移动双臂（EBench），橙框是灵巧手人形（RoboCasa GR-1），红框是移动单臂（RoboCasa365）；下半是真机基准（单臂、双臂、灵巧手等）。中：策略服务器（Policy Server）。通过 WebSocket 接收观测（眼睛图标），先判断动作缓冲是否为空：非空（No）直接从缓冲里弹出一个动作返回；为空（Yes）则走右侧流程做一次推理。右：服务器内部的处理流水线。输入是指令、头部相机、腕部相机和原生本体感觉。图像经过"缺失相机补黑帧 \to 裁剪缩放 \to 拼接（Compose）"变为训练时使用的规范图像布局（Canonical Image，可见一张大的头部视图下方拼两张小的腕部视图）；本体感觉被映射到 (a) 80 维统一动作空间（左右臂各一份：末端位置+旋转 9 维、夹爪 1 维、灵巧手 24 维，"2X" 表示两臂镜像，另有 12 维预留）或 (b) 原生动作空间（直接透传），得到模型空间的本体感觉。模型输出模型空间的动作块，经反归一化（Denormalize）成为物理单位的动作块，再回填（Refill）到动作缓冲区。这张图说明了"归一化值永远不会到达机器人"这一保证是如何实现的：所有模型相关的转换都在服务器端完成，客户端只看到原生单位的动作。
原文
Client–Server Pipeline. Benchmarks reach the deployment runtime as thin clients over one persistent WebSocket connection and import nothing from the model or training stack. At control step k, the client sends an observation (o_k,\ell,q_k): up to three camera views o_k, with the head view required and the wrist views optional; the language instruction \ell; and optionally the raw robot state q_k. The response is a single action a_k in the robot's native physical units. Every model-facing conversion runs server-side, driven by the self-contained checkpoint of Section 3.2: as laid out in Figure 5, the views are cropped, resized, and composed into the canonical image layout the checkpoint was trained on, with missing cameras filled by black frames, and q_k is normalized and mapped into the model-side action representation defined below. Inference under the serving stack of Section 3.3 then yields a model-space action chunk \hat a_{1:H}, which is mapped back and denormalized into native units before it refills the action buffer from which the server answers requests; normalized values therefore never reach a robot. Between episodes, a single reset request clears all per-episode executor state.
译文
客户端–服务器流水线。各基准作为瘦客户端，通过一条持久的 WebSocket 连接接入部署运行时，且不从模型或训练栈中导入任何东西。在控制步 k，客户端发送一个观测 (o_k,\ell,q_k)：至多三个相机视图 o_k（头部视图必需，腕部视图可选）、语言指令 \ell，以及可选的原始机器人状态 q_k。响应是一个以机器人原生物理单位表示的动作 a_k。所有面向模型的转换都在服务器端进行，由 3.2 节的自包含检查点驱动：如图 5 所示，各视图被裁剪、缩放并拼接成检查点训练时使用的规范图像布局，缺失的相机用黑帧填充；q_k 被归一化并映射到下文定义的模型侧动作表示。随后在 3.3 节的服务栈下推理，得到模型空间的动作块 \hat a_{1:H}，它被映射回去并反归一化为原生单位，再填充动作缓冲区，服务器从缓冲区中应答请求；因此归一化的数值永远不会到达机器人。在两个回合（episode）之间，一个 reset 请求即可清除所有逐回合的执行器状态。
解释
要点：(1) "瘦客户端"——仿真器端只负责采集观测、执行动作，不加载模型代码，避免依赖冲突；(2) 多视图被拼成一张"画布"送入视频模型（第 5 节称 all camera views tiled into one canvas），这是 WAM 处理多相机的常见做法，因为视频骨干只接受单路视频；(3) 预处理参数来自检查点，所以评测时的图像布局必然与训练一致；(4) reset 清空缓冲区等状态，防止上一回合残留的动作被带到下一回合。
原文
Benchmark Suite. OpenWAM-Infra currently integrates eight simulation benchmarks: LIBERO and LIBERO-Plus (Liu et al., 2023; Fei et al., 2025), VLABench (Zhang et al., 2024), RoboTwin2.0 (Chen et al., 2025), RoboDojo (Chen et al., 2026b), RoboCasa365 (Nasiriany et al., 2026), RoboCasa-GR1 (NVIDIA et al., 2025; Nasiriany et al., 2024), and EBench (Gao et al., 2026), together spanning single-arm and bimanual tabletop manipulation, dexterous-hand humanoid control, and mobile manipulation. Because the protocol exchanges only images, text, and action vectors, real-robot platforms connect through exactly the same interface as the simulators. Each bundled adapter reproduces the observation preprocessing of its benchmark's training reader, so evaluation-time views match the training distribution; integrating a new benchmark amounts to writing such an adapter, leaving the model and both runtimes untouched.
译文
基准套件。OpenWAM-Infra 目前集成了 8 个仿真基准：LIBERO 与 LIBERO-Plus（Liu 等，2023；Fei 等，2025）、VLABench（Zhang 等，2024）、RoboTwin2.0（Chen 等，2025）、RoboDojo（Chen 等，2026b）、RoboCasa365（Nasiriany 等，2026）、RoboCasa-GR1（NVIDIA 等，2025；Nasiriany 等，2024）和 EBench（Gao 等，2026），共同覆盖单臂与双臂桌面操作、灵巧手人形控制以及移动操作。由于协议只交换图像、文本和动作向量，真机平台与仿真器通过完全相同的接口接入。每个随附的适配器都复现了其基准训练数据读取器的观测预处理，使评测时的视图与训练分布一致；接入一个新基准只需写这样一个适配器，模型和两个运行时都无需改动。
解释
这些基准的特点：LIBERO 是最常用的单臂桌面基准（已接近饱和）；LIBERO-Plus 在 LIBERO 上加入相机视角、光照、噪声等扰动，专门考察鲁棒性；VLABench 侧重语言理解与长程推理；RoboTwin2.0 是双臂基准，含"干净"和"域随机化"两种设置；RoboDojo 是双臂、带真机平台的基准；RoboCasa365 是厨房场景的移动操作；RoboCasa-GR1 使用 GR-1 人形机器人和灵巧手；EBench 是移动双臂。这 8 个基准构成第 5 节大规模评测的主体。
原文
Action Space Definition. Actions cross this pipeline in one of two representations (Figure 5). By default, every benchmark keeps its native action space — RoboTwin2.0, for instance, is served in either a 14-D joint space or a 20-D bimanual end-effector space, and LIBERO in a 10-D end-effector space — so a checkpoint trained on a single benchmark passes actions straight through. Training one model across embodiments, however, requires a single action head over bodies whose native layouts differ in both width and semantics. OpenWAM-Infra therefore also defines a unified action space u\in\mathbb{R}^{80} with fixed slot semantics: two mirrored 34-D arm blocks, each comprising the end-effector position (3), a 6D rotation (6), the gripper (1), and a dexterous hand (24), followed by 12 reserved slots for embodiment-specific channels such as the mobile bases of EBench and RoboCasa365. Since the slot semantics are fixed, the structure that embodiments share lands on the same coordinates. Each dataset declares an index map \pi from its native dimensions into these slots, with normalization applied before scattering and inverted after gathering,
u=\mathrm{Scatter}_\pi(\mathrm{Norm}(a)),\qquad a=\mathrm{Norm}^{-1}(\mathrm{Gather}_\pi(u)),\tag{4}
and incoming proprioception traverses the same map in the forward direction. The validity mask m of Equation (2) marks exactly the mapped slots, so unmapped coordinates receive no gradient during training and remain on their analytic noise path at inference.
译文
动作空间定义。动作以两种表示之一穿过这条流水线（图 5）。默认情况下，每个基准保留其原生动作空间——例如 RoboTwin2.0 可用 14 维关节空间或 20 维双臂末端执行器空间，LIBERO 用 10 维末端执行器空间——因此只在单个基准上训练的检查点直接透传动作。然而，要跨本体训练一个模型，就需要用一个动作头覆盖原生布局在宽度和语义上都不同的各种机器人。为此 OpenWAM-Infra 还定义了一个槽位语义固定的统一动作空间 u\in\mathbb{R}^{80}：两个镜像的 34 维手臂块，各由末端执行器位置（3）、6D 旋转（6）、夹爪（1）和灵巧手（24）组成，后接 12 个预留槽位，用于本体特有的通道，如 EBench 和 RoboCasa365 的移动底盘。由于槽位语义固定，各本体共有的结构会落在相同的坐标上。每个数据集声明一个从其原生维度到这些槽位的索引映射 \pi，归一化在散射（scatter）之前施加，并在聚集（gather）之后逆转：
u=\mathrm{Scatter}_\pi(\mathrm{Norm}(a)),\qquad a=\mathrm{Norm}^{-1}(\mathrm{Gather}_\pi(u)),\qquad(4)
输入的本体感觉也沿正方向经过同一映射。式 (2) 中的有效性掩码 m 恰好标记被映射到的槽位，因此未映射的坐标在训练中不接收梯度，在推理时则沿其解析的噪声路径演化。
解释
维度验算：3+6+1+24=34，两臂 34\times2=68，加预留 12，共 80。6D 旋转是用旋转矩阵的前两列（共 6 个数）表示姿态，它连续、无奇异，比欧拉角或四元数更适合神经网络回归。Scatter / Gather：Scatter 把原生动作的各维"散"到 80 维向量的指定位置，其余位置填 0；Gather 反过来从 80 维中"收"回原生维度。举例：LIBERO 的 10 维末端动作（位置 3 + 6D 旋转 6 + 夹爪 1）会被放到某一侧手臂块的前 10 个槽位，其余 70 维无效。为什么先归一化再散射：归一化统计量是按原生维度计算的，必须在原生空间里做；散射之后各维已混入大量无效槽位。"解析的噪声路径"：未映射的槽位没有损失，网络对它们的预测不受约束；推理时这些坐标不依赖网络的预测，而是沿流匹配插值公式所确定的噪声路径演化（"解析"即由公式直接给出），最后在 Gather 时被丢弃，所以不影响结果。"固定语义"的好处是：所有机器人的"右臂末端 x 坐标"都在同一个槽位，模型可以跨本体共享这部分知识。

4OpenWAM-Study：世界–动作模型的设计原则

原文
Overview of OpenWAM-Study. Building on the substrate of OpenWAM-Infra, we systematically analyze design principles for world–action models through controlled experiments. In this section, we first study how WAMs should inherit upstream world priors in Section 4.1, then understand how to build synergy between the world priors and action learning in Section 4.2, and finally test which design choices generalize to cross-domain embodied pretraining in Section 4.3.
译文
OpenWAM-Study 概述。在 OpenWAM-Infra 这一底座上，我们通过受控实验系统地分析世界–动作模型的设计原则。本节先在 4.1 节研究 WAM 应如何继承上游世界先验，再在 4.2 节理解如何在世界先验与动作学习之间建立协同，最后在 4.3 节检验哪些设计选择能推广到跨领域的具身预训练。
解释
三小节与引言的三个问题一一对应：4.1 回答"继承什么"，4.2 回答"怎样协同"，4.3 回答"如何扩展"。整节的实验都是在同一个基准、同一套训练设置下只改一个变量。
原文
Evaluation Protocol. In this section, we use RoboTwin2.0 (Chen et al., 2025), a widely-adopted bi-manual manipulation benchmark spanning over 50 tasks, as our evaluation environment. In our experiments, we evaluate under two settings: (1) In-Domain Performance (RoboTwin2.0-Full): Following Bi et al. (2026), we train our model with an entire multi-task data corpus of 2,500 demonstrations collected in clean scenes and 25,000 demonstrations collected under heavy scene randomization, and evaluate under clean and randomized environments separately. (2) Out-of-Domain Generalization (RoboTwin2.0-Clean2Random): Following Yuan et al. (2026a), we train our model on clean data only and evaluate under clean and randomized environments separately. Since the training mixture has never seen randomized scene configurations, it serves as a proxy for evaluating the models' generalization capabilities to novel scenes. We use success rate as our metric.
译文
评测协议。本节使用 RoboTwin2.0（Chen 等，2025）作为评测环境，它是一个被广泛采用、涵盖 50 多个任务的双臂操作基准。实验在两种设置下评测：(1) 分布内性能（RoboTwin2.0-Full）：按照 Bi 等（2026）的做法，用完整的多任务数据训练模型——包括在干净场景中采集的 2,500 条演示和在强场景随机化下采集的 25,000 条演示——并分别在干净环境和随机化环境中评测。(2) 分布外泛化（RoboTwin2.0-Clean2Random）：按照 Yuan 等（2026a）的做法，只用干净数据训练，并分别在干净环境和随机化环境中评测。由于训练数据从未见过随机化的场景配置，这一设置可作为评估模型向新场景泛化能力的代理指标。评价指标为成功率。
解释
两种设置的区别在于训练数据是否包含随机化场景：
  • Full：训练里既有干净场景也有随机化场景（后者是前者的 10 倍），因此在"随机化"测试上也属于分布内；考察的是拟合能力。
  • Clean2Random：只用 2,500 条干净演示训练（50 个任务平均每个约 50 条），再拿到随机化场景（背景、桌面纹理、干扰物、光照等都变化）里测；考察的是泛化能力。此时 Clean 列仍是分布内，Random 列才是真正的 OOD。
本节的大部分对比在 Full 上进行，4.2.2 和 4.3 节会同时使用两种设置。

4.1继承上游世界知识（Inheriting Upstream World Knowledge）

原文
In this section, we focus on the following question:
Question 1: What world knowledge should WAMs inherit, and how is it best inherited?
译文
本节聚焦如下问题：
问题 1：WAM 应当继承什么样的世界知识？又该如何最好地继承？
解释
比引言里的问题 1 多了"如何继承"——不仅要选对知识来源，还要选对承载它的形式（骨干权重、潜空间）。
原文
World knowledge can be inherited largely through two channels: generative world priors and visual representation priors. Generative world priors refer to the visual and dynamical knowledge embedded in the video generation backbone, whereas visual representation priors refer to the representation space induced by vision encoders (Radford et al., 2021; Caron et al., 2021; Wan et al., 2025).
译文
世界知识大体可以通过两个渠道继承：生成式世界先验和视觉表征先验。生成式世界先验指嵌在视频生成骨干中的视觉与动态知识；视觉表征先验则指视觉编码器所诱导的表征空间（Radford 等，2021；Caron 等，2021；Wan 等，2025）。
解释
两个渠道正好对应 C(\mathcal{E},\mathcal{S},\mathcal{M}) 中的 \mathcal{S} 与 \mathcal{E}：骨干 DiT 的权重里存着"世界如何演化"的知识（4.1.1 节）；编码器决定"用什么样的坐标来描述世界"（4.1.2 节）。前者是"会不会预测"，后者是"预测的东西好不好用"。

4.1.1生成式世界先验（Generative World Priors）

原文
To understand whether and to what extent generative world priors facilitate WAM performance, we compare four video generation backbones with variable parameter counts: Wan2.1-VACE-1.3B (Wan et al., 2025), Cosmos-Predict2.5-2B (Ali et al., 2025), Wan2.2-TI2V-5B (Wan et al., 2025), and Wan2.1-I2V-14B (Wan et al., 2025). We instantiate our World–Action Model with a Dual-System architecture consisting of a video generation module and an action generation module connected with joint self-attention, in which the video generation module parameters are copied from the pretrained video generation model. Results are evaluated on RoboTwin2.0-Full.
译文
为了理解生成式世界先验是否以及在多大程度上有助于 WAM 的性能，我们比较了四个参数量不同的视频生成骨干：Wan2.1-VACE-1.3B（Wan 等，2025）、Cosmos-Predict2.5-2B（Ali 等，2025）、Wan2.2-TI2V-5B（Wan 等，2025）和 Wan2.1-I2V-14B（Wan 等，2025）。我们用 Dual-System 架构实例化世界–动作模型：一个视频生成模块和一个动作生成模块通过联合自注意力相连，视频生成模块的参数复制自预训练的视频生成模型。结果在 RoboTwin2.0-Full 上评测。
解释
控制变量：架构固定为 Dual-System 联合自注意力，评测固定为 Full，只换视频骨干（各自配原生 VAE）。注意 3.1 节列了 5 个骨干，这里只比较了 4 个，Cosmos3-Edge-4B 未参与本实验。
A_fig6.png
原文
Figure 6 WAM Performance with Different Video Backbone Size. With increasing video generation backbone size, performance of the resulting WAM consistently improves.
译文
图 6 不同视频骨干规模下的 WAM 性能。随着视频生成骨干规模增大，所得 WAM 的性能持续提升。
图 6 解读
横轴是骨干参数量（单位：十亿，B），纵轴是 RoboTwin2.0-Full 上的平均成功率（%），圆点大小也随参数量增大。四个点：Wan2.1-VACE 1.3B \to 90.14，Cosmos-Predict2.5 2B \to 91.64，Wan2.2-TI2V 5B \to 92.39，Wan2.1-I2V 14B \to 93.79。可读出的结论：(1) 趋势单调上升，骨干越强 WAM 越好；(2) 收益在递减：从 1.3B 到 5B（约 3.8 倍参数）涨了 2.25 个点，从 5B 到 14B（约 2.8 倍参数）涨了 1.40 个点；(3) 纵轴只跨 90–94，说明所有骨干都已在 90 分以上，差异是"好与更好"之间的差别。这张图支撑了"足够强的生成骨干"这条原则，也给出了选 5B 而非 14B 作为默认的依据。
原文
Across the four tested backbones, the average success rate of the resulting WAM improves consistently with video generation backbones of increasing capacity (Figure 6). Wan2.1-I2V-14B performs best, while Wan2.2-TI2V-5B trails it by only 1.40 points, even though the former has nearly 3x the parameter count. Balancing performance against training and deployment efficiency across the four backbones, we ultimately adopt the 5B model as the default for the remaining controlled studies. Since these backbones also differ in architecture, pretraining data, and objective, this comparison establishes backbone choice as a consequential design variable without attributing the entire gain to parameter count alone. The 5B default also keeps subsequent action-side ablations tractable while holding the inherited world prior fixed.
译文
在测试的四个骨干上，所得 WAM 的平均成功率随视频生成骨干容量的增加而持续提升（图 6）。Wan2.1-I2V-14B 表现最好，而 Wan2.2-TI2V-5B 只落后它 1.40 个点，尽管前者的参数量将近后者的 3 倍。综合权衡四个骨干的性能与训练、部署效率，我们最终采用 5B 模型作为后续受控研究的默认骨干。由于这些骨干在架构、预训练数据和训练目标上也各不相同，这一比较只能确立"骨干选择是一个有重要影响的设计变量"，而不能把全部收益都归因于参数量。5B 的默认选择还使后续动作侧的消融实验在算力上可行，同时保持继承的世界先验固定不变。
解释
验算：93.79-92.39=1.40；14/5=2.8，即"将近 3 倍"。作者在这里很谨慎：四个骨干不只是大小不同，还来自不同公司、不同数据和目标（例如 Wan2.2 使用了压缩率更高的新 VAE），所以图 6 不是严格意义上的"缩放律"，只能说明"骨干很重要"。另一个现实考虑是：后面要做大量消融，每次都训 14B 模型代价太高；而且 14B 的推理延迟也难以满足实时控制。

4.1.2视觉表征先验（Visual Representation Priors）

A_fig7.png
原文
Figure 7 Visual representation priors. We consider building WAMs with both reconstructive and representation encoders, and include a variant of representation encoders with S-VAE (Zhang et al., 2025a), an adapter that converts high-dimensional latents produced by representation encoders into low-dimensional vectors suitable for DiT processing.
译文
图 7 视觉表征先验。我们考虑用重建型编码器和表征型编码器分别构建 WAM，并为表征型编码器加入一个带 S-VAE（Zhang 等，2025a）的变体——S-VAE 是一个适配器，把表征型编码器产生的高维潜变量转换为适合 DiT 处理的低维向量。
图 7 解读
纵轴是 RoboTwin2.0-Full 上的平均成功率，横轴是六种视觉编码器（柱子上方的图标表示来源：Meta 的 DINOv3 与 V-JEPA、Black Forest Labs 的 FLUX、阿里的 Wan），从低到高排列：
编码器类型平均成功率（%）
DINOv3 w/o SVAE表征型，768 维76.42
V-JEPA 2.1 w/o SVAE表征型，1024 维80.91
FLUX.2 VAE重建型（图像）84.26
V-JEPA 2.1 w/ SVAE表征型，压到 48 维88.46
DINOv3 w/ SVAE表征型，压到 48 维90.18
Wan2.2 VAE重建型（视频），48 维90.30
关键对比：(1) 同一个表征型编码器，加 S-VAE 压缩后大幅提升——DINOv3 从 76.42 升到 90.18（+13.76），V-JEPA 2.1 从 80.91 升到 88.46（+7.55）；(2) 压缩后的语义潜空间超过了图像 VAE（FLUX.2），并与原生视频 VAE（Wan2.2）几乎持平（差 0.12）。结论：决定好坏的是"紧凑"而不是"重建型还是表征型"。注意这里所有模型的 DiT 都是随机初始化的（见下文），因此 Wan2.2 VAE 的 90.30 低于图 6 中继承预训练权重的 92.39，二者不可直接比较。
原文
Another important source of world knowledge comes from the latent representation space induced by vision encoders. Broadly speaking, these encoders fall into two categories: (1) Reconstructive Encoders: the objective of these encoders is compression, trained solely with pixel-reconstruction; (2) Representation Encoders: grounded by self-supervised or multimodal representation learning, these encoders learn semantically structured visual features that provide a basis for visual understanding. Motivated by recent advances in generative and world modeling with representation encoders (Zheng et al., 2026a; Singh et al., 2026; Zhou et al., 2024; Jha et al., 2026; Lyu et al., 2026), we question the design of latent space in the context of world–action models.
译文
另一个重要的世界知识来源是视觉编码器诱导的潜在表征空间。大体上这些编码器分为两类：(1) 重建型编码器：目标是压缩，只用像素重建来训练；(2) 表征型编码器：以自监督或多模态表征学习为基础，学到具有语义结构的视觉特征，为视觉理解提供基础。受近期用表征型编码器做生成和世界建模的进展（Zheng 等，2026a；Singh 等，2026；Zhou 等，2024；Jha 等，2026；Lyu 等，2026）启发，我们在世界–动作模型的语境下审视潜空间的设计。
解释
背景：传统扩散模型都在 VAE 潜空间里生成；近来出现"表征自编码器"（RAE，Zheng 等 2026a）等工作，直接在 DINO 等语义特征空间里做扩散，发现生成质量和训练效率反而更好；DINO-WM（Zhou 等，2024）则在 DINO 特征空间里做世界模型和规划。直觉是：语义特征忽略了无关的像素细节（纹理、光照），更专注于物体和结构，可能对控制更有用。本节就是要在 WAM 上检验这一想法。
原文
In this set of experiments, we choose representative encoders from both categories. For Reconstructive Encoders, we use Wan2.2-VAE (Wan et al., 2025), a state-of-the-art video encoder with a 4x temporal compression rate, and FLUX.2-VAE (Black Forest Labs, 2025), an advanced image encoder yielding highly performant image generation models built on its latent space. For Representation Encoders, we use DINOv3 (Siméoni et al., 2025), the newest generation of DINO (Caron et al., 2021), a classical vision encoder learned through self-supervised learning; and V-JEPA 2.1 (Mur-Labadia et al., 2026), a dense feature encoder based on joint embedding predictive architectures (LeCun et al., 2022). To isolate the performance gain from visual representations alone, we inherit the model architecture of Wan2.2-TI2V-5B, but randomly initialize its model weights. For a fair comparison, we apply the same 4x temporal compression as Wan2.2-VAE to FLUX.2-VAE, DINOv3, and V-JEPA 2.1: since none of these encoders natively performs temporal compression, we impose the 4x downsampling by averaging the features of every four consecutive frames.
译文
在这组实验中，我们从两类中各选代表性编码器。重建型选 Wan2.2-VAE（Wan 等，2025）——一个时间压缩率为 4 倍的先进视频编码器，以及 FLUX.2-VAE（Black Forest Labs，2025）——一个先进的图像编码器，在其潜空间上构建的图像生成模型性能很强。表征型选 DINOv3（Siméoni 等，2025）——DINO（Caron 等，2021）的最新一代，一个经典的自监督视觉编码器；以及 V-JEPA 2.1（Mur-Labadia 等，2026）——一个基于联合嵌入预测架构（JEPA，LeCun 等，2022）的稠密特征编码器。为了单独分离出视觉表征带来的性能增益，我们沿用 Wan2.2-TI2V-5B 的模型架构，但随机初始化其权重。为公平比较，我们对 FLUX.2-VAE、DINOv3 和 V-JEPA 2.1 施加与 Wan2.2-VAE 相同的 4 倍时间压缩：由于这些编码器都不原生进行时间压缩，我们通过对每连续四帧的特征取平均来实现 4 倍下采样。
解释
两处控制变量的设计值得注意：(1) 随机初始化 DiT——如果保留 Wan2.2 的预训练权重，它天然适配 Wan2.2-VAE，对其他编码器不公平；随机初始化后，各编码器站在同一起跑线上，比较的只是"潜空间本身好不好学"。(2) 统一 4 倍时间压缩——Wan2.2-VAE 把 4 帧压成 1 个潜帧，其他编码器逐帧编码，若不压缩，它们的 token 数会是 4 倍，序列长度和计算量都不同。作者用"四帧平均"粗暴地对齐，这一做法本身会损失时间信息，后文把 Wan2.2-VAE 的微弱领先部分归因于此。
原文
Since modern Diffusion Transformer architectures (Peebles & Xie, 2023) are optimized mostly for reconstructive encoders, naive adoption of representation encoders, which produces high-dimensional latents (e.g., 768-D features for DINOv3 and 1024-D for V-JEPA 2.1), can lead to poor performance due to architectural incompatibility (Zheng et al., 2026a). Following Jha et al. (2026), we include a variant for representation encoders, where we train an S-VAE (Zhang et al., 2025a) adapter that converts the high-dimensional features produced by representation encoders to lower-dimensional vectors (48-D in this experiment, matching the latent dimension of Wan2.2-VAE).
译文
由于现代扩散 Transformer 架构（DiT，Peebles & Xie，2023）大多是为重建型编码器优化的，直接采用产生高维潜变量的表征型编码器（如 DINOv3 的 768 维特征、V-JEPA 2.1 的 1024 维特征），可能因为架构不兼容而性能不佳（Zheng 等，2026a）。按照 Jha 等（2026）的做法，我们为表征型编码器加入一个变体：训练一个 S-VAE（Zhang 等，2025a）适配器，把表征型编码器产生的高维特征转换为低维向量（本实验中为 48 维，与 Wan2.2-VAE 的潜变量维度一致）。
解释
为什么高维潜变量不好扩散：扩散/流匹配要在每个通道上加噪去噪，通道越多，需要建模的分布维度越高；而 DiT 的 patch 嵌入和宽度是针对十几到几十个通道设计的。RAE 等工作指出，若潜变量维度接近甚至超过 Transformer 宽度，模型难以学好。S-VAE（语义 VAE）是一个小型变分自编码器，把 768/1024 维语义特征压到 48 维，同时尽量保留语义结构。对齐到 48 维后，各编码器在通道数上也与 Wan2.2-VAE 一致，比较更干净。
原文
As shown in Figure 7, representation encoders can yield performance on par with or stronger than reconstructive encoders for world–action modeling with the help of S-VAEs. Specifically, while naive adoption of representation encoders yields worse performance than models trained with the reconstructive encoder FLUX.2-VAE, with dimension contraction using S-VAE, the representation encoders' contracted variants (DINOv3 w/ SVAE, V-JEPA 2.1 w/ SVAE) significantly outperform FLUX.2-VAE. DINOv3 w/ SVAE achieves nearly on-par performance with Wan2.2-VAE, and we attribute the remaining slim margin to two native advantages of Wan2.2-VAE: it is a reconstructive encoder specifically suited to the video backbone architecture, and its temporal compression is learned natively by the encoder rather than imposed through frame averaging.
译文
如图 7 所示，借助 S-VAE，表征型编码器在世界–动作建模中可以取得与重建型编码器相当甚至更好的性能。具体而言，直接采用表征型编码器的效果不如用重建型编码器 FLUX.2-VAE 训练的模型；但经 S-VAE 降维后，表征型编码器的压缩变体（DINOv3 w/ SVAE、V-JEPA 2.1 w/ SVAE）显著优于 FLUX.2-VAE。DINOv3 w/ SVAE 的表现几乎与 Wan2.2-VAE 持平，我们把剩余的微小差距归因于 Wan2.2-VAE 的两项先天优势：它是专门适配该视频骨干架构的重建型编码器；并且它的时间压缩是由编码器原生学到的，而不是通过帧平均强加的。
解释
对照图 7 的数字：FLUX.2 为 84.26，两个未压缩的表征型分别为 76.42、80.91，都低于它；压缩后为 88.46、90.18，都高于它；DINOv3 w/ SVAE 与 Wan2.2-VAE 仅差 90.30-90.18=0.12 个点。作者的归因有一定道理但未单独验证（例如没有做"Wan2.2-VAE 也用逐帧编码再平均"的对照），属于推测。
原文
Taken together, what determines the quality of a WAM latent space is not the categorical divide between reconstructive and representation encoders, but the operational properties of the latents themselves: compactness (in both the temporal and the token dimension) and rich world information. Priors in representation encoders can thus be inherited to build highly performant WAMs with the help of temporal compression and dimension contraction. We also encourage active research into building representation encoders with native temporal compression, which in turn may lead to even better prior inheritance.
译文
综上，决定 WAM 潜空间质量的，并不是重建型与表征型编码器之间的类别划分，而是潜变量本身的可操作属性：紧凑性（时间维度和 token 维度两方面）以及丰富的世界信息。因此，借助时间压缩和维度收缩，表征型编码器中的先验同样可以被继承，用于构建高性能的 WAM。我们也鼓励积极研究具有原生时间压缩能力的表征型编码器，这可能带来更好的先验继承。
解释
"紧凑"有两层：时间上（4 帧压成 1 帧，减少要预测的帧数）和每个 token 的维度上（48 维而非 768 维）。"信息丰富"指潜变量仍要保留足够的世界状态信息——例如图像 VAE 虽然紧凑，但不含时间压缩、也没有语义结构，所以 FLUX.2 只有 84.26。这与图 1 中 Q3 的结论一致："理想的 WAM 表征应当紧凑且富含世界信息"。
原文
Finding 1: A WAM inherits upstream world knowledge most effectively through a sufficiently capable generative backbone and a compact, information-rich visual representation space. Reconstructive encoders are not the only option; representation encoders with dimension compression are also performant.
译文
发现 1：WAM 通过足够强的生成骨干和紧凑、信息丰富的视觉表征空间，最有效地继承上游世界知识。重建型编码器并不是唯一选项；经过维度压缩的表征型编码器同样表现出色。
解释
发现 1 是对 4.1.1（骨干）与 4.1.2（表征）两组实验的合并总结。它在 OpenWAM-\alpha 中的落地是：选 Wan2.2-TI2V-5B（足够强、效率平衡）和其原生 Wan2.2-VAE（48 维、4 倍时间压缩）。表征型编码器 + S-VAE 的路线虽然表现接近，但需要从零训练 DiT、放弃视频预训练权重，所以最终模型没有采用。

4.2构建世界学习与动作学习的协同（Building Synergy between World and Action Learning）

原文
Inheriting the right priors is not enough; a world–action model needs to build synergy between world and action learning. This requires three decisions at different levels of the system: where action-specific capacity lives, which cross-modal information paths are available during training, and whether inference preserves the noise-state relationship on which those paths were learned.
译文
只继承正确的先验还不够；世界–动作模型需要在世界学习与动作学习之间建立协同。这需要在系统的不同层面上做出三个决定：动作专用容量放在哪里；训练时有哪些跨模态信息通路可用；以及推理时是否保持了这些通路在学习时所依赖的噪声状态关系。
解释
三个决定分别对应 4.2.1（架构容量，即 \mathcal{S} 与 C）、4.2.2（训练时信息流，即掩码 \mathcal{M}）、4.2.3（推理时信息流，即去噪调度 \tau）。第三点的含义是：训练时动作 token 是在某种"视频噪声水平"下学会读取视频 token 的，推理时如果改变两者的相对噪声水平，学到的读取方式可能不再适用。
原文
Question 2: How should inherited world knowledge interact with action learning?
译文
问题 2：继承来的世界知识应当如何与动作学习相互作用？

4.2.1架构容量（Architectural Capacity）

原文
A central question in world–action modeling is how much action-specific capacity a WAM requires and how strongly its video and action streams should be separated. The three architecture families of Section 3.1 span precisely this capacity axis, and we evaluate all six of their variants, instantiating joint cross-attention both end-to-end and with gradients detached at the video features, yielding seven baselines (Table 1).
译文
世界–动作建模中的一个核心问题是：WAM 需要多少动作专用容量，以及视频流和动作流应当分离到什么程度。3.1 节的三个架构家族恰好覆盖了这条容量轴；我们评测了全部六个变体，其中联合交叉注意力分别以端到端方式和"在视频特征处截断梯度"方式实例化，共得到七个基线（表 1）。
解释
"容量轴"从左到右：Vanilla（零动作专用参数）\to MoE（动作专用 FFN）\to Dual-System（完整的独立 ActionDiT）\to Tri-System（再加一个 VLM 理解流）。交叉注意力多出一个 detached 版本，用来检验"动作损失的梯度流进视频骨干"是好是坏。
ArchitectureSuccess Rate (%)
SystemVariantCleanRandomizedAverage
Single-SystemVanilla85.2085.8085.50
MoE86.2283.0484.63
Dual-SystemJoint Self-Attention92.3492.3892.36
Joint Cross-Attention87.8688.6488.25
Detached Cross-Attention92.0691.6491.85
IDM87.7688.1487.95
Tri-SystemJoint Self-Attention92.8492.3692.60
原文
Table 1 Architecture Ablation. Averaged success rates (%) on RoboTwin2.0-Full. Bold denotes best values.
译文
表 1 架构消融。RoboTwin2.0-Full 上的平均成功率（%）。粗体为最佳值。
表 1 解读
列：System/Variant 为架构家族与变体；Clean、Randomized 分别是在干净场景和随机化场景下 50 多个任务的平均成功率；Average 是两者均值。由于是 Full 设置，两种场景都在训练分布内。（原表加粗仅凭渲染图难以完全确认，此处按数值最大者加粗。）关键数字：
  • Single-System 两个变体都在 85 左右；MoE 加了动作专家，平均反而略降（84.63 vs 85.50），主要是随机化场景下掉了约 2.8 个点。说明"只多一个 FFN"不够。
  • Dual-System 内部差异很大：联合自注意力 92.36 最好；端到端交叉注意力只有 88.25，而截断梯度后升到 91.85（+3.6）；IDM 87.95 最低。
  • Tri-System 92.60 为全表最高，但只比 Dual-System 联合自注意力高 0.24。
含义：(1) 从 Single 到 Dual 有约 7 个点的跃升，是"专门动作容量"原则的直接证据；(2) 交叉注意力 detached 远好于端到端，说明让动作损失通过交叉注意力反传进视频骨干会破坏继承的世界先验；而联合自注意力即便是端到端也不受此影响，可能因为它的交互是对称的、各流保留各自参数；(3) IDM 的两阶段设计（先生成视频再推动作）表现不佳，与 4.2.3 节"推理时先视频后动作并无好处"相呼应；(4) 加 VLM 的收益很小，不值得额外的复杂度和约 40 ms 延迟（图 4）。
原文
Results. As shown in Table 1, with increasing architecture capacity, performance from single- to dual- and tri-system continuously improves. Joint self-attention is the strongest dual-system variant, while the tri-system model achieves the best overall performance. Balancing performance with architectural complexity, and isolating the interaction between world knowledge and action learning from the potential influence of the VLM's understanding features, we therefore adopt dual-system joint self-attention for the remaining experiments, so that the subsequent findings reflect this interaction alone.
译文
结果。如表 1 所示，随着架构容量增加，性能从单系统到双系统再到三系统持续提升。联合自注意力是最强的双系统变体，而三系统模型取得了最佳的总体性能。综合权衡性能与架构复杂度，并为了把世界知识与动作学习之间的交互同 VLM 理解特征的潜在影响隔离开，我们在其余实验中采用双系统联合自注意力，使后续发现只反映这一交互。
解释
选 Dual 而不选 Tri 有两个理由：一是工程上的性价比（0.24 个点的差距换来更简单、更快的模型）；二是实验设计上的"去混杂"——如果后续实验都带着 VLM，那么某种掩码或调度的效果可能部分来自 VLM 的语义特征，就不能纯粹归因于"世界–动作"交互了。

4.2.2训练时信息流（Training-Time Information Flow）

原文
The architectural comparison selects joint self-attention as the interface between the world and action streams, but joint attention alone does not specify which information flow creates the best synergy. We compare four information flow strategies at training time, controlled by attention masking: Isolated, with no cross-stream communication; Video Sees Action, which exposes action features to the world stream; Action Sees Video, which exposes world features to the action stream; and Mutual, which enables both directions.
译文
架构比较选出了联合自注意力作为世界流与动作流之间的接口，但仅有联合注意力并不能确定哪种信息流能产生最好的协同。我们比较了训练时的四种信息流策略，通过注意力掩码控制：隔离（Isolated），两流之间不通信；视频看动作（Video Sees Action），把动作特征暴露给世界流；动作看视频（Action Sees Video），把世界特征暴露给动作流；相互（Mutual），两个方向都开启。
解释
这就是 3.1 节式 (1) 里两个跨模态分块 \mathcal{M}_{A\leftarrow V}、\mathcal{M}_{V\leftarrow A} 的四种开关组合。架构固定为 Dual-System 联合自注意力，从视频预训练权重出发，只在 RoboTwin 上训练（即"从零"做具身训练，没有大规模具身预训练），这一点在 4.3.3 节会变得重要。
A_fig8.png
原文
Figure 8 Attention Masking Strategies. We control cross-modality information flow at training time via attention masking.
译文
图 8 注意力掩码策略。我们在训练时通过注意力掩码控制跨模态信息流。
图 8 解读
四个方阵分别是 Isolated、Video Sees Action、Action Sees Video、Mutual。纵轴 Q 是发出查询的 token，横轴 K 是被注意的 token，顺序均为 V_{obs}（1 行/列）、V_{future}（2 行/列）、A_{future}（2 行/列）。蓝格表示视频 token 的查询被允许，红格表示动作 token 的查询被允许，浅灰格表示被屏蔽。四图共同部分：V_{obs} 行只有自己（首帧因果注意力）；V_{future} 行能看 V_{obs} 和 V_{future}；A_{future} 行能看 V_{obs} 和 A_{future}——注意即便在 Isolated 模式下，动作仍能看到干净的当前观测帧，被屏蔽的只是未来视频 token。差别只在右上（V_{future} 看 A_{future}）和左下（A_{future} 看 V_{future}）两块：Isolated 都关；Video Sees Action 开右上；Action Sees Video 开左下；Mutual 都开。
MaskSuccess Rate (%)
CleanRandom.Average
Isolated88.0886.7487.41
Video Sees Action87.9287.3487.63
Action Sees Video92.9891.8092.39
Mutual92.5091.8092.15
原文
Table 2 Action learning requires access to world information. Success rates (%) on RoboTwin2.0-Full.
译文
表 2 动作学习需要获取世界信息。RoboTwin2.0-Full 上的成功率（%）。
表 2 解读
行是四种掩码，列与表 1 相同。四行明显分成两组：动作看不到未来视频的两种（Isolated 87.41、Video Sees Action 87.63）与动作能看到未来视频的两种（Action Sees Video 92.39、Mutual 92.15），两组之间相差约 5 个点；组内差距都只有约 0.2–0.3 个点。也就是说，决定性的开关是 \mathcal{M}_{A\leftarrow V}，而 \mathcal{M}_{V\leftarrow A} 几乎无影响。另可核对：Action Sees Video 的 92.39 与图 6 中 Wan2.2-TI2V-5B 的结果一致，以及表 1 的 Dual 联合自注意力 92.36 很接近，说明各组实验的设置是一致的。
原文
The comparison separates cleanly according to whether the action stream can access world features (Figure 8 and Table 2). Isolated and video-sees-action masks underperform by roughly five points, whereas action-sees-video and mutual visibility both retain strong performance. World-to-action flow is therefore necessary in this setting. By contrast, adding the reverse action-to-world path changes the from-scratch result only marginally, leaving action-sees-video and mutual visibility as two viable masks to revisit after pretraining.
译文
比较结果按"动作流能否获取世界特征"清晰地分为两组（图 8、表 2）。隔离与视频看动作两种掩码落后约五个点，而动作看视频和相互可见都保持了强劲的性能。因此在这一设置下，世界到动作的信息流是必要的。相比之下，再加上反向的动作到世界通路，对从零训练的结果只有微小影响，于是动作看视频和相互可见成为两种可行的掩码，留待预训练之后再次检验。
解释
这组实验给出了"协同"的第一条具体证据：仅仅共享训练（Isolated 下两者依然一起训练、共享梯度回传路径中的首帧特征）不足以产生协同，动作必须能在前向时直接读到视频流对未来的预测特征。"从零"（from-scratch）在这里指没有经过大规模具身预训练、直接在 RoboTwin 上训练；作者特意没有在这里定死掩码，因为 4.3.3 节会发现预训练后 Mutual 反而更好。

4.2.3推理时信息流（Inference-Time Information Flow）

A_fig9.png
原文
Figure 9 Inference-time Information Flow via Denoising Schedule. Each curve traces action denoising progress against video denoising progress. Curves above/below the diagonal denoise action/video first, respectively.
译文
图 9 通过去噪调度实现的推理时信息流。每条曲线描绘动作去噪进度相对于视频去噪进度的轨迹。位于对角线上方/下方的曲线分别表示先对动作/视频去噪。
图 9 解读
坐标：横轴是视频时间步 t_v，纵轴是动作时间步 t_a（0 为纯噪声，1 为干净），每条曲线是一条从 (0,0) 到 (1,1) 的去噪路径；标签"参数 / 成功率"。紫色粗对角线是同步调度，成功率 93.0。左图：方差平移（式 (3) 的 f_\alpha，\alpha\in\{4,8,16,32\}，\alpha 越大偏离对角线越远）。对角线上方（动作领先）：\alpha=4/8/16/32 对应 91.0 / 90.7 / 89.7 / 88.5，领先越激进越差；下方（视频领先）：91.8 / 91.1 / 91.9 / 91.5，大体稳定在 91.5 左右。右图：线性偏移（h_o，o\in\{0.2,0.4,0.6,0.8\}，落后流在全局进度达到 o 前保持纯噪声，因此曲线从坐标轴上的某点出发）。动作领先：0.2 / 0.4 / 0.6 / 0.8 对应 92.2 / 92.0 / 92.3 / 92.3；视频领先：91.7 / 91.1 / 91.5 / 91.2。结论：16 种异步调度没有一种超过同步的 93.0；最好的异步调度（线性偏移、动作领先，92.3）也低 0.7 个点，最差的（方差平移、动作领先 \alpha=32，88.5）低 4.5 个点。两族里"谁领先更好"的结论还相反（方差平移下视频领先更好，线性偏移下动作领先更好），说明不存在稳定的"先想后做"或"先做后想"优势。另注意：此处同步调度为 93.0，高于表 2 中 Mutual 的 92.15，原因是本实验的模型用独立采样的 (t_v,t_a) 训练（见下文），与表 2 的训练设置不同；原文未单独说明这一差异。
原文
Training-time attention masking implements full masking, while the inference-time denoising schedule provides a softer information gate, i.e. partial masking. For this ablation, we fix mutual visibility and train the video and action streams with independently sampled noise levels, covering a two-dimensional space of joint noise states.
译文
训练时的注意力掩码实现的是完全屏蔽，而推理时的去噪调度提供了一种更软的信息门控，即部分屏蔽。在这项消融中，我们固定使用相互可见掩码，并以独立采样的噪声水平训练视频流和动作流，从而覆盖联合噪声状态的二维空间。
解释
为什么说去噪调度是"软掩码"：如果视频还是纯噪声，动作即使能"看到"视频 token，也读不到任何有用信息，效果上相当于被屏蔽；随着视频逐步去噪，可读信息逐渐增多。所以让视频领先，等价于"让动作尽早读到清晰的未来"；让动作领先，等价于"让视频尽早读到确定的动作"。这里要用 mutual 掩码，才能让两个方向都有通路可调；要用独立时间步训练（3.2 节），才能保证任何调度在推理时都不越出训练分布。
原文
We instantiate the schedule abstraction of Section 3.3: synchronized denoising follows the diagonal (t_v^i,t_a^i)=(s_i,s_i), while the variance-shift and linear-offset families of Equation (3) let either stream lead (Baade et al., 2026). We evaluate \alpha\in\{4,8,16,32\} and o\in\{0.2,0.4,0.6,0.8\} in both leading directions.
译文
我们实例化 3.3 节的调度抽象：同步去噪沿对角线 (t_v^i,t_a^i)=(s_i,s_i) 前进，而式 (3) 中的方差平移族与线性偏移族让任一条流领先（Baade 等，2026）。我们在两个领先方向上分别评测 \alpha\in\{4,8,16,32\} 和 o\in\{0.2,0.4,0.6,0.8\}。
解释
总共 4\times2+4\times2=16 种异步调度，加 1 个同步基线。以 \alpha=32、s=0.1 为例：f_{32}(0.1)=3.2/(1+3.1)\approx0.78，即只走了 10% 的步数，领先流就已经去噪了 78%，几乎是"先把一条流做完，再做另一条"，相当于两阶段的规划–执行范式。
原文
Results. Synchronized denoising performs best, and no asynchronous schedule improves performance, regardless of which stream leads or how relative progress is parameterized (Figure 9). With variance-shift schedules, video-leading outperforms action-leading schedules, whereas with linear-offset schedules, action-leading outperforms video-leading schedules. This suggests that while explicit video-to-action information flow is necessary at training time, enforcing such priors through the inference-time denoising schedule does not yield gains, supporting the representation learning hypothesis of world–action modeling (Yuan et al., 2026b) as opposed to an implicit planning-then-IDM schedule at test time (Ye et al., 2026c).
译文
结果。同步去噪表现最好；无论哪条流领先、相对进度如何参数化，都没有任何异步调度能提升性能（图 9）。在方差平移调度下，视频领先优于动作领先；而在线性偏移调度下，动作领先优于视频领先。这表明，尽管训练时显式的视频到动作信息流是必要的，但通过推理时的去噪调度来强化这种先验并不会带来收益。这支持了世界–动作建模的"表征学习假说"（Yuan 等，2026b），而不是测试时隐式的"先规划、再逆动力学"调度（Ye 等，2026c）。
解释
这一段触及 WAM 社区的一个核心争论：WAM 为什么有效？
  • "规划 + IDM"观点（DreamZero，Ye 等 2026c）：WAM 先在脑中"想象"出未来视频（相当于规划），再从想象的视频推出动作（相当于逆动力学）。若如此，推理时让视频先去噪清楚应该更好。
  • "表征学习"观点（Fast-WAM，Yuan 等 2026b）：视频预测主要是一个训练时的辅助任务，它塑造了更好的内部表征，动作从这些表征中受益；推理时并不需要真的把未来视频生成清楚。
实验显示视频领先没有帮助，同步最好，支持后者。这也和表 1 中 IDM 架构表现较差一致。实用上，这意味着 WAM 可以不依赖高质量的视频生成来出动作，为 Fast-WAM 那类"推理时跳过视频生成"的加速思路提供了依据。
原文
Finding 2: World–action synergy requires explicit world-to-action information flow during training, and synchronized joint denoising at inference. We carry forward dual-system joint self-attention with synchronized denoising and defer the close choice between one-way and mutual visibility to pretraining.
译文
发现 2：世界–动作协同需要训练时显式的世界到动作信息流，以及推理时同步的联合去噪。我们沿用双系统联合自注意力加同步去噪的方案，并把"单向可见还是相互可见"这一难分高下的选择留到预训练阶段再定。
解释
发现 2 合并了三组实验：表 1（需要专门的动作容量，选 Dual 联合自注意力）、表 2（需要 A\leftarrow V 通路）、图 9（推理时同步去噪）。摘要里"专门的动作容量、显式的世界到动作信息流、同步联合去噪"三要素正出自这里。悬而未决的 A\leftarrow V 与 V\leftrightarrow A 之争将在 4.3.3 节由预训练实验解决。

4.3跨领域巩固知识（Consolidating Knowledge Across Domains）

原文
The preceding studies identify which world priors to inherit and how world and action streams should interact. However, strong single-domain performance alone does not establish transferable world–action knowledge: the model may simply fit the visual and action distribution of the target tasks, a distinction that cross-domain pretraining sharpens. Robot trajectories provide executable action supervision but limited visual coverage, whereas egocentric video offers broader visual diversity but lacks robot action labels. We therefore ask where pretraining gains arise, how these two sources should be combined, and whether the information-flow choice identified from scratch remains valid after pretraining.
译文
前面的研究确定了应继承哪些世界先验，以及世界流与动作流应当如何交互。然而，仅凭单领域上的强劲表现，并不能证明模型学到了可迁移的世界–动作知识：模型可能只是拟合了目标任务的视觉与动作分布——跨领域预训练会把这一区别凸显出来。机器人轨迹提供可执行的动作监督，但视觉覆盖有限；第一视角视频提供更广泛的视觉多样性，却缺少机器人动作标签。因此我们要问：预训练的收益从何而来？这两种数据源应如何结合？从零训练时确定的信息流选择，在预训练之后是否仍然成立？
解释
前两小节的实验都只在 RoboTwin 上训练和测试，结论可能只适用于"拟合单个基准"。本小节引入"具身预训练"这一新变量，并提出三个子问题，分别由 4.3.2 节的前两段（收益在哪、数据怎么配）和 4.3.3 节（信息流是否改变）回答。两种数据源的互补性是本节主线：人类第一视角视频（ego）有大量不同场景、物体和手–物交互，但人手不是机器人，没有可直接执行的动作；机器人数据正相反。
原文
Question 3: How can world–action knowledge be consolidated and transferred across domains?
译文
问题 3：世界–动作知识如何跨领域地巩固与迁移？

4.3.1问题设置与评测协议（Problem Setup and Evaluation Protocol）

原文
Controlled Transfer Protocol. All runs keep the backbones, optimization budget, and inference procedure fixed — the dual-system joint self-attention architecture with synchronized denoising selected above — and vary only whether and how the model is pretrained with embodiment data; the information-flow mask is revisited in the final ablation. Two complementary protocols serve the evaluation: RoboTwin2.0-Clean2Random fine-tunes on Clean and evaluates Clean as in-domain (ID) and Randomized as out-of-domain (OOD), exposing transfer; RoboTwin2.0-Full fine-tunes on the full RoboTwin2.0 training set and reports the mean success rate over both conditions.
译文
受控迁移协议。所有运行都固定骨干、优化预算和推理流程——即上文选定的双系统联合自注意力架构加同步去噪——只改变模型是否以及如何用具身数据预训练；信息流掩码在最后一项消融中再做检验。评测采用两个互补的协议：RoboTwin2.0-Clean2Random 在干净数据上微调，把干净场景作为分布内（ID）、随机化场景作为分布外（OOD）进行评测，以暴露迁移能力；RoboTwin2.0-Full 在完整的 RoboTwin2.0 训练集上微调，报告两种条件下的平均成功率。
解释
流程是"（可选）预训练 \to 在 RoboTwin 上微调 \to 评测"。Clean2Random 的 ID 列也称 Clean2Clean（见图 10 左），OOD 列即 Clean2Random。注意这里的 OOD 是"场景外观"上的分布外（新背景、纹理、干扰物、光照），任务与本体不变。
原文
Embodied Pretraining Data Mixture. We compare supervised fine-tuning from scratch with three pretraining strategies under an identical 600-hour data budget, drawing egocentric human video from EgoDex (Hoque et al., 2025) and real-robot manipulation trajectories from RoboCOIN (Wu et al., 2025). Robot-only spends the full 600-hour budget on robot data; the two mixed variants combine 350 hours of egocentric data with 250 hours of robot data, either in two stages (ego then robot) or jointly in one stage (ego + robot co-train). All four variants then undergo identical downstream fine-tuning.
译文
具身预训练数据配比。我们在相同的 600 小时数据预算下，比较从零开始的监督微调与三种预训练策略。人类第一视角视频取自 EgoDex（Hoque 等，2025），真实机器人操作轨迹取自 RoboCOIN（Wu 等，2025）。仅机器人（Robot-only）把 600 小时预算全部用于机器人数据；两种混合变体则把 350 小时第一视角数据与 250 小时机器人数据结合，要么分两个阶段（先 ego 后 robot），要么在一个阶段内联合训练（ego + robot 联合训练）。四个变体随后都经过完全相同的下游微调。
解释
四个对照组：
组别预训练数据方式
From Scratch无直接在 RoboTwin 上微调（视频骨干仍来自 Wan2.2 预训练）
Robot Only600 h 机器人一阶段
Ego \to Robot350 h ego + 250 h 机器人两阶段：先 ego，再机器人
Ego + Robot350 h ego + 250 h 机器人一阶段混合联合训练
固定总时长（600 小时）是关键的控制：否则混合组多出来的收益可能只是"数据更多"。EgoDex 是 Apple 用 Vision Pro 采集的大规模灵巧操作第一视角数据集；ego 数据没有机器人动作，只监督视频流（动作项被掩码 m 全部屏蔽）。

4.3.2具身预训练主要扩展 OOD 泛化（Embodied Pretraining Primarily Expands OOD Generalization）

A_fig10.png
原文
Figure 10 Embodied Pretraining Primarily Improves OOD Generalization. Success rates on RoboTwin2.0-Clean2Random, ordered from lower to higher performance within each evaluation setting.
译文
图 10 具身预训练主要提升 OOD 泛化。RoboTwin2.0-Clean2Random 上的成功率，在每种评测设置内按性能从低到高排序。
图 10 解读
左图（Clean2Clean，ID）：纵轴为成功率，中间有断轴（5 到 85 之间省略），所以柱高差异被放大了。From Scratch 87.00（基线），Robot Only 88.50（+1.50），Ego\toRobot 87.10（+0.10），Ego+Robot 87.68（+0.68）。右图（Clean2Random，OOD）：纵轴 0–30，无断轴。From Scratch 14.50，Robot Only 23.80（+9.30），Ego\toRobot 26.50（+12.00），Ego+Robot 26.62（+12.12）。读法与结论：
  • 预训练在 ID 上最多带来 1.5 个点，在 OOD 上带来 9–12 个点，OOD 成功率接近翻倍（26.62/14.50\approx1.84）。这就是图 1 中 Q5 的"+12.12 pp vs +0.68 pp"。
  • ID 上 Robot Only 最好，OOD 上两种混合策略更好——机器人数据带来"精度"，ego 数据带来"泛化"。
  • 两种混合方式差距很小（ID 差 0.58，OOD 差 0.12），联合训练略胜。
需要注意的是，即使经过预训练，OOD 成功率仍只有约 27%，远低于 ID 的约 87%：只用干净数据微调时，向随机化场景泛化依然非常困难。另外，图注称"按从低到高排序"，但左图（ID）中 Robot Only（88.50）排在 Ego\toRobot（87.10）之前，实际顺序与右图（OOD）一致，只在右图中严格递增。
原文
Pretraining Primarily Improves OOD Generalization. As shown in Figure 10, embodied pretraining yields modest gains for in-domain performance, but yields strong performance gains in OOD evaluation. Embodied pretraining therefore contributes mainly knowledge that transfers beyond the downstream training distribution, rather than better fitting an already saturated ID benchmark.
译文
预训练主要提升 OOD 泛化。如图 10 所示，具身预训练对分布内性能只带来有限的提升，但在 OOD 评测中带来强劲的性能增益。因此，具身预训练贡献的主要是能迁移到下游训练分布之外的知识，而不是对一个已经饱和的 ID 基准拟合得更好。
解释
"已经饱和"：ID 上从零训练已达 87%，剩下的失败多半来自任务本身的难点（精细操作、长程），预训练很难再挤出多少；而 OOD 场景模型从未见过，预训练数据里的多样场景正好补上这一空缺。这对评测方法有启示：如果只看 ID 指标，会误以为具身预训练"没用"。
原文
Robot and Egocentric Data Contribute Different Strengths. Robot-only pretraining yields the strongest ID performance, while both mixed strategies generalize better OOD. This trade-off is consistent with the insight of robot trajectories strengthening executable action grounding and egocentric video broadening the visual and interaction distribution.
译文
机器人数据与第一视角数据贡献不同的长处。仅机器人预训练取得最强的 ID 性能，而两种混合策略在 OOD 上泛化得更好。这一权衡与如下认识一致：机器人轨迹强化可执行的动作落地，第一视角视频拓宽视觉与交互分布。
解释
混合组只有 250 小时机器人数据（Robot Only 有 600 小时），ID 精度略降可以理解为"动作监督变少了"；但它们多了 350 小时 ego 视频，OOD 反而提升约 2.7–2.8 个点（26.50/26.62 vs 23.80）。可见在固定预算下，用一部分没有动作标签的人类视频替换机器人数据，换来了更好的泛化——这对机器人数据昂贵的现实很有意义。
原文
Absorbing Egocentric Videos: Sequential versus Co-Training. Sequential training and one-stage co-training performance are nearly matched in both in-domain and OOD evaluation, indicating that using both sources matters more than their precise ordering. Co-training is marginally strongest overall and removes the extra curriculum transition, so we adopt it as the practical default.
译文
吸收第一视角视频：顺序训练与联合训练。顺序训练与一阶段联合训练在分布内和 OOD 评测中的表现几乎持平，说明同时使用两种数据源比它们的精确顺序更重要。联合训练在总体上略强，并且省去了额外的课程切换，因此我们把它作为实用的默认方案。
解释
两阶段训练（先 ego 后 robot）是一种"课程学习"，需要决定何时切换、切换后学习率如何调整等额外超参数；一阶段联合训练只需要确定混合比例。在效果相当的情况下，越简单的方案越容易扩展到更大规模，这也是 OpenWAM-\alpha 采用一阶段联合训练的原因。

4.3.3预训练改变了偏好的信息流（Pretraining Changes the Preferred Information Flow）

原文
The from-scratch ablation establishes that the action stream must see the world stream, but leaves one-way and mutual visibility nearly tied. We repeat this comparison after cross-domain pretraining under both RoboTwin2.0-Clean2Random and RoboTwin2.0-Full.
译文
从零训练的消融确立了动作流必须能看到世界流，但单向可见与相互可见几乎打平。我们在跨领域预训练之后，于 RoboTwin2.0-Clean2Random 和 RoboTwin2.0-Full 两个协议下重复这一比较。
解释
这是对 4.2.2 节悬而未决问题的回应：在有具身预训练的条件下重新比较 Action Sees Video 与 Mutual。
A_fig11.png
原文
Figure 11 Pretraining Changes the Preferred Information Flow. Central markers give the absolute success rate of Action Sees Video; arrows terminate at the matched Mutual result, with horizontal displacement reporting Mutual - Action Sees Video in percentage points. Green and red denote gains and drops, respectively.
译文
图 11 预训练改变了偏好的信息流。中间的空心标记给出 Action Sees Video 的绝对成功率；箭头终点是对应的 Mutual 结果，水平位移表示 Mutual 减去 Action Sees Video 的差值（百分点）。绿色表示提升，红色表示下降。
图 11 解读
读法：这是一种"哑铃图"。每行一个实验条件；竖线 0 处的空心圆旁的数字是 Action Sees Video 的成功率；箭头指向 Mutual 的结果，横轴是两者之差（百分点）。左侧粉色区域表示 Action Sees Video 更好，右侧绿色区域表示 Mutual 更好。四行：
条件Action Sees VideoMutual - ASV推算 Mutual
从零 \cdot Full（平均）92.39-0.2492.15
预训练 \cdot Full（平均）92.34+0.1692.50
预训练 \cdot C2R（ID）86.98+0.7087.68
预训练 \cdot C2R（OOD）25.70+0.7226.42
第一行与表 2 完全一致（92.39 与 92.15）。从零时 Mutual 稍差，预训练后三种评测下 Mutual 都更好，方向发生了反转。结论与注意：差值本身都不大（不到 1 个点），但方向一致，作者据此选择 Mutual。数值核对时发现一处小出入：C2R（ID）推算的 Mutual 为 87.68，恰与图 10 中 Ego+Robot 的 ID 结果相同，说明图 10 的预训练模型用的是 Mutual 掩码；但 C2R（OOD）推算的 Mutual 为 25.70+0.72=26.42，而图 10 中 Ego+Robot 的 OOD 为 26.62，二者相差 0.2。原文未解释（可能是不同的预训练配置或笔误）。
原文
Mutual Visibility Becomes Preferable with Embodied Pretraining. Without embodied pretraining, RoboTwin2.0-Full slightly favors one-way visibility; after pretraining, however, the same protocol favors Mutual. RoboTwin2.0-Clean2Random shows the same reversal in both ID and OOD, with comparable gains across the two splits (Figure 11). The reversal is therefore neither an artifact of domain shift nor of the evaluation protocol: pretraining turns the world–action interaction into a genuinely bidirectional exchange, in which the predicted future frames provide visual guidance for action generation, while the predicted actions in turn inform the synthesis of the manipulator's motion in those frames. Without embodied pretraining, data scarcity likely prevents the two streams from reliably establishing such correspondences; the far more abundant pretraining data closes this gap, and Mutual accordingly realizes its advantage once embodied pretraining is in place. We carry Mutual into the final recipe.
译文
有了具身预训练，相互可见变得更可取。没有具身预训练时，RoboTwin2.0-Full 略偏向单向可见；但预训练之后，同一协议偏向 Mutual。RoboTwin2.0-Clean2Random 在 ID 和 OOD 上都出现同样的反转，且两种划分上的增益相当（图 11）。因此，这一反转既不是领域偏移造成的假象，也不是评测协议造成的假象：预训练把世界–动作交互变成了真正的双向交流——预测的未来帧为动作生成提供视觉指引，而预测的动作反过来为这些帧中机械臂运动的合成提供信息。没有具身预训练时，数据稀缺很可能使两条流无法可靠地建立这种对应关系；数量大得多的预训练数据弥合了这一差距，于是一旦有了具身预训练，Mutual 就能发挥其优势。我们把 Mutual 纳入最终配方。
解释
"反向通路"（视频看动作）的作用：视频流要画出机械臂在未来几帧的位置，如果它知道模型打算执行什么动作，就能画得更准（类似动作条件化的视频预测）；画得更准的未来帧又反过来帮助动作。但要学会"动作向量 \leftrightarrow 画面中手臂运动"这种细粒度对应，需要大量配对数据。只有 RoboTwin 的几千条演示时学不好，反向通路甚至带来一点噪声；有了几百小时预训练后就学得会了。作者的解释合理，但属于推测，没有直接的机制验证（例如检查视频预测质量是否随之提升）。论证"不是领域偏移的假象"的依据是：ID 和 OOD 增益几乎相同（+0.70 与 +0.72），说明这一好处与场景是否陌生无关。
原文
Finding 3: Embodied pretraining primarily expands OOD generalization. Robot trajectories preserve action grounding, egocentric video broadens transfer, and one-stage co-training integrates both effectively. At pretrained scale, mutual world–action visibility is consistently preferred.
译文
发现 3：具身预训练主要扩展 OOD 泛化。机器人轨迹保持动作落地，第一视角视频拓宽迁移范围，一阶段联合训练能有效地整合二者。在预训练规模下，世界–动作相互可见始终更受青睐。
解释
发现 3 汇总了图 10 与图 11：前三句来自图 10（收益在 OOD；两种数据各有所长；联合训练即可），最后一句来自图 11（预训练后选 Mutual）。至此，4.2.2 节留下的掩码选择也有了答案。

4.4总结（Concluding Remarks）

原文
The three questions turn inherited world knowledge into a concrete model design: not a list of individually best hyperparameters, but a sequence in which each decision is tested under the conditions created by the previous one. The next section composes these defaults into OpenWAM-\alpha and asks whether they survive full-scale heterogeneous pretraining.
译文
三个问题把继承来的世界知识转化为一个具体的模型设计：它不是一张"各项单独最优超参数"的清单，而是一个决策序列，其中每个决定都在前一个决定所创造的条件下接受检验。下一节把这些默认选择组合成 OpenWAM-\alpha，并检验它们能否经受住全规模异构预训练的考验。
解释
"序列"而非"清单"是这一节的方法论要点：例如掩码的选择（4.2.2）是在已选定骨干（4.1）和架构（4.2.1）的条件下做的，而 4.3.3 又在加入预训练后重新检验了它，结果确实变了。这说明设计选择之间存在交互，独立地挑每一项的最优值可能并不是整体最优。
StageFindingsCarried-forward default
InheritCapable video backbones and compact representation latents transfer the strongest upstream priors.Wan2.2-TI2V-5B; compact latent
InteractDedicated action capacity and world-to-action visibility are necessary; synchronized denoising performs best.Dual joint self-attention; synchronized denoising
ConsolidateEmbodied pretraining primarily improves OOD generalization and consistently favors mutual visibility.One-stage ego + robot co-training; mutual visibility
原文
Table 3 The recipe accumulated by OpenWAM-Study. Each evidence-backed choice becomes the default for OpenWAM-\alpha.
译文
表 3 OpenWAM-Study 积累的配方。每个有证据支持的选择都成为 OpenWAM-\alpha 的默认设置。
表 3 解读
表中三行对应三个阶段、三个问题，列依次为阶段、发现、沿用的默认设置。译文如下：
阶段发现沿用的默认设置
继承能力强的视频骨干与紧凑的表征潜变量能迁移最强的上游先验（4.1 节，图 6、图 7）。Wan2.2-TI2V-5B；紧凑潜变量
交互专门的动作容量与世界到动作的可见性必不可少；同步去噪表现最好（4.2 节，表 1、表 2、图 9）。双系统联合自注意力；同步去噪
巩固具身预训练主要提升 OOD 泛化，并始终偏好相互可见（4.3 节，图 10、图 11）。一阶段 ego + robot 联合训练；相互可见
把这三行合起来，就是第 5 节 OpenWAM-\alpha 的完整配置：Wan2.2-VAE（48 维、4 倍时间压缩的紧凑潜空间）+ Wan2.2-TI2V-5B 世界流 + 独立 ActionDiT 动作流，以联合自注意力相连，采用 Mutual 掩码和同步去噪，在人类第一视角与机器人数据上一阶段联合预训练。表中"compact latent"没有写具体编码器，因为 4.1.2 节的结论是"紧凑"比"哪种编码器"更重要；最终模型采用的是与骨干原生匹配的 Wan2.2-VAE。

5OpenWAM-\alpha：从设计原则到预训练模型

原文
Overview of OpenWAM-\alpha. Motivated by the design principles and empirical insights uncovered through OpenWAM-Study, we instantiate these findings at scale in OpenWAM-\alpha, an open foundation world–action model for systematically investigating the capabilities and scaling behavior of world–action models across diverse robotic tasks. In Section 5.1, we specify the final architecture, training recipe, and deployment scheme of OpenWAM-\alpha under the guidance of the insights established in Section 4. Section 5.2 then details the pretraining data configuration together with the associated data curation and cleaning pipeline. Finally, Section 5.3 evaluates OpenWAM-\alpha across a diverse set of simulation benchmarks, with analyses of its performance and the key empirical findings revealed by these evaluations, and Section 5.4 further evaluates it on real-world tasks.
译文
OpenWAM-\alpha 概览。受 OpenWAM-Study 所揭示的设计原则与实证结论启发，我们把这些发现在大规模上落地为 OpenWAM-\alpha——一个开放的世界–动作基础模型（foundation world–action model），用来系统地考察世界–动作模型在多样机器人任务上的能力与扩展行为（scaling behavior）。第 5.1 节在第 4 节结论的指导下，给出 OpenWAM-\alpha 最终的架构、训练配方与部署方案；第 5.2 节详述预训练数据配置以及相应的数据整理（curation）与清洗流程；第 5.3 节在一组多样的仿真基准上评测 OpenWAM-\alpha，分析其表现及评测揭示的关键实证发现；第 5.4 节进一步在真实世界任务上评测。
解释
这是后半篇的路线图。前面第 3 节（OpenWAM-Infra）搭了可替换模块的“积木框架”，第 4 节（OpenWAM-Study）用受控的小规模实验逐项回答“继承什么骨干、两条流怎么交互、预训练数据怎么组合”。到这里，作者把第 4 节在表 3 中积累下来的“默认选项”一次性组合起来，放大到约 6400 小时数据上做正式预训练，得到命名为 \alpha 的版本（暗示这是第一个、尚非最终的公开模型）。本节结构是“架构/训练/部署 \rightarrow 数据 \rightarrow 仿真评测 \rightarrow 真机评测”，与一般基础模型技术报告一致。

5.1OpenWAM-\alpha 的架构、训练与部署

原文
As shown in Figure 12, the design principles distilled from OpenWAM-Study determine the configuration of OpenWAM-\alpha across its architecture, training, and deployment stages. The following paragraphs elaborate on each stage in turn.
译文
如图 12 所示，从 OpenWAM-Study 中提炼出的设计原则决定了 OpenWAM-\alpha 在架构、训练与部署三个阶段的配置。下面依次展开。
解释
图 12 是整个 OpenWAM-\alpha 的“一图总览”，四个子图分别对应下文的架构（5.1.1）、数据（5.2）、训练/推理时间步调度（5.1.2、5.1.3）和统一动作空间（5.1.2 中的 Unified Action Supervision）。
B_fig12.png
原文
Figure 12 Overview of OpenWAM-\alpha. (a) The dual-system architecture: a video-generation DiT and an ActionDiT jointly denoise the future frames and the action chunk through shared attention under the mutual visibility mask, each conditioned on language and proprioception via cross-attention and carrying its own noise timestep. (b) The pretraining mixture: 518.5M frames (6,369 hours) of egocentric and robot data, co-trained in one stage. (c) Timestep sampling: training covers the full joint noise plane, while inference follows the synchronized diagonal. (d) The 80-D unified action space with fixed slot semantics shared across embodiments.
译文
图 12 OpenWAM-\alpha 概览。(a) 双系统架构：一个视频生成 DiT 与一个 ActionDiT 在互相可见掩码（mutual visibility mask）下，通过共享注意力共同对未来帧与动作块去噪；两者都通过交叉注意力以语言和本体感知为条件，并各自携带自己的噪声时间步。(b) 预训练数据配比：共 5.185 亿帧（6369 小时）第一人称视角（egocentric）数据与机器人数据，单阶段联合训练。(c) 时间步采样：训练覆盖整个联合噪声平面，推理则沿同步对角线进行。(d) 80 维统一动作空间，各槽位语义固定，在不同本体间共享。
图 12 解读
(a) 架构。左半边是“视频生成”流：当前观测帧经冻结的 Wan VAE（视频编码器）压成潜变量，与加了噪声的未来帧潜变量一起送入视频 DiT 的每个块（AdaLN \rightarrow QKV \rightarrow 共享注意力 \rightarrow 交叉注意力 \rightarrow AdaLN \rightarrow FFN），最后由视频解码器还原。右半边是“动作生成”流：动作块 (a_t,\dots,a_{t+k}) 经动作编码器（线性层）嵌入后进入结构对称的 ActionDiT。中间灰色长条“Shared Attention with Video and Action”表示两条流在每一层把各自的 Q/K/V 拼在一起做一次联合自注意力，这就是第 4 节结论中的“双联合自注意力（dual joint self-attention）”。下方的 Mutual Attention 小矩阵画出可见性掩码：行是查询（query），列是键（key），三类 token 为 V_{obs}（当前观测）、V_{future}（未来帧）、A_{future}（未来动作）；V_{obs} 行只看自己（灰色表示被屏蔽），而 V_{future} 与 A_{future} 两行可以互相看，也能看 V_{obs}。上方 Condition 框里的语言 token 与本体感知（Proprio）token 通过交叉注意力注入两条流。底部两个噪声时间步 \tau_v、\tau_a 分别由 AdaLN 注入，表示两条流可以处于不同噪声水平。(b) 预训练数据。环形图按帧数展示五个来源的占比：第一人称数据 1.557 亿帧（30.1%，无动作标签，蓝色）、InternData-A1 仿真数据 1.555 亿帧（30.0%）、AgiBotWorld-Beta 9690 万帧（18.6%）、RoboCOIN 7410 万帧（14.3%）、DROID 3630 万帧（7.0%），后四者为紫色“机器人”数据。中心“Cotrain”强调这些数据在同一阶段混合训练。(c) 调度器。横轴 \tau_v 是视频流时间步，纵轴 \tau_a 是动作流时间步（0 为纯噪声，1 为干净数据）。散点是训练时独立采样的 (\tau_v,\tau_a) 对，铺满整个正方形；图中点更多聚集在右上方；按正文公式样本本应偏向高噪声（t 小）一端，二者方向不一致，详见下文 5.1.2 的解释。蓝色箭头“Sync”是推理轨迹：两条流从 (0,0) 沿对角线同步走到 (1,1)。因为训练覆盖了整个平面，对角线上的每个点都在训练分布内。(d) 动作空间。80 维向量 = 左臂 34 维 + 右臂 34 维 + 保留 12 维；每条手臂的 34 维又分为末端执行器位置与旋转 9 维（xyz 3 维 + 6D 旋转 6 维）、夹爪 1 维、灵巧手 24 维。下方的单臂、双臂、灵巧手、移动双臂等不同本体都把各自的动作“填”进这些固定槽位。这张图对论文论点的作用是：把第 4 节的每一条结论（Wan2.2-5B 骨干、紧凑潜空间、专用动作容量、联合自注意力、互相可见、同步去噪、单阶段 ego+robot 联合训练）在一个具体模型上逐一兑现。

5.1.1架构

原文
OpenWAM-\alpha adopts the architecture that OpenWAM-Study converges to (Table 3), assembled from the modules of Section 3.1 as the composition \mathcal{C}(E, S, M): the frozen Wan2.2-VAE as the visual encoder E; the pretrained Wan2.2-TI2V-5B DiT (Wan et al., 2025) executing the world stream and a dedicated 1B-parameter ActionDiT executing the action stream, coupled through joint self-attention, as the stream backbones S=\{W, A\}; and the mutual mode with first-frame-causal intra-video attention as the visibility mask M. Conditioned on the current observation o_1 (all camera views tiled into one canvas), the language instruction \ell, and the proprioceptive state q\in\mathbb{R}^{80} expressed in the unified action space, OpenWAM-\alpha jointly denoises the future frames o_{2:T} of a T-frame video window o_{1:T} in latent space, together with a continuous action chunk a=a_{1:H}\in\mathbb{R}^{H\times 80} (Zhao et al., 2023) (Figure 12a).
译文
OpenWAM-\alpha 采用 OpenWAM-Study 最终收敛到的架构（表 3），由第 3.1 节的模块组合成 \mathcal{C}(E,S,M)：冻结的 Wan2.2-VAE 作为视觉编码器 E；预训练的 Wan2.2-TI2V-5B DiT（Wan 等，2025）执行世界流（world stream），一个专用的 10 亿参数 ActionDiT 执行动作流（action stream），二者通过联合自注意力耦合，构成流骨干 S=\{W,A\}；可见性掩码 M 采用互相可见（mutual）模式，视频内部为首帧因果注意力（first-frame-causal attention）。OpenWAM-\alpha 以当前观测 o_1（所有相机视角拼贴到一张画布上）、语言指令 \ell 和在统一动作空间中表示的本体感知状态 q\in\mathbb{R}^{80} 为条件，在潜空间中对 T 帧视频窗口 o_{1:T} 的未来帧 o_{2:T} 以及连续动作块（action chunk）a=a_{1:H}\in\mathbb{R}^{H\times 80}（Zhao 等，2023）进行联合去噪（图 12a）。
解释
\mathcal{C}(E,S,M) 是第 3.1 节定义的“组合”记号：任何一个世界–动作模型都可以看成“编码器 E + 两条流的骨干 S + 可见性掩码 M”三种模块的组合，OpenWAM-Infra 允许每个槽位独立替换。这里给出的是三个槽位的最终取值。
  • E：Wan2.2 自带的 VAE，冻结不训练，对应第 4 节“紧凑潜空间”结论（Wan2.2 VAE 压缩率高，token 少）。
  • S=\{W,A\}：W 是 50 亿参数的视频 DiT（世界流），A 是 10 亿参数的 ActionDiT（动作流）。“专用 1B 参数”对应第 4 节“动作需要专门容量”的结论——不是让视频 DiT 顺带输出动作，而是给动作单独一套 Transformer。
  • M：互相可见指未来帧能看到动作、动作也能看到未来帧；“首帧因果”指视频内部当前帧（首帧）不看未来帧，而未来帧可以看首帧。
符号：o_1 是当前时刻的观测图像，多相机时把各视角拼成一张大图；o_{2:T} 是需要“想象”的未来 T-1 帧；\ell 是语言指令；q 是 80 维本体感知（关节/末端状态）；a\in\mathbb{R}^{H\times 80} 是未来 H 步的动作，每步 80 维。动作块（action chunk）的思路来自 ACT（Zhao 等，2023）：一次预测多步动作，减少推理次数并让动作更平滑。
原文
Tokenization and Context. The frozen Wan2.2-VAE encodes o_{1:T} causally – the first frame alone, subsequent frames in groups of four – into T' = 1 + (T-1)/4 latent frames z, so the first latent frame remains a clean anchor of the present. A (1,2,2) patch embedding flattens the latent video into world-stream tokens of width 3072 carrying 3D RoPE over the (frame, height, width) grid; each of the H noised action steps is linearly embedded into one action-stream token of width 1024 carrying 1D RoPE over the chunk index. The frozen umT5 encoder maps \ell into a 4096-dimensional context, a linear projection appends q as one additional context token, and both streams consume the resulting context c through their own per-block cross-attention.
译文
分词与上下文。冻结的 Wan2.2-VAE 以因果方式编码 o_{1:T}——首帧单独编码，后续帧每四帧一组——得到 T'=1+(T-1)/4 个潜帧 z，因此第一个潜帧始终是“当前时刻”的干净锚点。(1,2,2) 的块嵌入（patch embedding）把潜视频展平成宽度为 3072 的世界流 token，并在（帧, 高, 宽）网格上施加 3D 旋转位置编码（RoPE）；H 个加噪动作步各自经线性嵌入成为一个宽度为 1024 的动作流 token，并在动作块索引上施加 1D RoPE。冻结的 umT5 编码器把 \ell 映射为 4096 维上下文，再由一个线性投影把 q 作为一个额外的上下文 token 追加进去；两条流都通过各自逐块的交叉注意力读取所得上下文 c。
解释
这一段讲“各种输入怎样变成 token”。
  • 因果 VAE 的帧数公式：时间维 4 倍压缩，但首帧单独占一个潜帧。例如 T=33 帧视频，T'=1+32/4=9 个潜帧。首帧单独编码的好处是：它的潜变量只依赖当前图像，不会混入未来信息，所以可以作为“干净的条件锚点”，推理时直接用真实观测的编码替换它。
  • (1,2,2) 块嵌入：在时间方向不合并、在空间高宽方向各合并 2，所以每 2\times2 个潜像素变成一个 token。3072 是 Wan2.2-5B 的隐藏宽度。
  • 动作 token：每一步动作（80 维）一个 token，宽度 1024（ActionDiT 更窄，参数更少）；1D RoPE 让模型知道这是第几步动作。
  • 条件 c：语言用冻结的 umT5（Wan 系列原生的文本编码器）得到 4096 维的 token 序列；本体感知 q 经线性层投影到同一维度后作为“多出来的一个 token”接在后面。所以 c = 语言 token + 1 个本体感知 token。两条流的每一层都有自己的交叉注意力去读 c，和图 12a 中的 Condition 框对应。
原文
Stream Bridging and Prediction. All 30 paired layers of the two backbones act as bridge layers, where stream-owned projections map the two residual widths into a shared attention space of 24 heads \times 128 dimensions; under the configured M, the two streams read each other freely while the clean first-frame rows attend to neither noised future frames nor actions. AdaLN injects each stream's own denoising timestep – t_v token-wise into the world stream, with first-frame tokens pinned to the clean endpoint t_v = 1, and t_a into the action stream – and linear heads decode both final states into velocities, realizing the joint forward pass of Section 3.2 at any joint noise state (t_v, t_a); how training and inference each cover this plane is specified in Sections 5.1.2 and 5.1.3.
译文
流间桥接与预测。两个骨干的全部 30 对层都充当桥接层（bridge layer）：各流自有的投影把两种残差宽度映射到一个共享注意力空间（24 个头 \times 128 维）；在所配置的 M 下，两条流可以自由地互相读取，而干净的首帧所在行既不关注加噪的未来帧，也不关注动作。AdaLN 注入每条流自己的去噪时间步——t_v 逐 token 注入世界流，其中首帧 token 固定为干净端点 t_v=1；t_a 注入动作流——最后由线性头把两条流的最终状态解码为速度，从而在任意联合噪声状态 (t_v,t_a) 下实现第 3.2 节的联合前向计算；训练与推理各自如何覆盖这个平面，分别见第 5.1.2 与 5.1.3 节。
解释
  • 共享注意力空间：视频流宽 3072、动作流宽 1024，宽度不同不能直接拼接。做法是每条流用自己的 Q/K/V 投影映射到同一个 24\times128=3072 维的注意力空间，拼接后做一次注意力，再各自投影回自己的宽度。“30 对层”说明 ActionDiT 层数与 Wan2.2-5B 的 30 层一一对应，每层都交互（而不是只在少数层交互）。
  • 首帧行的屏蔽：首帧是干净条件，如果让它看加噪的未来帧和动作，它的表示会被噪声“污染”，并在不同噪声水平下变化；屏蔽后首帧的表示稳定，也便于推理时缓存。
  • 逐 token 的 t_v：同一视频序列中首帧 token 的时间步固定为 1（干净），其余未来帧 token 用采样到的 t_v。这是“把条件帧当作已去噪完成的帧”的常见技巧。
  • 速度预测：采用流匹配（flow matching），网络输出的是从噪声指向数据的速度场 \hat v，而不是噪声本身。因为两个时间步可以不同，同一个网络可在 (t_v,t_a) 平面任意一点前向计算。

5.1.2训练

原文
Co-Training Setup. Following the one-stage co-training strategy identified in Section 4.3, OpenWAM-\alpha is trained end to end in a single stage on the ego + robot mixture of Section 5.2. The video DiT (initialized from the pretrained Wan2.2-TI2V-5B weights), the ActionDiT, and the proprioception encoder are all updated; only the umT5 text encoder and the Wan2.2-VAE remain frozen.
译文
联合训练设置。遵循第 4.3 节确定的单阶段联合训练（one-stage co-training）策略，OpenWAM-\alpha 在第 5.2 节的“第一人称 + 机器人”混合数据上单阶段端到端训练。视频 DiT（用预训练 Wan2.2-TI2V-5B 权重初始化）、ActionDiT 和本体感知编码器全部参与更新；只有 umT5 文本编码器和 Wan2.2-VAE 保持冻结。
解释
第 4.3 节比较过“先在第一人称视频上训世界流、再在机器人数据上训动作”的两阶段方案与“一起混合训”的单阶段方案，结论是单阶段更好地融合两类数据。这里照此执行。注意视频 DiT 本身也是可训练的：它要从“通用视频生成器”变成“机器人场景下、与动作耦合的世界模型”。冻结 VAE 与文本编码器则是常规做法，节省显存，且这两者的表示已足够通用。
原文
Unified Action Supervision. Heterogeneous embodiments meet in the unified action space of Section 3.4: an 80-dimensional vector with fixed slot semantics, comprising two mirrored 34-D arm blocks – end-effector position (3), 6D rotation (6), gripper (1), and dexterous hand (24) – followed by 12 slots reserved for embodiment-specific channels (Figure 12d). Each dataset scatters its native action and state into these slots, the validity mask m of Equation (2) confines action supervision to the populated coordinates, and the robot state at the start of the window supplies the proprioception token in c.
译文
统一动作监督。异构本体（embodiment）在第 3.4 节的统一动作空间中汇合：这是一个槽位语义固定的 80 维向量，包含两个镜像的 34 维手臂块——末端执行器位置（3）、6D 旋转（6）、夹爪（1）和灵巧手（24）——其后是为本体专属通道保留的 12 个槽位（图 12d）。每个数据集把自己原生的动作与状态“散布”（scatter）到这些槽位中，式 (2) 中的有效性掩码 m 把动作监督限制在被填充的坐标上，而窗口起点的机器人状态提供 c 中的本体感知 token。
解释
验算维度：3+6+1+24=34，34\times2+12=80。“固定槽位语义”的意思是：第 1–3 维永远是左臂末端 xyz，不论是哪台机器人，这样模型可以跨本体共享“同一维度代表同一物理量”的知识。单臂夹爪机器人只会填左臂的 xyz、旋转和夹爪共 10 维，其余 70 维为空。式 (2) 是第 3.2 节的联合流匹配损失：
\mathcal{L}=\lambda_v\,\mathbb{E}_{t_v,\epsilon_v}\!\left[w(t_v)\,\|\hat v_z-(z-\epsilon_v)\|_2^2\right]+\lambda_a\,\mathbb{E}_{t_a,\epsilon_a}\!\left[w(t_a)\,\|m\odot(\hat v_a-(a-\epsilon_a))\|_2^2\right].
其中 m 是 0/1 掩码，\odot 是逐元素乘法；未被填充的维度乘 0，不产生梯度，避免模型去拟合“空槽位里的占位值”。第 3.4 节的式 (4) 给出前向/逆向映射：u=\mathrm{Scatter}_\pi(\mathrm{Norm}(a))、a=\mathrm{Norm}^{-1}(\mathrm{Gather}_\pi(u))，即先归一化再按本体的索引表 \pi 散布进 80 维，推理时反向取回。
原文
Objective and Timestep Sampling. OpenWAM-\alpha is trained with the joint flow-matching objective of Equation (2) (Black et al., 2024), instantiated with \lambda_v=\lambda_a=1 and a bell-shaped timestep weight w(\cdot) peaked at intermediate noise levels. The per-stream timesteps are drawn independently as t_v = 1 - f_\rho(u_v) and t_a = 1 - f_\rho(u_a) with u_v, u_a \sim \mathcal{U}[0,1], where the timestep warp f_\rho of Equation (3) is applied identically to both streams with \rho = 5 to bias sampling toward high noise (Figure 12c).
译文
目标函数与时间步采样。OpenWAM-\alpha 用式 (2) 的联合流匹配目标（Black 等，2024）训练，取 \lambda_v=\lambda_a=1，并使用在中等噪声水平处取峰值的钟形时间步权重 w(\cdot)。两条流的时间步独立采样：t_v=1-f_\rho(u_v)，t_a=1-f_\rho(u_a)，其中 u_v,u_a\sim\mathcal{U}[0,1]；式 (3) 的时间步扭曲函数 f_\rho 以 \rho=5 同样作用于两条流，使采样偏向高噪声（图 12c）。
解释
式 (3) 定义的曲线为 f_\rho(s)=\dfrac{\rho s}{1+(\rho-1)s}（原文第 3.3 节写作 f_\alpha，此处换成参数 \rho）。\rho=5 时 f_5(s)=5s/(1+4s) 是一条在对角线上方的凹曲线：f_5(0.2)=1/1.8\approx0.56，f_5(0.5)=2.5/3\approx0.83。由于本文约定 t=0 为纯噪声、t=1 为干净数据，t=1-f_5(u) 会把均匀的 u 推向 t 较小（噪声较大）的一侧：u=0.5 时 t\approx0.17。换言之，约 50% 的样本落在 t<0.17 的高噪声区。这样做是因为高噪声区决定了生成结果的整体结构（动作的大致方向、画面的整体布局），最难学，需要更多训练样本。两点值得注意：(1) 两条流的时间步独立采样，所以训练样本铺满整个 (t_v,t_a) 平面，推理时无论同步还是异步调度都不会“出分布”；(2) 按上述公式，样本应集中在 t 较小的一端（靠近原点），而图 12c 散点在视觉上集中于右上角，二者方向不一致，可能是图中坐标采用了相反的噪声约定（以噪声比例为轴），读者以正文公式为准。

5.1.3部署

原文
Synchronized Denoising. At test time, OpenWAM-\alpha follows the synchronized schedule selected in Section 4.2.3: both streams advance in lockstep along the diagonal of the joint noise plane, realized on the training warp as t_i = 1 - f_\rho(1 - i/N) with \rho = 5 and N = 10 steps, so neither stream leads. Denoising starts from Gaussian noise – with the first latent frame clamped to the encoding of the current observation and re-pinned after every step – and each step performs one joint forward pass and the coupled Euler update of Section 3.3, so the action chunk is refined against progressively cleaner world features, and vice versa, at all 30 bridge layers. The finished chunk returns to each robot's native action space through the inverse map of Equation (4).
译文
同步去噪。测试时，OpenWAM-\alpha 采用第 4.2.3 节选定的同步调度：两条流沿联合噪声平面的对角线同步前进，在训练所用的扭曲函数上实现为 t_i=1-f_\rho(1-i/N)，\rho=5，N=10 步，因此没有哪条流领先。去噪从高斯噪声开始——第一个潜帧被钳定为当前观测的编码，并在每一步之后重新固定——每一步执行一次联合前向计算和第 3.3 节的耦合欧拉更新，于是在全部 30 个桥接层上，动作块都依据越来越干净的世界特征被细化，反之亦然。完成的动作块通过式 (4) 的逆映射回到各机器人的原生动作空间。
解释
用数字验算这条推理时间表（f_5(s)=5s/(1+4s)）：
i02578910
s=1-i/1010.80.50.30.20.10
t_i=1-f_5(s)00.0480.1670.3180.4440.6431
可见 10 步中前一半都花在 t<0.17 的高噪声区，最后几步大跨度地走向干净数据，与训练时“偏向高噪声”的采样相匹配（训练和推理用同一条扭曲曲线，避免噪声网格错位）。耦合欧拉更新为 z^{t_{i+1}}=z^{t_i}+(t_{i+1}-t_i)\hat v_z，a^{t_{i+1}}=a^{t_i}+(t_{i+1}-t_i)\hat v_a。“同步”意味着每一步两条流处在同一噪声水平，动作看到的是“同样清晰程度”的未来画面；第 4.2.3 节的实验表明这比让视频或动作单方面领先更好。首帧“钳定并重新固定”保证每一步的条件帧都是真实观测，不会在欧拉更新中漂移。
原文
Inference Mode. All benchmark evaluations that follow, in simulation and in the real world alike, use synchronous inference: whenever the action buffer empties, execution pauses until the model predicts a fresh chunk from the current observation, and the robot then executes that chunk exactly as predicted. The reported results therefore reflect the model's own performance in the most direct way.
译文
推理模式。后续所有基准评测——无论仿真还是真实世界——都采用同步推理（synchronous inference）：每当动作缓冲区耗尽，执行就暂停，直到模型根据当前观测预测出新的动作块，然后机器人严格按照预测执行该动作块。因此报告的结果以最直接的方式反映模型自身的性能。
解释
注意区分两个“同步”：上一段的“同步去噪”是指两条流在噪声平面上同步前进；这里的“同步推理”是指执行与推理串行（推理时机器人停下来等），与第 3.3 节的“异步推理”（后台预取下一块、边执行边推理）相对。作者选择同步推理，是为了排除时延、动作拼接等部署因素的干扰，让成功率只反映模型本身。
原文
Inference Acceleration. OpenWAM-\alpha is served through the acceleration stack of Section 3.3: the joint denoising loop is compiled into a fixed-shape graph replayed under CUDA graphs, stable velocity predictions are reused across adjacent steps, prompt embeddings are cached, and no VAE decode runs in the control path. The N-step loop completes in roughly 170 ms per chunk on an RTX 5090, well within real-time control budgets.
译文
推理加速。OpenWAM-\alpha 通过第 3.3 节的加速栈提供服务：联合去噪循环被编译成固定形状的计算图并以 CUDA Graphs 重放；在相邻步之间复用稳定的速度预测；缓存提示词嵌入；控制路径中不运行 VAE 解码。在 RTX 5090 上，N 步循环每个动作块约耗时 170 ms，完全满足实时控制的时间预算。
解释
四项加速的含义：(1) 固定形状 + CUDA Graphs 去掉了 Python 调度与内核启动开销；(2) 相邻去噪步的速度预测变化不大时直接复用，省掉部分前向计算；(3) 同一任务的语言指令不变，umT5 的输出只需算一次；(4) 机器人只需要动作，不需要看到生成的未来视频，所以视频潜变量不必解码成像素——这是世界–动作模型部署时最大的一项节省。170 ms 生成一个动作块，若动作块覆盖例如 1 秒以上的动作，平均摊下来足以支持实时控制。

5.2多领域预训练数据与整理

原文
OpenWAM-\alpha is pretrained on multi-domain data drawn from five sources spanning three data types: egocentric human data, real-world robot data, and synthetic robot data. From a raw pool of 1.33B frames (\approx14,300 hours), we construct a training set of 518M frames (\approx6,400 hours) through curation and per-source subsampling (Table 4). This section describes how the mixture is composed (Section 5.2.1) and how each source is cleaned (Section 5.2.2). We further provide the pretraining-stage hyperparameter configuration and other relevant details in Section B.
译文
OpenWAM-\alpha 在多领域数据上预训练，数据来自五个来源、涵盖三种类型：第一人称人类数据、真实机器人数据和合成机器人数据。我们从 13.3 亿帧（约 14300 小时）的原始数据池出发，经过整理和按来源子采样，构建出 5.18 亿帧（约 6400 小时）的训练集（表 4）。本节说明数据混合如何构成（第 5.2.1 节）以及各来源如何清洗（第 5.2.2 节）。预训练阶段的超参数配置及其他相关细节见附录 B。
解释
三类数据各有分工：第一人称（egocentric）人类视频量大、场景丰富，但没有机器人动作；真实机器人数据有可执行的动作标签，视觉最真实；仿真数据可以低成本地覆盖更多技能和环境变化。从 13.3 亿帧缩到 5.18 亿帧，既有清洗剔除坏数据，也有出于算力考虑的主动子采样。
Table 4 / 表 4
Task CoverageFullCurated + Sampled
SourceType#Emb.FPSSingleBimanualMobileDexterousFrames (M)HoursFrames (M)HoursShare (%)
Egocentric data (ours)Human video130in-the-wild human manipulation744.96,897155.71,44230.1
AgiBotWorld-Beta (Bu et al., 2025)Real robot115✓✓✓124.52,30696.91,79418.6
RoboCOIN (Wu et al., 2025)Real robot1530✓✓✓104.595674.168614.3
DROID (Khazatsky et al., 2024)Real robot110✓46.31,28536.31,0077.0
InternData-A1 (Tian et al., 2025)Simulation430✓✓313.72,904155.51,44030.0
Total21 robot + human1,333.914,348518.56,369100.0
原文
Table 4 The OpenWAM-\alpha pretraining data. #Emb. counts each source's distinct embodiments. Task Coverage marks the manipulation settings each source spans. Full reports each source's raw size before processing, while Curated + Sampled reports the data actually used for training, after cleaning (Section 5.2.2) and per-source whole-episode subsampling (Section 5.2.1); Share is each source's actual per-epoch sample share under proportional sampling.
译文
表 4 OpenWAM-\alpha 的预训练数据。#Emb. 统计每个来源中不同本体的数量。Task Coverage（任务覆盖）标出每个来源涵盖的操作场景。Full（完整）报告各来源处理前的原始规模，Curated + Sampled（整理 + 采样）报告清洗（第 5.2.2 节）和按来源整段子采样（第 5.2.1 节）之后实际用于训练的数据；Share（占比）是按比例采样时各来源在每个 epoch 中的实际样本占比。
表 4 解读
列含义：Type 为数据类型（人类视频/真实机器人/仿真）；#Emb. 为本体种类数；FPS 为原生帧率；Task Coverage 四列分别为单臂、双臂、移动操作、灵巧手；Full 两列为原始帧数（百万）与小时数；Curated + Sampled 三列为实际用于训练的帧数、小时数和每轮占比。关键数字：
  • 第一人称数据原始量最大（7.449 亿帧、6897 小时），但只保留了约 21%（1.557 亿帧），被压到 30% 的占比，避免无动作标签的数据喧宾夺主。
  • InternData-A1 仿真数据也被压到 30%，保留约一半（313.7 \rightarrow 155.5）。
  • 三个真实机器人来源合计占 40%（18.6 + 14.3 + 7.0 = 39.9），而且保留比例较高：DROID 保留 78%、AgiBot 78%、RoboCOIN 71%。可见真实机器人数据最“珍贵”，基本只做清洗、少做子采样。
  • 帧率差异：DROID 是 10 FPS，所以 3630 万帧对应 1007 小时；而 RoboCOIN 30 FPS，7410 万帧只对应 686 小时。这正是作者按“帧数”而不是“小时数”设定配额的原因——模型真正消耗的是帧（样本），按帧平衡才公平。
  • 本体总数：1+15+1+4=21 种机器人本体，加上人类。正文还说真实机器人共 17 个物理平台（1+15+1）。
  • 总计 5.185 亿帧、6369 小时，即正文中约 6400 小时；原始池 13.339 亿帧、14348 小时。

5.2.1预训练数据混合

原文
Data Composition. Following the co-training recipe of Section 4.3, the mixture combines three complementary data types. Egocentric human data comes from a dataset we carefully constructed for manipulation-centric world modeling – 71.6K long-form first-person recordings of 0.25–6 minutes each, covering 3,006 everyday manipulation tasks; it supplies broad visual and interaction diversity but carries no robot action labels, so its action and proprioception channels remain fully masked and it supervises only the world stream. Real-world robot data (AgiBotWorld-Beta (Bu et al., 2025), RoboCOIN (Wu et al., 2025), and DROID (Khazatsky et al., 2024)) grounds the action stream with executable trajectories across 17 physical platforms, while also providing the most faithful visual observations of robots interacting with the physical world. Synthetic robot data (InternData-A1 (Tian et al., 2025)) further broadens the coverage of robot data, encompassing a more comprehensive range of single-arm and bimanual manipulation skills under diverse environmental variations.
译文
数据构成。遵循第 4.3 节的联合训练配方，混合数据组合了三种互补的数据类型。第一人称人类数据来自我们为“以操作为中心的世界建模”精心构建的数据集——7.16 万段长时第一人称录像，每段 0.25–6 分钟，涵盖 3006 种日常操作任务；它提供广泛的视觉与交互多样性，但没有机器人动作标签，因此其动作与本体感知通道被完全掩蔽，只监督世界流。真实机器人数据（AgiBotWorld-Beta（Bu 等，2025）、RoboCOIN（Wu 等，2025）和 DROID（Khazatsky 等，2024））以 17 个物理平台上的可执行轨迹为动作流提供落地（grounding），同时提供机器人与物理世界交互时最真实的视觉观测。合成机器人数据（InternData-A1（Tian 等，2025））进一步拓宽机器人数据的覆盖面，在多样的环境变化下涵盖更全面的单臂与双臂操作技能。
解释
第一人称数据“完全掩蔽动作通道”在式 (2) 中的体现是：对这类样本，有效性掩码 m 全为 0，动作项损失为零，只剩视频项。也就是说人类视频只教模型“世界会怎样变化”（手如何接近物体、物体被拿起后怎么动），而“机器人具体怎么动”完全由机器人数据教。第 4.3 节的结论是这种组合主要提升分布外（OOD）泛化：机器人轨迹保证动作落地，第一人称视频拓宽迁移能力。
原文
Data Budget and Sampling. Considering the compute resources and time cost of pretraining, each source is subsampled under a per-source hour budget. The budgets are derived from frame-based targets – the egocentric and synthetic sources each contribute 30% of the total training frames, and the remaining 40% is divided among the three real-robot sources in proportion to their curated valid-frame counts – so that sources with different native frame rates are balanced by the quantity of data the model actually consumes. Within each source, the hour budget is water-filled across its constituent sub-datasets, and whole episodes are subsampled from the curated pool under a fixed seed until the budget is met. Training then draws samples proportionally to the actual per-source counts, so every retained sample is visited exactly once per epoch.
译文
数据预算与采样。考虑到预训练的算力和时间成本，每个来源都在各自的小时预算下进行子采样。预算由基于帧数的目标导出——第一人称和合成来源各占总训练帧数的 30%，其余 40% 按三个真实机器人来源整理后的有效帧数成比例分配——从而让原生帧率不同的来源按模型实际消耗的数据量取得平衡。在每个来源内部，小时预算以“注水”（water-filling）方式分配到其各个子数据集，并以固定随机种子从整理后的数据池中按整段（episode）子采样，直到达到预算。训练时再按各来源的实际样本数成比例抽样，因此每个保留下来的样本在每个 epoch 中恰好被访问一次。
解释
  • 为什么目标按帧、预算按小时：先定“帧数占比”（30/30/40），再根据各来源帧率换算成小时预算去挑选整段数据。
  • 注水分配：类似通信中的注水算法——把预算均匀“倒”给各子数据集，小的子数据集装满（全部保留）后，多余的预算继续分给大的子数据集。这样小数据集不会被进一步削减，大数据集不会独占预算。
  • 整段子采样：按完整 episode 抽，而不是随机抽帧，保证时间连续性（模型需要连续的视频窗口和动作块）。
  • 每个样本每轮恰好一次：采样权重就等于各来源实际样本数的占比，相当于把所有样本拼在一起无放回地洗牌，所以表 4 中的 Share 就是每轮实际看到的占比，没有重复上采样。

5.2.2数据整理

原文
Aggregating data across different sources and embodiments introduces heterogeneous defects in both the visual and the signal channel. Our cleaning protocol is informed by the data-cleaning pipeline of Qwen-RobotManip (Yuan et al., 2026a), supplemented with rules for the failure modes we observe in the collected sources, and operates at two levels: vision-level cleaning shared by all sources, and signal-level cleaning specific to robot data.
译文
跨来源、跨本体汇集数据，会在视觉通道和信号通道中引入各种各样的缺陷。我们的清洗协议参考了 Qwen-RobotManip（Yuan 等，2026a）的数据清洗流程，并针对在所收集数据中观察到的失效模式补充了规则，分两个层次执行：所有来源共用的视觉层清洗，以及机器人数据专用的信号层清洗。
解释
“信号通道”指机器人的状态（state）与动作（action）时间序列。人类视频只有视觉通道，所以只过第一层；机器人数据两层都要过。
原文
Vision-Level Cleaning. All sources first pass a uniform visual-quality screen that removes undecodable video, frozen or duplicated frames, black, white, and solid-color frames, over- and under-exposure and exposure flicker, blurred frames, and abrupt visual jumps. Egocentric data further exhibits one failure mode of its own: segments in which the hands leave the field of view carry no manipulation signal and are removed; recordings with empty or invalid language annotations are likewise discarded.
译文
视觉层清洗。所有来源首先通过统一的视觉质量筛查，剔除无法解码的视频、冻结或重复的帧、黑/白/纯色帧、过曝与欠曝以及曝光闪烁、模糊帧和突兀的画面跳变。第一人称数据还有一种独有的失效模式：双手离开视野的片段不含操作信号，予以删除；语言标注为空或无效的录像同样被丢弃。
解释
这些规则针对的都是“会误导视频世界模型”的情况：冻结帧会让模型学到“世界不动”；画面跳变（如剪辑、相机重连）会让模型学到不符合物理的瞬移。第一人称视频里手离开画面时，画面只是在“看风景”，对学操作没有帮助。
原文
Signal-Level Cleaning. Robot data additionally carries state and action channels, which are cleaned in four steps:
  1. Signal integrity. An episode is discarded outright when its recorded end-effector state fails to track the commanded actions (amplitude ratio \ge 3\times with per-axis correlation <0.5), or when video–signal misalignment affects more than 2% of frames.
  2. State-first idle detection. The state channel serves as the primary criterion for idle footage: leading and trailing segments whose state is static – detected with per-robot motion thresholds calibrated from the p99.5 of single-frame deltas, and confirmed when average end-effector translation and geodesic rotation rates fall below 2 cm/s and 5 ^\circ/s – are trimmed, whereas mid-episode pauses are never cut, since cutting them would splice temporally non-adjacent frames. State discontinuities such as jerk and spike outliers are additionally screened with robust median–MAD thresholds.
  3. Visual cross-checking. When the state does move, it is cross-checked against the visuals: apparent state motion under which every camera view remains visually static is attributed to sensor jitter and trimmed as well, whereas a genuinely moving arm observed by a frozen camera marks a capture defect and the episode is removed.
  4. Episode-level deletion. An episode that loses more than 70% of its frames to the steps above, or whose video is frozen for 90% or more of its length, is dropped entirely.
译文
信号层清洗。机器人数据还带有状态与动作通道，分四步清洗：
  1. 信号完整性。若记录的末端执行器状态不能跟踪指令动作（幅值比 \ge 3 倍且各轴相关系数 <0.5），或视频–信号错位影响超过 2% 的帧，则整段直接丢弃。
  2. 以状态为先的空闲检测。状态通道是判定空闲片段的主要依据：首尾状态静止的片段——用由单帧增量的 99.5 分位数（p99.5）标定的、各机器人专属的运动阈值检测，并在末端平均平移速率低于 2 cm/s、测地旋转速率低于 5 ^\circ/s 时确认——会被裁掉；而中途的停顿绝不裁剪，因为裁掉会把时间上不相邻的帧拼接在一起。此外，用稳健的中位数–MAD 阈值筛查加加速度（jerk）突变和尖峰离群等状态不连续。
  3. 视觉交叉校验。当状态确实在变化时，与画面做交叉核对：如果状态看似在动而所有相机画面都静止，则归因于传感器抖动，同样裁掉；反之，如果手臂确实在运动而相机画面冻结，则说明采集有缺陷，整段删除。
  4. 整段删除。若某一段在上述步骤中损失了超过 70% 的帧，或其视频有 90% 及以上的时长处于冻结状态，则整段丢弃。
解释
四步的逻辑是“先判断信号可不可信，再修剪无效部分，再用画面核对，最后丢掉剩得太少的”。
  • 第 1 步：动作是“下达的指令”，状态是“实际到达的位置”。正常情况下二者高度相关；若实际运动幅度是指令的 3 倍以上、且相关性很低，说明记录有误（如单位/坐标系错误），这样的动作标签会教坏模型。
  • 第 2 步：遥操作数据开头常有“等待开始”、结尾有“结束后发呆”，这些静止片段会让模型倾向于输出“不动”。阈值按机器人分别标定（用该机器人单帧变化量的 p99.5 作为噪声尺度），再用 2 cm/s、5 ^\circ/s 的物理速度确认。中途停顿保留，是因为它可能是任务的一部分（如等待抓稳），而且裁掉会造成画面跳变。MAD（median absolute deviation，中位数绝对偏差）对离群点稳健，比均值–标准差更适合检测尖峰。
  • 第 3 步：状态动而画面不动 \Rightarrow 传感器噪声，裁掉这几帧；画面不动而手臂真在动 \Rightarrow 相机掉帧，视觉与动作已经对不上，整段删除。
  • 第 4 步：剩余太少或大部分冻结的片段已无训练价值。

5.3仿真基准评测

原文
Starting from the pretrained OpenWAM-\alpha base model, we conduct supervised fine-tuning and evaluation on the eight simulation benchmarks integrated in OpenWAM-Infra (Section 3.4), spanning five embodiment categories:
  • Single-arm: LIBERO (Liu et al., 2023), LIBERO-Plus (Fei et al., 2025), and VLABench (Zhang et al., 2024);
  • Bimanual: RoboTwin2.0 (Chen et al., 2025) and RoboDojo (Chen et al., 2026b);
  • Mobile single-arm: RoboCasa365 (Nasiriany et al., 2026);
  • Mobile bimanual: EBench (Gao et al., 2026);
  • Dexterous-hand: RoboCasa-GR1 (NVIDIA et al., 2025; Nasiriany et al., 2024).
For RoboTwin2.0, we evaluate two variants. RoboTwin2.0-Full fine-tunes on the mixture of clean and randomized data and then evaluates under both conditions, probing the model's in-distribution (ID) capability; RoboTwin2.0-Clean2Random fine-tunes on clean data only and evaluates under both conditions, probing out-of-distribution (OOD) generalization.
译文
从预训练好的 OpenWAM-\alpha 基座模型出发，我们在 OpenWAM-Infra 中集成的八个仿真基准（第 3.4 节）上进行监督微调（SFT）与评测，涵盖五类本体：
  • 单臂：LIBERO（Liu 等，2023）、LIBERO-Plus（Fei 等，2025）和 VLABench（Zhang 等，2024）；
  • 双臂：RoboTwin2.0（Chen 等，2025）和 RoboDojo（Chen 等，2026b）；
  • 移动单臂：RoboCasa365（Nasiriany 等，2026）；
  • 移动双臂：EBench（Gao 等，2026）；
  • 灵巧手：RoboCasa-GR1（NVIDIA 等，2025；Nasiriany 等，2024）。
对 RoboTwin2.0 我们评测两种变体。RoboTwin2.0-Full 在干净数据与随机化数据的混合上微调，然后在两种条件下评测，考察模型的分布内（ID）能力；RoboTwin2.0-Clean2Random 只在干净数据上微调，然后在两种条件下评测，考察分布外（OOD）泛化。
解释
评测协议是“预训练基座 + 每个基准单独微调”，这与 \pi_0、\pi_{0.5} 等 VLA 的常见做法一致，因此可以与它们公平比较。八个基准分成五类本体，正好对应统一动作空间（图 12d）中的单臂、双臂、移动底盘、灵巧手等不同槽位组合。RoboTwin2.0 的两种变体设计得很巧妙：同一组任务，“Full”训练时见过随机化（杂物、光照、背景纹理随机），测的是拟合能力；“Clean2Random”训练时只见过干净场景，测随机化场景时就是分布外。后文第 5.3.2 节 ID/OOD 的对比正是建立在这种区分之上。
原文
Figure 13 summarizes the scores of OpenWAM-\alpha alongside representative VLA and WAM baselines on each benchmark, with every bar labeled by its actual score, giving a clear account of where the model stands. Figure 14 complements this view by pitting OpenWAM-\alpha against the strongest VLAs and WAMs on every leaderboard, grouped by embodiment, so that the two paradigms can be compared directly. The detailed per-benchmark training and evaluation configurations, including hyperparameter settings and evaluation details, are provided in Section B.2. The per-benchmark tables behind both figures are reported in Section D. Through these scores, we seek to answer the two questions at the heart of this evaluation: (1) how does OpenWAM-\alpha perform, and (2) between VLA and WAM, which paradigm prevails? The following two subsections address them in turn.
译文
图 13 汇总了 OpenWAM-\alpha 与有代表性的 VLA、WAM 基线在各基准上的得分，每根柱子都标注了实际分数，清楚地显示模型所处的位置。图 14 作为补充，把 OpenWAM-\alpha 与每个排行榜上最强的 VLA 和 WAM 放在一起，并按本体分组，使两种范式可以直接比较。各基准的详细训练与评测配置（包括超参数设置和评测细节）见附录 B.2；两张图背后的逐基准表格见附录 D。我们希望通过这些分数回答本次评测的两个核心问题：(1) OpenWAM-\alpha 表现如何？(2) VLA 与 WAM 两种范式孰优孰劣？下面两个小节依次回答。
解释
VLA（vision–language–action，视觉–语言–动作模型）直接从观测和指令回归动作；WAM（world–action model，世界–动作模型）在预测动作的同时预测未来画面。图 13 侧重“OpenWAM-\alpha 与几个代表性模型比”，图 14 侧重“每个榜单上各范式的前三名与 OpenWAM-\alpha 比”。
B_fig13.png
原文
Figure 13 Score comparison of OpenWAM-\alpha against representative VLA and WAM baselines across the simulation benchmarks. Within each panel, baselines are ordered by score, and every bar is labeled with its actual value.
译文
图 13 OpenWAM-\alpha 与有代表性的 VLA 和 WAM 基线在各仿真基准上的得分对比。每个子图中基线按分数排序，每根柱子都标注了实际数值。
图 13 解读
九个子图对应九个榜单（RoboTwin2.0 拆成 Full 与 Clean2Random 两个），纵轴是成功率或得分（%），蓝色柱为 OpenWAM-\alpha，固定放在最左，灰色柱为基线，从低到高排列；柱顶图标对应底部图例（\pi_0、\pi_{0.5}、Qwen-RobotManip（图中简称 Qwen-RM）、StarVLA、X-VLA 为 VLA；Fast-WAM、Being-H0.7、LingBot-VA 为 WAM）。逐项读数（OpenWAM-\alpha vs. 图中最强基线）：
  • LIBERO：99.3 vs. 99.2（Qwen-RM、Being-H0.7），图中最高。
  • RoboTwin2.0-Full：93.60 vs. 93.85（Qwen-RM），差 0.25。
  • LIBERO-plus：69.2 vs. 89.0（Qwen-RM），明显落后，在图中七个基线里只高于 \pi_0（53.6）和 Fast-WAM（51.5）。
  • RoboTwin2.0-Clean2Random：69.0 vs. 77.1（Qwen-RM），落后约 8 分。
  • EBench：49.4 vs. 45.6（Qwen-RM），领先约 4 分。
  • RoboCasa-GR1：60.5 vs. 49.2（Being-H0.7）。
  • RoboCasa365：38.2 vs. 35.9（Qwen-RM）。
  • RoboDojo：11.92 vs. 6.91（\pi_{0.5}）。
  • VLABench：58.9 vs. 48.1（\pi_{0.5}）。
需要注意：图 13 只选了“有代表性”的基线，并不是各榜单的最强模型（例如 RoboCasa365、RoboDojo、RoboCasa-GR1 上更强的模型出现在图 14 和附录 D 中），所以图 13 中 OpenWAM-\alpha 看起来处处领先或接近领先，应结合图 14 一起看。

5.3.1OpenWAM-\alpha 表现如何？

B_fig14.png
原文
Figure 14 OpenWAM-\alpha against the best of each family, per benchmark, grouped by embodiment.
译文
图 14 OpenWAM-\alpha 与每个基准上各范式最强者的对比，按本体分组。
图 14 解读
这是一张环形柱状图：每个扇区是一个基准，外圈弧线标注本体分组（右上 Single-arm 单臂：LIBERO、LIBERO-Plus、RoboCasa365、VLABench；下方 Bimanual 双臂：RoboTwin 2.0、RoboTwin C2R、EBench、RoboDojo；左上 Dexterous hand 灵巧手：RoboCasa-GR1）。每个扇区内蓝色为 OpenWAM-\alpha，绿色由深到浅为该榜 VLA 前三名，橙色由深到浅为 WAM 前三名（不足三个则少画）。柱长代表分数，各榜单的柱长不跨榜可比。读数（OpenWAM-\alpha ｜ VLA 前三 ｜ WAM 前三）：
基准OpenWAM-\alphaVLA 前三WAM 前三
LIBERO99.399.2 / 98.9 / 98.699.4 / 99.2 / 98.6
LIBERO-Plus69.289 / 86.6 / 84.483.4 / 83.1 / 82.2
RoboCasa36538.257.4 / 36 / 35.940.4 / 20.7
VLABench58.959.1 / 53.2 / 48.152.8
RoboTwin 2.093.693.85 / 93.25 / 88.2594.1 / 93.6 / 93.38
RoboTwin C2R6977.1 / 67.4 / 58.461.7 / 47.9 / 39.9
EBench49.445.6 / 33.3 / 27.14.7
RoboDojo11.9219.34 / 14.88 / 13.933.83 / 3.27 / 2.39
RoboCasa-GR160.564.5 / 58.7 / 56.755.4 / 50.8 / 49.2
结论：(1) 在 LIBERO、VLABench、RoboTwin 2.0、RoboCasa-GR1 上 OpenWAM-\alpha 与最强者相差 0.1–4 分；(2) EBench 上是唯一的第一；(3) RoboTwin C2R、RoboDojo 上 VLA 最强者更好，但 OpenWAM-\alpha 远超其他 WAM（69 vs. 61.7；11.92 vs. 3.83）；(4) LIBERO-Plus 是明显短板，比 VLA 与 WAM 的前三名都低 13 分以上；(5) RoboCasa365 上 OpenWAM-\alpha 与最强 VLA（57.4）差距约 19 分，与正文“紧随最强模型”的说法有出入，但它仍高于除最强 VLA 和最强 WAM（40.4）以外的模型。
原文
Across the majority of the benchmarks, OpenWAM-\alpha delivers excellent performance:
  • On the single-arm benchmarks LIBERO and VLABench, the bimanual benchmark RoboTwin2.0-Full, the mobile single-arm benchmark RoboCasa365, and the dexterous-hand benchmark RoboCasa-GR1, OpenWAM-\alpha sits firmly in the top tier, within a marginal gap of the best model.
  • On the mobile bimanual benchmark EBench, OpenWAM-\alpha sets the state of the art, leading the runner-up Qwen-RobotManip by roughly 4 points in both SR and Score.
  • On the bimanual benchmarks RoboTwin2.0-Clean2Random and RoboDojo, a gap to the best models (which are VLAs) remains, yet OpenWAM-\alpha is the strongest WAM on both leaderboards, ahead of the other WAMs by a clear margin.
译文
在大多数基准上，OpenWAM-\alpha 都表现出色：
  • 在单臂基准 LIBERO 和 VLABench、双臂基准 RoboTwin2.0-Full、移动单臂基准 RoboCasa365 以及灵巧手基准 RoboCasa-GR1 上，OpenWAM-\alpha 稳居第一梯队，与最优模型只有微小差距。
  • 在移动双臂基准 EBench 上，OpenWAM-\alpha 取得当前最优（state of the art），在成功率（SR）和得分（Score）上都领先第二名 Qwen-RobotManip 约 4 分。
  • 在双臂基准 RoboTwin2.0-Clean2Random 和 RoboDojo 上，与最优模型（均为 VLA）仍有差距，但 OpenWAM-\alpha 在这两个榜单上都是最强的 WAM，明显领先其他 WAM。
解释
用图 14 的数字核对：LIBERO 99.3 vs. 99.4（差 0.1），VLABench 58.9 vs. 59.1（差 0.2），RoboTwin2.0-Full 93.6 vs. 94.1（差 0.5），RoboCasa-GR1 60.5 vs. 64.5（差 4）；EBench 49.4 vs. 45.6（领先 3.8）。这些与“微小差距”的说法相符。唯独 RoboCasa365 上 38.2 与最强 VLA 的 57.4 相差约 19 分，称为“微小差距”并不准确，属于原文表述偏乐观之处（详见附录 D 的表格）。RoboTwin2.0-Clean2Random 与 RoboDojo 都带有分布外成分（训练只见干净场景/开放测试集），这与第 5.3.2 节“OOD 场景下 VLA 泛化更好”的结论相呼应。
Table 5 / 表 5
CameraRobotLanguageLightBackgroundNoiseLayoutAvg
VLA
\pi_0 (Black et al., 2024)13.86.058.885.081.479.068.953.6
OpenVLA-OFT (Kim et al., 2025)56.431.979.588.793.375.874.269.6
StarVLA (Community, 2026)52.549.888.595.795.773.076.974.1
ABot-M0 (Yang et al., 2026b)60.467.986.496.291.686.482.680.5
\pi_{0.5} (Physical Intelligence et al., 2025)78.473.680.896.294.189.084.584.4
ACoT-VLA (Zhong et al., 2026)72.682.687.597.796.587.888.186.6
Qwen-RobotManip (Yuan et al., 2026a)87.275.585.696.697.797.787.389.0
WAM
Fast-WAM (Yuan et al., 2026b)16.444.568.978.253.737.760.751.5
Being-H0.7 (Luo et al., 2026b)82.059.082.897.890.093.588.582.1
Cosmos-Policy (Kim et al., 2026b)75.863.381.796.588.992.782.282.2
ImageWAM (Zhang et al., 2026c)80.850.391.498.185.593.880.583.1
ABot-M0.5 (Chen et al., 2026a)70.587.488.694.089.775.585.283.4
OpenWAM-\alpha33.876.188.097.087.139.877.569.2
原文
Table 5 Evaluation Results on LIBERO-Plus. Bold denotes best values, underline second best.
译文
表 5 LIBERO-Plus 上的评测结果。粗体为最优，下划线为次优。
表 5 解读
LIBERO-Plus 在 LIBERO 任务基础上施加七类扰动，每列是一类扰动下的成功率（%）：Camera（相机视角/位置改变）、Robot（机器人初始状态扰动）、Language（指令改写）、Light（光照变化）、Background（背景纹理变化）、Noise（图像噪声/模糊等传感器退化）、Layout（物体布局变化）；Avg 为平均。上半部分是 VLA，下半部分是 WAM，最后一行是 OpenWAM-\alpha。关键数字：OpenWAM-\alpha 平均 69.2，在 Light（97.0）、Language（88.0）、Robot（76.1）上与强基线相当，甚至 Robot 一项高于除 ACoT-VLA、ABot-M0.5 外的所有模型；但 Camera 只有 33.8、Noise 只有 39.8，比同为 WAM 的 Being-H0.7（82.0、93.5）低约 50 分。这两项几乎解释了全部差距：若把 Camera 和 Noise 换成 80 分左右，平均分就会回到 82 左右，与其他 WAM 相当。另一个值得注意的对照是同样基于 Wan2.2 视频骨干的 Fast-WAM，它的 Camera（16.4）与 Noise（37.7）同样极低。这为后文“像素级预测对相机和噪声扰动敏感”的论证提供了证据。Background（87.1）和 Layout（77.5）也略低于头部模型，对应正文所说的“可见的亏损”。
原文
The unexpected exception is the single-arm benchmark LIBERO-Plus, where the scores of OpenWAM-\alpha fall markedly below its standing elsewhere, as shown in Table 5. The per-perturbation breakdown of LIBERO-Plus is telling: the losses concentrate under the camera and noise perturbations, with visible deficits under the background and layout perturbations as well. On the very same leaderboard, however, ABot-M0.5, ImageWAM, and Being-H0.7 — all WAMs themselves — perform strongly, with scores approaching the state of the art. We therefore compare OpenWAM-\alpha against these models along two axes, pretraining data and architecture, to identify the underlying causes.
译文
出乎意料的例外是单臂基准 LIBERO-Plus：如表 5 所示，OpenWAM-\alpha 在此的得分明显低于它在其他榜单上的位置。LIBERO-Plus 的逐扰动分解很能说明问题：损失集中在相机和噪声扰动下，在背景和布局扰动下也有可见的亏损。然而在同一个榜单上，ABot-M0.5、ImageWAM 和 Being-H0.7——它们本身都是 WAM——表现很强，得分接近最优。因此我们从预训练数据和架构两个维度把 OpenWAM-\alpha 与这些模型进行比较，以找出根本原因。
解释
作者的论证策略是“排除法”：既然其他 WAM 在这个榜上能做好，就不能简单归咎于“WAM 范式不行”，而要找 OpenWAM-\alpha 与这些 WAM 的具体差异。下面分数据和架构两个角度分析。
B_fig15.png
原文
Figure 15 Single-arm pretraining data of ABot-M0.5, Being-H0.7, and OpenWAM-\alpha. The dashed lines indicate that the single-arm data of OpenWAM-\alpha amounts to only a small fraction of what ABot-M0.5 and Being-H0.7 consume.
译文
图 15 ABot-M0.5、Being-H0.7 与 OpenWAM-\alpha 的单臂预训练数据。虚线表示 OpenWAM-\alpha 的单臂数据只相当于 ABot-M0.5 和 Being-H0.7 所用数据的一小部分。
图 15 解读
三个环形图分别是三个模型预训练数据中单臂部分的构成，中心标注总时长：OpenWAM-\alpha（红色）约 1100+ 小时，只有 DROID 与 InternData-A1 两部分，大约各占一半；ABot-M0.5（绿色）8000+ 小时，以 OXE-AugE 为主，另有 OXE、Bridge Data-V2、RoboMind、DROID、InternData-A1；Being-H0.7（蓝色）5700+ 小时，同样以 OXE-AugE 为主，另有 OXE、InternData-M1、RoboMind。连接红环与绿/蓝环的虚线示意：OpenWAM-\alpha 的全部单臂数据只相当于另两者中一个扇区（与它们中 DROID、InternData 部分相当）的规模。按时长估算，OpenWAM-\alpha 的单臂数据只有 ABot-M0.5 的约 1/7、Being-H0.7 的约 1/5。OXE（Open X-Embodiment）汇集了数十种机器人、相机视角各异的数据，OXE-AugE 是其增强版本，这正是“视角多样性”的来源。该图支撑“数据视角”的论证。
原文
The Data Perspective. Figure 15 contrasts the single-arm portion of the pretraining data of ABot-M0.5 and Being-H0.7 with that of OpenWAM-\alpha. Both baselines pretrain on far larger and more varied single-arm collections, spanning diverse embodiments, scenes, and camera viewpoints, so during pretraining they have already seen visual information and world knowledge close to the LIBERO-Plus test scenes — in viewpoint and noise as much as in background and layout. In contrast, the single-arm data of OpenWAM-\alpha (Table 4) is far smaller in both volume and variety, drawing on only two sources: DROID, collected on a fixed single-arm platform with fixed camera viewpoints, and the single-arm portion of the synthetic InternData-A1. With such limited single-arm coverage, the model receives far less single-arm world knowledge, and its single-arm generalization suffers accordingly on the OOD perturbations of LIBERO-Plus. The converse also holds: the OpenWAM-\alpha mixture is rich in egocentric, bimanual, and dexterous-hand data, and the model is correspondingly strong on the bimanual and dexterous-hand benchmarks.
译文
数据视角。图 15 对比了 ABot-M0.5、Being-H0.7 与 OpenWAM-\alpha 预训练数据中的单臂部分。两个基线都在规模大得多、种类多得多的单臂数据上预训练，涵盖多样的本体、场景和相机视角，因此它们在预训练中已经见过与 LIBERO-Plus 测试场景相近的视觉信息和世界知识——视角和噪声方面如此，背景和布局方面也是如此。相比之下，OpenWAM-\alpha 的单臂数据（表 4）在数量和种类上都少得多，只来自两个来源：在固定单臂平台、固定相机视角下采集的 DROID，以及合成数据 InternData-A1 中的单臂部分。单臂覆盖如此有限，模型获得的单臂世界知识就少得多，它在 LIBERO-Plus 的分布外扰动上的单臂泛化也相应受损。反过来也成立：OpenWAM-\alpha 的数据混合富含第一人称、双臂和灵巧手数据，模型在双臂和灵巧手基准上也相应表现强劲。
解释
核心论点是“泛化能力取决于预训练数据是否覆盖了测试条件”。DROID 虽然场景多样，但相机安装位置固定，所以模型几乎没见过“换一个视角看同一个机械臂”；LIBERO-Plus 的 Camera 扰动恰恰考这一点。反面的证据是 EBench（移动双臂）和 RoboCasa-GR1（灵巧手）上的好成绩——这些正是 OpenWAM-\alpha 数据中占比大的类型（AgiBot、RoboCOIN 都含双臂、移动和灵巧手）。
原文
The Architecture Perspective. Fast-WAM, ABot-M0.5, and OpenWAM-\alpha share one core prediction target — a pixel-level video of the future over a temporal horizon, with the intermediate latents produced by the reconstructive Wan2.2-VAE. On LIBERO-Plus, all three exhibit the same signature: the scores under the camera and noise perturbations fall clearly below those under the other perturbations, and only ABot-M0.5, backed by its pretraining data, recovers much of the loss relative to Fast-WAM and OpenWAM-\alpha. Pixel-level information is evidently acutely sensitive to camera and noise perturbations — an inherent limitation of pixel-level prediction architectures that only large-scale pretraining can compensate. Two further baselines corroborate this reading. ImageWAM, although not pretrained, remains conspicuously strong on LIBERO-Plus: its prediction target is also a pixel-level latent, but it predicts only a single future frame of the current observation — closer to an edit than a rollout — so no error accumulates across frames and the impact of future-pixel prediction on the camera and noise scores shrinks accordingly. Being-H0.7, in turn, encodes observations with V-JEPA 2.1: its intermediate latents remain temporal (several frames are encoded jointly), yet they are semantic-level features rather than pixel reconstructions, which makes the model markedly more robust to the camera and noise perturbations. Unlike LIBERO-Plus, the OOD designs of the other benchmarks impose no deliberate camera or noise disturbance, so OpenWAM-\alpha remains highly competitive there; on LIBERO-Plus, the camera and noise disturbances compound the single-arm data deficit above, and the performance of OpenWAM-\alpha inevitably degrades.
译文
架构视角。Fast-WAM、ABot-M0.5 与 OpenWAM-\alpha 有一个共同的核心预测目标——在一段时间范围内的像素级未来视频，其中间潜变量由重建式的 Wan2.2-VAE 产生。在 LIBERO-Plus 上三者呈现同样的特征：相机和噪声扰动下的得分明显低于其他扰动，只有 ABot-M0.5 凭借其预训练数据，相对 Fast-WAM 和 OpenWAM-\alpha 挽回了大部分损失。像素级信息显然对相机和噪声扰动极为敏感——这是像素级预测架构的固有局限，只有大规模预训练才能弥补。另外两个基线印证了这一解读。ImageWAM 虽未经预训练，在 LIBERO-Plus 上却格外强：它的预测目标同样是像素级潜变量，但它只预测当前观测的单个未来帧——更像一次“编辑”而非“推演”（rollout）——因此不存在跨帧的误差累积，未来像素预测对相机和噪声得分的影响也相应减小。Being-H0.7 则用 V-JEPA 2.1 编码观测：它的中间潜变量仍是时序的（多帧联合编码），但它们是语义级特征而非像素重建，这使模型对相机和噪声扰动明显更稳健。与 LIBERO-Plus 不同，其他基准的分布外设计并未刻意施加相机或噪声干扰，所以 OpenWAM-\alpha 在那些基准上依然很有竞争力；而在 LIBERO-Plus 上，相机和噪声干扰叠加上述单臂数据不足，OpenWAM-\alpha 的性能不可避免地下降。
解释
这段用四个模型构成一个“对照实验”：
  • 像素级多帧 + 数据少（Fast-WAM、OpenWAM-\alpha）：Camera 16.4/33.8，Noise 37.7/39.8，最差。
  • 像素级多帧 + 数据多（ABot-M0.5）：Camera 70.5，Noise 75.5，大幅回升但仍是其自身的较弱项。
  • 像素级单帧（ImageWAM，无预训练）：Camera 80.8，Noise 93.8。只预测一帧，相当于在当前画面上“改一点”，不必连续生成多帧，误差不会逐帧放大。
  • 语义级多帧（Being-H0.7，用 V-JEPA 2.1 特征）：Camera 82.0，Noise 93.5。V-JEPA 是在特征空间做预测的自监督模型，表示不需要还原每个像素，对噪声等低层扰动天然不敏感。
直觉上：重建式 VAE 的潜变量必须保留足以还原像素的信息，噪点、视角变化都会显著改变潜变量；模型若依赖这些潜变量的“未来推演”来决定动作，输入一旦偏离训练分布，预测的未来画面就会偏，动作随之出错。这是作者对第 4.1.2 节“表示选择”问题的延伸讨论，并且坦承了自己方法的局限。
原文
Takeaway 1: How well an embodied model generalizes on a benchmark is ultimately determined by whether its pretraining mixture contains data close to the benchmark's test conditions, in both embodiment and environment. Extending Section 4.3, the decisive ingredient of an embodied foundation model remains large-scale, diverse, scene-rich robot manipulation data, which at once covers the broad range of test scenarios a model may later encounter and supplies precise action / visual information grounded in the embodiment — the most direct route to stronger generalization.Takeaway 2: Driven by large-scale data, WAMs that predict the future in a pixel latent space can achieve excellent performance, yet their robustness to visual disturbance is inherently limited. Echoing Section 4.1.2, a representation that is robust to environmental variation, information-rich, and sufficiently compact is still needed to push WAM performance further.
译文
要点 1：具身模型在某个基准上泛化得好不好，归根结底取决于它的预训练数据中是否包含在本体和环境两方面都接近该基准测试条件的数据。作为第 4.3 节的延伸：具身基础模型的决定性要素仍然是大规模、多样、场景丰富的机器人操作数据——它既覆盖模型以后可能遇到的广泛测试场景，又提供扎根于本体的精确动作/视觉信息——这是获得更强泛化能力最直接的途径。要点 2：在大规模数据驱动下，在像素潜空间中预测未来的 WAM 可以取得优异性能，但其对视觉干扰的稳健性存在固有局限。呼应第 4.1.2 节：要进一步提升 WAM 的性能，仍需要一种对环境变化稳健、信息丰富且足够紧凑的表示。
解释
两条要点分别对应上面的“数据视角”和“架构视角”。要点 1 是一个偏保守的结论：再好的架构也替代不了与测试场景接近的数据，这也解释了为什么第一人称视频（场景多但不含机器人）不能弥补单臂机器人数据的不足。要点 2 则指出了未来方向：用类似 V-JEPA 这样的语义潜空间，或兼顾语义与细节的潜空间，取代纯重建式 VAE 潜空间。

5.3.2VLA 与 WAM：哪种范式更胜一筹？

原文
Across all benchmarks (Figure 14), the VLA and WAM groups show no substantial gap in overall success rate, and each side places standout models at the top of leaderboards: ABot-M0.5 and OpenWAM-\alpha among WAMs, Xiaomi-Robotics-1 and Qwen-RobotManip among VLAs. Since these models differ in pretraining data, architecture, and training configuration alike, neither paradigm can be declared superior outright. The fine-grained scores, however, reveal a consistent pattern: each paradigm holds an advantage region of its own (Figure 16).
译文
在所有基准上（图 14），VLA 组与 WAM 组的总体成功率并无实质性差距，双方都有出色的模型位列榜首：WAM 中有 ABot-M0.5 和 OpenWAM-\alpha，VLA 中有 Xiaomi-Robotics-1 和 Qwen-RobotManip。由于这些模型在预训练数据、架构和训练配置上都各不相同，无法直接断言哪种范式更优。然而细粒度的分数揭示了一个一致的规律：每种范式都有自己的优势区域（图 16）。
解释
作者先承认“总分比不出胜负”，因为跨模型比较混杂了太多变量（数据量、骨干、超参数）。所以转而看“细分切片”——把每个基准拆成分布内（ID）与分布外（OOD）子集，观察规律是否稳定。
B_fig16.png
原文
Figure 16 ID and OOD comparisons between the two paradigms. (a) Fast-WAM versus StarVLA, two models without embodied pretraining, on ID and OOD splits. (b) OpenWAM-\alpha versus the three strongest VLAs on ID splits. (c) OpenWAM-\alpha versus the three strongest VLAs on OOD splits.
译文
图 16 两种范式在 ID 与 OOD 上的比较。(a) Fast-WAM 与 StarVLA——两个未经具身预训练的模型——在 ID 与 OOD 子集上的对比。(b) OpenWAM-\alpha 与三个最强 VLA 在 ID 子集上的对比。(c) OpenWAM-\alpha 与三个最强 VLA 在 OOD 子集上的对比。
图 16 解读
纵轴均为成功率（%）。(a) 黄色斜线柱为 Fast-WAM，绿色斜线柱为 StarVLA。两者都没有做具身预训练，相当于“控制了数据变量”的最干净对照。虚线左侧为 ID：LIBERO 平均 97.6 vs. 96.6；RoboTwin2.0 C2R 的 Clean 子集 77.8 vs. 46.5（WAM 高 31 分）；RoboTwin2.0 Full 平均 91.85 vs. 88.25。右侧为 OOD：LIBERO-Plus 平均 51.5 vs. 74.1（VLA 高 23 分）；RoboTwin2.0 C2R 的 Randomized 子集 1.9 vs. 3.2（两者都几乎完全失败，但排序仍是 VLA 在前）。(b) ID 子集上，黄色为 OpenWAM-\alpha，绿色由深到浅为 VLA 第 1–3 名（横轴标签写出了名字）：LIBERO 平均 99.3 vs. 99.2（Qwen-RobotManip）/98.9（Being-H0.5）/98.6（ABot-M0）；VLABench 分布内 SR 83.4 vs. 75.6（Xiaomi-Robotics-1）/69.7（ERVLA）/65.4（\pi_{0.5}）；RoboTwin2.0 C2R Clean 89.4 vs. 84.7（Qwen-RobotManip）/77.2（Spatial Forcing）/70.7（ABot-M0 / \pi_{0.5}）；RoboDojo Gen-Std SR 25.56 vs. 28.00（Xiaomi-Robotics-1）/20.00（Galaxea G0.5）/18.00（DM0.5）。前三项 OpenWAM-\alpha 全部第一，最后一项第二。(c) OOD 子集上：LIBERO-Plus 平均 69.2 vs. 89.0/86.6/84.4；RoboTwin2.0 C2R Randomized 48.7 vs. 69.4（Qwen-RobotManip）/67.9（GigaBrain-0.7）/46.0（\pi_{0.5}）；RoboDojo Open SR 1.08 vs. 3.58（Xiaomi-Robotics-1）/2.08（DM0.5）/1.67（\pi_{0.5}）。OpenWAM-\alpha 在三项中都排在 VLA 前三名之后或仅胜过第三名（C2R Randomized 上 48.7 略高于 \pi_{0.5} 的 46.0）。(a) 与 (b)(c) 两组证据方向一致：WAM 在 ID 占优、在 OOD 落后，且无论是否有预训练都成立，这正是本节论点的依据。
原文
In Distribution, WAMs Fit Better. The cleanest comparison is between StarVLA and Fast-WAM, two models without embodied pretraining (Figure 16a): on LIBERO, the Clean split of RoboTwin2.0-Clean2Random, and RoboTwin2.0-Full, the WAM attains visibly higher scores on these ID tasks, fitting the training distribution more effectively than its VLA counterpart. The pretrained models tell the same story from both directions (Figure 16b): OpenWAM-\alpha leads the three strongest VLAs on LIBERO, the In-dist. split of VLABench, and the Clean split of RoboTwin2.0-Clean2Random, and stays within a small gap of the best on the Gen-Std split of RoboDojo — even though the pretraining data of these VLAs exceeds ours. This advantage traces back to the video-latent supervision in WAM training: whereas a VLA is optimized purely against action supervision, with no intermediate latent target, the video-latent term injects an additional source of information into parameter optimization, allowing a WAM to fit the training data more closely.
译文
分布内，WAM 拟合得更好。最干净的比较是 StarVLA 与 Fast-WAM 这两个未经具身预训练的模型（图 16a）：在 LIBERO、RoboTwin2.0-Clean2Random 的 Clean 子集以及 RoboTwin2.0-Full 这些 ID 任务上，WAM 的得分明显更高，比对应的 VLA 更有效地拟合了训练分布。预训练模型从两个方向讲述了同样的故事（图 16b）：OpenWAM-\alpha 在 LIBERO、VLABench 的分布内子集和 RoboTwin2.0-Clean2Random 的 Clean 子集上领先三个最强 VLA，在 RoboDojo 的 Gen-Std 子集上与最优者也只差一点——尽管这些 VLA 的预训练数据比我们的多。这一优势可以追溯到 WAM 训练中的视频潜变量监督：VLA 只针对动作监督进行优化，没有中间潜变量目标；而视频潜变量项为参数优化注入了额外的信息来源，使 WAM 能够更紧密地拟合训练数据。
解释
机制解释：同样一批演示数据，VLA 只用其中的动作作为监督（每个样本几十到几百个数），WAM 还用未来画面作为监督（每个样本成千上万个潜变量值），后者相当于“额外的稠密监督信号”，让模型更充分地吃透训练数据中的因果关系（动作 \rightarrow 画面变化）。数字上，Fast-WAM 在 C2R Clean 上比 StarVLA 高 31.3 分是最显著的证据。
原文
Out of Distribution, VLAs Generalize Better. The same StarVLA–Fast-WAM comparison reverses out of distribution (Figure 16a): on LIBERO-Plus the VLA leads by a wide margin, and even on the Randomized split of RoboTwin2.0-Clean2Random, where both models collapse, the ordering still favors the VLA. The pretrained models mirror the reversal (Figure 16c): on LIBERO-Plus, the Randomized split of RoboTwin2.0-Clean2Random, and the Open split of RoboDojo, OpenWAM-\alpha trails the state-of-the-art VLAs by an evident margin. The mechanism is the flip side of the ID advantage: long-horizon future prediction adds a supervision signal that helps fitting, but under distribution shift the same long horizon means heavier error accumulation — a burden the action-only VLA never carries — so WAMs perform visibly below VLAs in unseen evaluation environments.
译文
分布外，VLA 泛化得更好。同样的 StarVLA–Fast-WAM 对比在分布外发生了反转（图 16a）：在 LIBERO-Plus 上 VLA 大幅领先，即便在两个模型都崩溃的 RoboTwin2.0-Clean2Random 的 Randomized 子集上，排序仍然是 VLA 在前。预训练模型也呈现同样的反转（图 16c）：在 LIBERO-Plus、RoboTwin2.0-Clean2Random 的 Randomized 子集和 RoboDojo 的 Open 子集上，OpenWAM-\alpha 明显落后于最先进的 VLA。其机制正是 ID 优势的另一面：长时域的未来预测增加了一个有助于拟合的监督信号，但在分布偏移下，同样的长时域意味着更严重的误差累积——这是只输出动作的 VLA 从不需要承担的负担——因此在未见过的评测环境中，WAM 的表现明显低于 VLA。
解释
一句话概括：未来预测是一把双刃剑。在熟悉环境里，“想象未来”帮模型学得更准；在陌生环境里，模型对未来的想象本身就不准，而且一帧错帧帧错，动作若依赖这些想象就会被带偏。VLA 不想象未来，也就没有这层误差放大。这与前文对 LIBERO-Plus 的“架构视角”分析一致。
原文
Crucially, both deficits are remediable by data. Whether it is the ID fitting deficit of VLAs or the OOD generalization deficit of WAMs, sufficiently rich pretraining data — covering complex environmental variation and carrying precise action annotation — lets either paradigm draw on the inherited priors to achieve both strong fitting and strong generalization at test time. Data therefore remains the first priority of model development. At the same time, VLAs and WAMs are both end-to-end models built on the same core information flow, from observation to action; how to combine the complementary strengths of the two paradigms, and thereby push the capability boundary of end-to-end models further, remains a question well worth pursuing.
译文
关键在于，这两种短板都可以靠数据弥补。无论是 VLA 的 ID 拟合短板，还是 WAM 的 OOD 泛化短板，只要预训练数据足够丰富——覆盖复杂的环境变化并带有精确的动作标注——任一范式都能借助继承来的先验，在测试时同时做到强拟合与强泛化。因此数据仍是模型开发的第一要务。同时，VLA 与 WAM 都是建立在同一条“从观测到动作”的核心信息流之上的端到端模型；如何结合两种范式的互补优势，从而进一步推高端到端模型的能力边界，仍是一个非常值得探索的问题。
解释
“可以靠数据弥补”的证据来自前面的榜单：例如 ABot-M0.5（WAM，8000+ 小时单臂数据）在 LIBERO-Plus 上达到 83.4，已接近顶尖 VLA；Qwen-RobotManip 等大数据 VLA 在 ID 子集上也只比 OpenWAM-\alpha 略低。作者的立场比较平衡：不宣称 WAM 全面胜出，而是把问题引向“数据规模”与“两种范式融合”。
原文
Takeaway 3: Neither paradigm prevails outright: video-latent supervision gives WAMs the edge in in-distribution fitting, while VLAs generalize better out of distribution — and either deficit can be compensated by sufficiently large and diverse pretraining data. Combining the complementary strengths of the two end-to-end paradigms is a promising route to push the capability boundary further.
译文
要点 3：没有哪种范式全面胜出：视频潜变量监督使 WAM 在分布内拟合上占优，而 VLA 在分布外泛化得更好——且任一短板都可以通过足够大、足够多样的预训练数据来弥补。结合两种端到端范式的互补优势，是进一步推高能力边界的一条有前景的途径。
解释
这是第 5.3.2 节的总结。结合要点 1、2 可以串起来：数据覆盖决定泛化（要点 1）；像素级未来预测带来视觉扰动敏感（要点 2）；而未来预测在 ID 上带来更强拟合、在 OOD 上带来误差累积（要点 3）。三条要点相互支撑。

5.4真机评测

原文
To further examine OpenWAM-\alpha beyond simulation and validate both its general capability and its generalization, we conduct comprehensive real-robot evaluations across three embodiments — single-arm, bimanual, and dexterous-hand — with the experimental setups shown in Figure 17. Specifically:
  • Single-arm experiments are conducted on the Franka-Research-3 platform and cover three task families — stacking, pick-and-place, and hanging — probing the model's basic and fine-grained manipulation capabilities. Performance is measured by task success rate (SR).
  • Bimanual experiments are conducted on the official RoboDojo real-robot platform, spanning three embodiments (ARX X5, Piper, and Piper X); following the RoboDojo task taxonomy, the evaluation covers generalization, precision, long-horizon, memory, and open tasks, assessing the model comprehensively. Performance is measured by SR and Progress Score.
  • Dexterous-hand experiments are conducted on a platform pairing the Wuji dexterous hand with the Tianji robotic arm — an embodiment and action space absent from the OpenWAM-\alpha pretraining mixture — and cover bimanual-interactive, long-horizon, and fine manipulation tasks, probing how well the model adapts and generalizes to unseen embodiments and unseen action dimensions. Performance is measured by SR and Progress Score.
The task setups and evaluation protocols of each embodiment are documented in Section C, and the SFT configurations used for these experiments are provided in Section B.2.
译文
为了在仿真之外进一步检验 OpenWAM-\alpha，并验证其通用能力与泛化能力，我们在单臂、双臂和灵巧手三种本体上进行了全面的真机评测，实验设置如图 17 所示。具体而言：
  • 单臂实验在 Franka-Research-3 平台上进行，涵盖堆叠、抓取放置和悬挂三类任务，考察模型的基础与精细操作能力。性能以任务成功率（SR）衡量。
  • 双臂实验在官方 RoboDojo 真机平台上进行，涉及三种本体（ARX X5、Piper 和 Piper X）；按照 RoboDojo 的任务分类，评测涵盖泛化、精度、长时域、记忆和开放任务，对模型进行全面评估。性能以 SR 和进度分（Progress Score）衡量。
  • 灵巧手实验在 Wuji 灵巧手与 Tianji 机械臂组合的平台上进行——这一本体及其动作空间都不在 OpenWAM-\alpha 的预训练数据中——涵盖双臂交互、长时域和精细操作任务，考察模型对未见本体和未见动作维度的适应与泛化能力。性能以 SR 和进度分衡量。
各本体的任务设置与评测协议见附录 C，这些实验所用的 SFT 配置见附录 B.2。
解释
三组真机实验各有侧重：单臂测“基本功”（在常见的 Franka 平台上和代表性模型比较）；双臂用第三方官方平台 RoboDojo，避免“自己出题自己考”；灵巧手则刻意选了预训练中完全没见过的本体，测“迁移到新机器人”的能力。进度分（Progress Score）把任务拆成若干子步骤，按完成了多少步给分，比二元的成功/失败更细，能区分“差一点成功”和“完全不会”。
B_fig17.png
原文
Figure 17 Real-robot experimental setups across three embodiments. Top: the six single-arm tasks on the Franka-Research-3 platform. Bottom left: the three bimanual embodiments of the RoboDojo real-world track (Piper X, Piper, and ARX X5), covering 18 tasks in total. Bottom right: the four dexterous-hand tasks on the Wuji-hand and Tianji-arm platform, each illustrated by key intermediate stages of its execution.
译文
图 17 三种本体上的真机实验设置。上：Franka-Research-3 平台上的六个单臂任务。左下：RoboDojo 真机赛道的三种双臂本体（Piper X、Piper 和 ARX X5），共 18 个任务。右下：Wuji 灵巧手与 Tianji 机械臂平台上的四个灵巧手任务，每个任务用其执行过程中的关键中间阶段示意。
图 17 解读
上排（橙色框）是六个单臂任务的初始场景：把积木放进抽屉（Put Jenga in Drawer）、把环挂到杯子上（Hang on Cup）、挂到 M 形架上（Hang on M）、叠积木（Stack Jenga）、叠圆环（Stack Ring）、把辣椒放进抽屉（Put Chili in Drawer）。三类任务族——堆叠、抓放、悬挂——各两个。左下（绿色框）是 RoboDojo 的三台双臂机器人照片，配文“3 种本体、18 个任务、全面评测”（每种本体 6 个任务）。右下（蓝色框）是四个灵巧手任务，每个任务用两张图（箭头连接）表示前后两个关键阶段：搭玩具塔（Stack Toy Tower）、收集羽毛球（Collect Shuttlecocks）、收纳衣物（Put Away Clothes）、拧瓶盖（Twist off Bottle Cap）。可以看到灵巧手平台是双臂人形上身结构，任务需要双手配合与手指精细动作。
原文
Table 6, Table 7, and Table 8 report the detailed scores of the single-arm, RoboDojo bimanual, and dexterous-hand experiments, respectively.
译文
表 6、表 7 和表 8 分别报告单臂、RoboDojo 双臂和灵巧手实验的详细得分。
解释
下面三张表依次对应三组实验。
Table 6 / 表 6
Stack
Jenga		Stack
Ring		Put Chili
in Drawer		Put Jenga
in Drawer		Hang
on M		Hang
on Cup		Avg
\pi_{0.5} (Physical Intelligence et al., 2025)13/20 (65%)7/20 (35%)14/20 (70%)15/20 (75%)7/20 (35%)10/20 (50%)66/120 (55.0%)
LingBot-VA (Li et al., 2026b)16/20 (80%)15/20 (75%)17/20 (85%)17/20 (85%)13/20 (65%)15/20 (75%)93/120 (77.5%)
OpenWAM-\alpha17/20 (85%)12/20 (60%)20/20 (100%)20/20 (100%)13/20 (65%)17/20 (85%)99/120 (82.5%)
原文
Table 6 Evaluation Results on Single-Arm Real-Robot Tasks. Bold denotes best values, underline second best.
译文
表 6 单臂真机任务评测结果。粗体为最优，下划线为次优。
表 6 解读
行是三个模型：代表性 VLA \pi_{0.5}、代表性 WAM LingBot-VA、以及 OpenWAM-\alpha；列是图 17 上排的六个任务，最后一列是总平均。每格为“成功次数/试验次数（成功率）”，每个任务 20 次，共 120 次。关键数字：OpenWAM-\alpha 总计 99/120（82.5%），高于 LingBot-VA 的 93/120（77.5%）和 \pi_{0.5} 的 66/120（55.0%）。两个抽屉任务 OpenWAM-\alpha 都是 20/20 满分。唯一明显落后的是 Stack Ring（12/20 vs. LingBot-VA 15/20），叠圆环需要精确对准，是最精细的任务；Hang on M 两个 WAM 打平（13/20）。两个 WAM 都大幅优于 \pi_{0.5}，特别是在悬挂类任务上（\pi_{0.5} 仅 35%/50%）。需要注意每个任务只有 20 次试验，单任务上 1 次成功对应 5 个百分点，差距 1–2 次的比较统计意义有限。
原文
On the single-arm platform (Table 6), OpenWAM-\alpha clearly leads both LingBot-VA, a representative WAM, and \pi_{0.5}, a representative VLA, on the majority of tasks, and attains the best average success rate, providing initial evidence of its general and fine-grained manipulation capabilities. We then turn to RoboDojo-Real (Table 7), a real-robot benchmark that comprehensively evaluates generalist manipulation policies across three bimanual embodiments and a wide range of task dimensions. OpenWAM-\alpha tops the leaderboard: it remains consistently strong across the embodiments and their tasks, and reaches the state of the art on the great majority of them, corroborating the generality and robustness of the model in the real world.
译文
在单臂平台上（表 6），OpenWAM-\alpha 在大多数任务上明显领先代表性 WAM LingBot-VA 和代表性 VLA \pi_{0.5}，并取得最高的平均成功率，为其通用与精细操作能力提供了初步证据。随后我们转向 RoboDojo-Real（表 7）——一个在三种双臂本体和广泛任务维度上全面评测通用操作策略的真机基准。OpenWAM-\alpha 位居榜首：它在各本体及其任务上都保持稳定的强势，并在绝大多数任务上达到当前最优，印证了模型在真实世界中的通用性与稳健性。
解释
表 6 的数字支持“多数任务领先”（6 个任务中 4 个第一、1 个并列、1 个第二）。表 7 的结论见下方解读。
B_tab7.png
原文
Table 7 Evaluation Results on the Bimanual RoboDojo Real-World Track. Each cell reports Score / SR (%). Bold denotes best values, underline second best. Rows are shaded by embodiment. Task order. ARX X5: cover_blocks, make_bread, make_food, pack_and_pour_fruit, store_in_safe, insert_tubes. Piper: stack_and_cover_blocks, fill_pen_holder, put_objects_into_basket, insert_charger, stack_bowls, stand_up_bottles. Piper X: classify_objects, disassemble_LEGO, hang_mugs, pack_objects_into_backpack, sweep_blocks, cap_pen.
译文
表 7 双臂 RoboDojo 真机赛道评测结果。每格为“得分 / 成功率（%）”。粗体为最优，下划线为次优。各行按本体着色。任务顺序。ARX X5：盖住积木、做面包、做食物、打包并倒出水果、存入保险箱、插入试管。Piper：堆叠并盖住积木、填满笔筒、把物品放进篮子、插充电器、叠碗、扶正瓶子。Piper X：物品分类、拆乐高、挂杯子、把物品装进背包、扫积木、盖笔帽。
表 7 解读
（此表结构复杂且含大量粗体/下划线标记，采用原表裁剪图。）结构：六个策略（X-VLA、Xiaomi-Robotics-0、GalaxeaVLA (G0)、InternVLA-A1、\pi_{0.5}、OpenWAM-\alpha）各占三行，分别对应 ARX X5、Piper、Piper X 三种本体；Task 1–6 是该本体的六个任务（任务名见表注，三种本体的任务各不相同）；Emb. Avg. 是该本体六个任务的平均；Overall Avg. 是三种本体共 18 个任务的总平均。每格“A / B”中 A 为进度分（0–100），B 为成功率（%）。关键数字（Overall Avg.，分数/成功率）：OpenWAM-\alpha 37.6 / 24.4；第二名 \pi_{0.5} 22.9 / 12.8；InternVLA-A1 12.0 / 7.2；GalaxeaVLA 9.0 / 4.4；Xiaomi-Robotics-0 7.9 / 3.9；X-VLA 7.6 / 3.3。OpenWAM-\alpha 的总分比第二名高约 15 分、成功率约为其 2 倍。按本体：ARX X5 39.0/23.3，Piper 46.7/36.7，Piper X 27.2/13.3，三项 Emb. Avg. 都是第一。亮点是 ARX X5 与 Piper 的 Task 5（store_in_safe、stack_bowls）均为 100/100。也应看到：这是一个极难的基准，多数模型在大量任务上得分为 0；OpenWAM-\alpha 也有若干 0 分格（如 ARX X5 Task 2 make_bread、Piper Task 4 insert_charger、Piper X Task 1 classify_objects），说明真实双臂长时域、精细任务仍远未解决。
Table 8 / 表 8
Stack Toy TowerCollect Shuttlecocks
MethodIDOODIDOOD
\pi_{0.5}16/30 (53.3) / 1/10 (10%)12/30 (40.0) / 1/10 (10%)11/35 (31.4) / 2/10 (20%)17/54 (31.5) / 3/15 (20%)
OpenWAM-\alpha21/30 (70.0) / 4/10 (40%)17/30 (56.7) / 3/10 (30%)29/35 (82.9) / 6/10 (60%)30/57 (52.6) / 4/15 (26.7%)
Put Away ClothesTwist off Bottle Cap
MethodIDOODIDOOD
\pi_{0.5}26/30 (86.7) / 6/10 (60%)45/60 (75.0) / 9/20 (45%)8/10 (80.0) / 3/10 (30%)13/20 (65.0) / 6/20 (30%)
OpenWAM-\alpha30/30 (100.0) / 10/10 (100%)55/60 (91.7) / 17/20 (85%)10/10 (100.0) / 7/10 (70%)18/20 (90.0) / 16/20 (80%)
原文
Table 8 Evaluation Results on Dexterous-Hand Real-Robot Tasks. Each cell reports Score / SR (%); the OOD column aggregates all variation settings of its task. Bold denotes best values.
译文
表 8 灵巧手真机任务评测结果。每格为“得分 / 成功率（%）”；OOD 列汇总了该任务的全部变化设置。粗体为最优。
表 8 解读
四个任务各分 ID（与训练场景一致）与 OOD（物体、位置等变化，见附录 C）两列。每格前半是进度分“获得分数/满分（百分比）”，后半是“成功次数/试验次数（成功率）”。例如 Stack Toy Tower 的 ID 列，OpenWAM-\alpha 为 21/30 (70.0) / 4/10 (40%)：10 次试验、每次满分 3 分，共得 21 分（70%），完全成功 4 次。Collect Shuttlecocks 的 OOD 两个模型满分不同（54 vs. 57），说明不同 OOD 设置下子步骤数可变（如羽毛球数量不同），原文未详细说明。关键数字：OpenWAM-\alpha 在全部 8 格中均优于 \pi_{0.5}。差距最大的是 Twist off Bottle Cap OOD（成功率 80% vs. 30%）、Collect Shuttlecocks ID（60% vs. 20%）和 Put Away Clothes OOD（85% vs. 45%）。OOD 相对 ID 的下降幅度也普遍更小，例如 Twist off Bottle Cap 上 OpenWAM-\alpha 从 70% 到 80%（甚至略升），\pi_{0.5} 保持 30%。这支撑了“对未见本体也能稳定适应”的结论。
原文
To further probe the extensibility and generalization of OpenWAM-\alpha, we fine-tune the pretrained model on four dexterous manipulation tasks built on the Wuji-hand and Tianji-arm platform and test it under both in-domain and out-of-domain setups (Table 8). Neither the platform nor its action space — a 9-D end-effector pose combined with 21 dexterous-hand degrees of freedom — ever appears in the OpenWAM-\alpha pretraining mixture; nevertheless, OpenWAM-\alpha outperforms \pi_{0.5} by a clear margin across all tasks and setups, demonstrating that the model adapts reliably and stably to an entirely unseen embodiment.
译文
为了进一步探究 OpenWAM-\alpha 的可扩展性与泛化能力，我们在基于 Wuji 灵巧手与 Tianji 机械臂平台构建的四个灵巧操作任务上微调预训练模型，并在域内和域外两种设置下测试（表 8）。该平台及其动作空间——9 维末端位姿加上 21 个灵巧手自由度——从未出现在 OpenWAM-\alpha 的预训练数据中；尽管如此，OpenWAM-\alpha 在所有任务和设置上都明显优于 \pi_{0.5}，表明模型能够可靠、稳定地适应一个完全未见过的本体。
解释
结合统一动作空间（图 12d）理解：每条手臂的 34 维槽位中，末端位姿占 9 维、灵巧手占 24 维。Wuji 手的 21 个自由度可以填进灵巧手的 24 个槽位中（剩余 3 维为空并被掩码），所以新本体不需要改模型结构，只需定义一个新的散布映射 \pi。虽然预训练数据中有 AgiBot、RoboCOIN 的灵巧手数据，但手型和自由度不同，“同一个槽位的物理含义”并不完全一致，因此这仍是对“未见动作维度”的考验。
原文
Together, these experiments assess OpenWAM-\alpha across three embodiment types and a broad spectrum of real-world manipulation tasks. The results show that OpenWAM-\alpha performs strongly in every setting and stands on par with today's leading models, indicating that it can serve as a strong baseline for further development and comparison by the community.
译文
总之，这些实验在三类本体和广泛的真实操作任务上评估了 OpenWAM-\alpha。结果表明，OpenWAM-\alpha 在每种设置下都表现强劲，与当今领先模型并驾齐驱，可以作为社区进一步开发和比较的强基线。
解释
真机部分的对比基线数量有限（单臂只比了 2 个模型、灵巧手只比了 \pi_{0.5}），但每组都包含了 VLA 的代表 \pi_{0.5}。作者把定位落在“强基线”，与其开源目的相符。

6结论

原文
This work introduced OpenWAM, an open research stack that turns world–action modeling from a set of tightly coupled implementation choices into a controlled experimental program. OpenWAM-Infra factorizes the WAM design space into composable modules assembled into three architecture families, served by a single trainer, policy server, and evaluation protocol spanning eight simulation benchmarks and real robots. On this substrate, OpenWAM-Study examined what world knowledge a WAM should inherit, how world and action learning create synergy, and how that synergy consolidates across domains, distilling the answers into a concrete recipe. OpenWAM-\alpha then instantiated this recipe at scale on egocentric human and robot data through a unified action space, delivering consistently strong results across the simulation benchmarks and real-robot experiments on single-arm, bimanual, and dexterous-hand platforms.
译文
本文提出了 OpenWAM——一个开放的研究栈，它把世界–动作建模从一组紧密耦合的实现选择，转变为一个受控的实验计划。OpenWAM-Infra 把 WAM 的设计空间分解为可组合的模块，组装成三个架构家族，并由统一的训练器、策略服务器以及覆盖八个仿真基准与真实机器人的评测协议提供支撑。在此基础上，OpenWAM-Study 考察了 WAM 应当继承什么世界知识、世界学习与动作学习如何产生协同、以及这种协同如何跨领域巩固，并把答案提炼为一份具体的配方。OpenWAM-\alpha 随后通过统一动作空间，在第一人称人类数据与机器人数据上大规模实现了这一配方，在仿真基准以及单臂、双臂和灵巧手平台的真机实验中都取得了一致的强劲结果。
解释
结论按“三件套”回顾全文：Infra（工具）\rightarrow Study（实验得出的配方，即表 3 中“继承–交互–巩固”三阶段）\rightarrow \alpha（把配方放大成的模型）。“受控的实验计划”是全文的核心卖点：以前不同 WAM 论文在骨干、数据、调度等方面同时不同，无法归因；OpenWAM 让人可以一次只改一个模块。
原文
We release the full stack, including the infrastructure, evaluation protocols, pretrained weights, and data recipes, as a shared and reproducible foundation for world–action research, with OpenWAM-\alpha serving as a strong baseline for further development and comparison. Looking ahead, these findings point to larger and more diverse embodied data with precise action annotation, visual representations that are both compact and robust to environmental variation, and end-to-end designs that combine the complementary strengths of WAMs and VLAs as the most promising directions for WAMs. A more detailed discussion of limitations and future work is provided in Section A.
译文
我们开源了整个研究栈，包括基础设施、评测协议、预训练权重和数据配方，作为世界–动作研究的共享、可复现基础，OpenWAM-\alpha 则作为强基线供进一步开发和比较。展望未来，这些发现指向 WAM 最有前景的几个方向：规模更大、种类更多且带精确动作标注的具身数据；既紧凑又对环境变化稳健的视觉表示；以及结合 WAM 与 VLA 互补优势的端到端设计。关于局限与未来工作的更详细讨论见附录 A。
解释
三个未来方向与第 5.3 节的三条要点一一对应：数据（要点 1）、表示（要点 2）、范式融合（要点 3）。
原文
Acknowledgements. We thank Nilaksh and Chuning Zhu for their helpful discussions. We thank Wuji Technology for providing compute resources, which are crucial for the completion of this project.
译文
致谢。感谢 Nilaksh 和 Chuning Zhu 的有益讨论。感谢 Wuji Technology 提供的算力资源，这对本项目的完成至关重要。
解释
致谢部分，无需进一步解释。灵巧手实验所用平台也是 Wuji 灵巧手。

参考文献

参考文献从略，见原文（原文第 27–33 页）。

附录总览

原文
This appendix provides supplementary analyses and implementation details supporting the main paper:
  • §A discusses limitations of our work and directions for future research.
  • §B documents the pretraining configuration and the dataset-specific SFT configurations used during post-training.
  • §C details the task setups and evaluation protocols of the real-world experiments.
  • §D reports the full per-benchmark simulation scores behind Figure 13.
译文
本附录提供支撑正文的补充分析和实现细节：
  • 附录 A 讨论本工作的局限以及未来研究方向。
  • 附录 B 记录预训练配置以及后训练阶段针对各数据集的 SFT 配置。
  • 附录 C 详述真机实验的任务设置与评测协议。
  • 附录 D 报告图 13 背后完整的逐基准仿真得分。
解释
附录的四部分分别对应正文的结论（A）、第 5.1–5.2 节（B）、第 5.4 节（C）和第 5.3 节（D）。D 节的大表是核对正文中各种“领先/接近领先”说法的原始依据。

A局限与未来工作

原文
While OpenWAM provides a fully-open, systematic exploration towards world–action model pretraining, it has several limitations and opens up interesting future directions worth exploring.
译文
尽管 OpenWAM 为世界–动作模型预训练提供了完全开放、系统的探索，它仍有若干局限，并开启了一些值得探索的有趣方向。
解释
以下四条分别从训练阶段、架构、数据和视觉编码器四个维度展开。
原文
1. Training phases. We mostly focus on the embodied pretraining phase of world–action modeling. Post-training and adaptation methods can lead to significant improvements for embodied foundation models, and the empirical recipe as well as underlying mechanisms for these methods remain open questions.
译文
1. 训练阶段。我们主要关注世界–动作建模的具身预训练阶段。后训练与适配方法可以显著提升具身基础模型，而这些方法的经验配方及其内在机制仍是悬而未决的问题。
解释
本文的下游适配只用了最朴素的逐基准 SFT（附录 B.2）。“后训练”在大语言模型领域包括指令微调、强化学习等；在机器人领域则可能包括基于真机交互的强化学习、在线纠错数据等，这些都没有涉及。
原文
2. Architecture. Across the six architecture variants currently supported by OpenWAM, we mostly explore modality fusion through cross-modality attention or hard-routed MoE. Drawing experience from the Unified Multimodal Model (UMM) community, we encourage future work to explore more native modality-fusion techniques, such as tokenization-phase early fusion and soft-routed MoE.
译文
2. 架构。在 OpenWAM 当前支持的六种架构变体中，我们主要探索了通过跨模态注意力或硬路由 MoE 的模态融合方式。借鉴统一多模态模型（Unified Multimodal Model, UMM）社区的经验，我们鼓励未来工作探索更原生的模态融合技术，例如分词阶段的早期融合和软路由 MoE。
解释
“硬路由 MoE”指按模态把 token 固定分给不同专家（视频 token 走视频 DiT、动作 token 走 ActionDiT），OpenWAM-\alpha 的双流结构本质上就是这种形式：两条流各有参数，只在注意力处交汇。“软路由 MoE”则让一个门控网络为每个 token 动态选择专家；“早期融合”是在分词阶段就把图像和动作编码进同一个词表/空间。这些是 UMM（如同时理解与生成图像的大模型）中常见的设计。
原文
3. Pretraining data mixture. We did not include UMI-style (e.g., UMI (Chi et al., 2024), DexUMI (Xu et al., 2025)) collected data. In theory, UMI-style data offers task and scene diversity comparable to human egocentric videos, which is a crucial component for out-of-domain generalization capabilities. Co-training with data that contain robot-executable actions but are diverse in scene and task level, which can either be collected through UMI-style interfaces or post-processing pipelines, may offer a more data-efficient path towards autonomous embodied machine intelligence. In addition, we look forward to further breakthroughs in simulation for embodied AI: simulation can natively generate robot manipulation data with diverse scenes and realistic motion trajectories, unconstrained by the time and labor costs of the physical world, and thus holds unbounded potential for scaling robot data by orders of magnitude.
译文
3. 预训练数据配比。我们没有纳入 UMI 式（例如 UMI（Chi 等，2024）、DexUMI（Xu 等，2025））采集的数据。理论上，UMI 式数据提供的任务与场景多样性可与人类第一人称视频相当，而这正是分布外泛化能力的关键要素。与那些带有机器人可执行动作、同时在场景和任务层面多样的数据联合训练——这类数据可以通过 UMI 式接口采集，也可以通过后处理流程获得——可能为实现自主具身机器智能提供一条数据效率更高的路径。此外，我们期待具身智能仿真取得进一步突破：仿真能够原生地生成场景多样、运动轨迹逼真的机器人操作数据，不受物理世界时间与人力成本的约束，因此在把机器人数据规模扩大几个数量级方面潜力无限。
解释
UMI（Universal Manipulation Interface）是一种手持夹爪采集设备：人拿着装有相机的夹爪在任意环境中操作，事后通过视觉 SLAM 还原末端轨迹，从而得到“带动作标签、场景又像人类视频一样多样”的数据。它正好填补本文数据的空白：第一人称视频场景多但无动作；机器人遥操作数据有动作但场景少。结合第 5.3.1 节要点 1（泛化取决于数据覆盖），作者认为这是提升 OOD 泛化的高效途径。
原文
4. Visual encoder. Weighing the compression of candidate encoders in both the temporal and the token dimension, we ultimately adopt Wan2.2-VAE as the final encoder of OpenWAM — a choice that reflects the best trade-off currently available rather than an optimal solution: our evaluations reveal that pixel-reconstruction encoders such as Wan2.2-VAE are not sufficiently robust to viewpoint, noise, and scene variations. A latent representation that is compact while carrying sufficient environment information is still needed to push WAM performance further, and merits deeper exploration.
译文
4. 视觉编码器。综合权衡候选编码器在时间维和 token 维上的压缩率，我们最终采用 Wan2.2-VAE 作为 OpenWAM 的最终编码器——这一选择反映的是目前可得的最佳折中，而非最优解：我们的评测表明，像 Wan2.2-VAE 这样的像素重建编码器对视角、噪声和场景变化不够稳健。要进一步提升 WAM 的性能，仍需要一种既紧凑又携带充分环境信息的潜表示，值得更深入的探索。
解释
这一条直接对应第 5.3.1 节 LIBERO-Plus 的失败分析（Camera 33.8、Noise 39.8）和要点 2。选择 Wan2.2-VAE 的理由是压缩率高（时间 4 倍、空间 16 倍），token 少、推理快；代价是潜变量“为重建像素而生”，对低层扰动敏感。

B训练细节

原文
This section documents the optimization and data-loading configurations used to train and adapt OpenWAM-\alpha. We organize the details into two stages: multi-domain pretraining and dataset-specific supervised fine-tuning (SFT) during post-training.
译文
本节记录训练和适配 OpenWAM-\alpha 所用的优化与数据加载配置，分为两个阶段：多领域预训练，以及后训练中针对各数据集的监督微调（SFT）。
解释
下面 B.1 对应表 9，B.2 对应表 10。

B.1预训练配置

原文
The key hyperparameters used for multi-domain pretraining are summarized in Table 9. Pretraining uses 16 nodes with eight NVIDIA H200 GPUs per node (128 GPUs in total) and takes approximately seven days. With 24 clips per GPU and no gradient accumulation, the global batch size is 3,072 clips per optimizer step. The source-level data budgets and realized mixture proportions are reported separately in Table 4.
译文
多领域预训练所用的关键超参数汇总于表 9。预训练使用 16 个节点、每节点 8 张 NVIDIA H200 GPU（共 128 张），耗时约七天。每张 GPU 24 个片段（clip）、不使用梯度累积，因此全局批大小为每个优化步 3072 个片段。各来源的数据预算和实际混合比例另见表 4。
解释
验算：16\times8=128 张 GPU，128\times24=3072。总训练量约 128\times24\times7\approx21{,}500 GPU 小时（H200）。
Table 9 / 表 9
ConfigurationValue
Compute16 nodes (128 NVIDIA H200 GPUs)
Training time\approx7 days
OptimizerAdamW
Batch size3,072 (24 per GPU)
Learning rate1\times10^{-4}
LR scheduleCosine; 5% warmup; minimum ratio 0.01
Weight decay0.01
Optimizer momentum\beta_1,\beta_2 = 0.9, 0.95
Training iterations155,862 (1 epoch)
Gradient clippingGlobal norm 1.0
Model precisionbfloat16
Distributed trainingDeepSpeed ZeRO Stage 2
Input clip33 frames; video stride 4; window stride 1
Image resolution384\times320
Multi-view inputEnabled
Image augmentationColorJitter(0.2, 0.2, 0.2, 0.0)
Flow shiftsVideo/action: 5.0/5.0
Loss weights\lambda_v = 1.0, \lambda_a = 1.0
Unified control space80-D action; 80-D proprioceptive state
原文
Table 9 Pretraining configuration for OpenWAM-\alpha.
译文
表 9 OpenWAM-\alpha 的预训练配置。
表 9 解读
左列为配置项，右列为取值。逐项说明：
  • 算力与时长：128 张 H200，约 7 天。
  • 优化器：AdamW，学习率 10^{-4}，余弦退火，前 5% 步数线性预热，最终学习率降到峰值的 1%（即 10^{-6}）；权重衰减 0.01；动量参数 \beta_1=0.9,\beta_2=0.95（\beta_2 取 0.95 而非默认 0.999，是大模型训练中提升稳定性的常见选择）。
  • 训练步数：155,862 步，恰好 1 个 epoch。155{,}862\times3072\approx4.79 亿个片段，与表 4 中 5.185 亿帧量级一致（窗口步长为 1，每个可作为起点的帧对应一个片段，扣除每段末尾放不下完整窗口的帧后略少于总帧数）。
  • 梯度裁剪、精度、并行：全局范数裁剪到 1.0；bf16 训练；DeepSpeed ZeRO-2（切分优化器状态与梯度）。
  • 输入片段：33 帧，帧间隔 4（即每 4 个原始帧取 1 帧，覆盖 32\times4=128 个原始帧，30 FPS 下约 4.3 秒），窗口步长 1。由第 5.1.1 节公式，33 帧对应 1+32/4=9 个潜帧。
  • 分辨率与多视角：画布 384\times320，多相机视角拼贴在这张画布内。
  • 数据增强：ColorJitter 的亮度、对比度、饱和度各 0.2，色相 0。
  • Flow shifts：视频、动作均为 5.0，即第 5.1.2 节时间步扭曲中的 \rho=5。
  • 损失权重：\lambda_v=\lambda_a=1，与第 5.1.2 节一致。
  • 统一控制空间：动作与本体感知状态都是 80 维。

B.2针对各数据集的 SFT 配置

原文
All downstream models are initialized from the same pretrained OpenWAM-\alpha checkpoint. Supervised fine-tuning keeps the pretraining configuration of Table 9 unchanged and differs only in the three benchmark-dependent settings summarized in Table 10: the global batch size, the number of training epochs or steps, and whether image augmentation is applied. Training length is given in epochs over the fine-tuning set, with the corresponding number of optimizer steps in parentheses, or directly in optimizer steps where no epoch-based schedule was used. Image augmentation, where enabled, is the same ColorJitter(0.2, 0.2, 0.2, 0.0) used in pretraining. LIBERO-Plus is evaluated with the LIBERO checkpoint without further fine-tuning.
译文
所有下游模型都从同一个预训练 OpenWAM-\alpha 检查点初始化。监督微调保持表 9 的预训练配置不变，只在表 10 汇总的三项与基准相关的设置上不同：全局批大小、训练轮数或步数、以及是否使用图像增强。训练长度以微调集上的 epoch 数给出，括号内为对应的优化步数；未使用按 epoch 调度时则直接给出优化步数。启用图像增强时，使用与预训练相同的 ColorJitter(0.2, 0.2, 0.2, 0.0)。LIBERO-Plus 直接使用 LIBERO 的检查点评测，不再额外微调。
解释
最后一句很重要：LIBERO-Plus 的训练数据就是 LIBERO，测试时加扰动，所以它是纯粹的零样本鲁棒性测试。这也解释了为什么 LIBERO（99.3）与 LIBERO-Plus（69.2）同一个检查点却差距悬殊。
Table 10 / 表 10
BenchmarkBatch sizeTraining Epochs / StepsAugmentation
Simulation benchmarks
LIBERO25610 epochs (10,690 steps)–
VLABench1966k stepsColorJitter
RoboTwin2.0-Full2565 epochs (118,655 steps)–
RoboTwin2.0-Clean2Random2565 epochs (10,740 steps)ColorJitter
RoboDojo25660k stepsColorJitter
RoboCasa3651,02460k stepsColorJitter
EBench256100k stepsColorJitter
RoboCasa-GR1256100k stepsColorJitter
Real-robot experiments
Single-arm (Franka-Research-3)25610 epochs (9,860 steps)–
Bimanual (RoboDojo real-world track)25630k stepsColorJitter
Dexterous hand (Wuji + Tianji)2565 epochs (10,925 steps)–
原文
Table 10 Dataset-specific SFT configuration for OpenWAM-\alpha. Settings not listed are identical to pretraining (Table 9); “–” denotes no image augmentation.
译文
表 10 OpenWAM-\alpha 针对各数据集的 SFT 配置。未列出的设置与预训练（表 9）相同；“–”表示不使用图像增强。
表 10 解读
列依次为：基准名称、全局批大小、训练长度（epoch 与对应步数，或直接给步数）、是否使用 ColorJitter 增强。上半为 8 个仿真基准（LIBERO-Plus 不单独微调），下半为三组真机实验。可读出的信息：
  • 数据集规模：由“步数/epoch \times 批大小”可估计微调集的片段数。LIBERO 每 epoch 1069 步 \times 256 \approx 27.4 万片段；RoboTwin2.0-Full 每 epoch 23,731 步 \times 256 \approx 607 万片段，是 Clean2Random（2148 步/epoch，约 55 万片段）的约 11 倍，因为 Full 包含大量随机化数据。
  • 增强的使用规律：涉及 OOD 或视觉变化的设置（Clean2Random、RoboDojo、EBench 等）大多开启颜色增强；LIBERO、RoboTwin2.0-Full 这类 ID 设置以及单臂、灵巧手真机实验不开启。
  • 批大小：多数为 256，RoboCasa365 用到 1024（数据量大、任务多），VLABench 为 196。
  • 训练长度差异很大：VLABench 只有 6k 步，EBench 与 RoboCasa-GR1 为 100k 步。

C真机评测协议

原文
This section details the real-world evaluation of Section 5.4: for each embodiment, we document the task setup and the corresponding evaluation protocol.
译文
本节详述第 5.4 节的真机评测：对每种本体，记录其任务设置和相应的评测协议。
解释
C.1 对应表 6（单臂），C.2 对应表 8（灵巧手），C.3 对应表 7（双臂 RoboDojo）。

C.1单臂真机实验

原文
Task Setup. We evaluate single-arm policies on the Franka-Research-3 platform using six real-world tabletop tasks, covering stacking, hanging, and drawer manipulation. The tasks use a Franka-Research-3 arm with a parallel gripper and RGB observation cameras, as shown in Figure 18. Each task is specified by a natural-language instruction and instantiated with a fixed physical scene: stacking tasks place two target objects on the tabletop, hanging tasks place the object and shelf in the workspace, and drawer tasks place the object on the table next to an upper drawer.
译文
任务设置。我们在 Franka-Research-3 平台上用六个真实桌面任务评测单臂策略，涵盖堆叠、悬挂和抽屉操作。任务使用配有平行夹爪和 RGB 观测相机的 Franka-Research-3 机械臂，如图 18 所示。每个任务由一条自然语言指令指定，并对应一个固定的物理场景：堆叠任务在桌面上放置两个目标物体；悬挂任务在工作空间中放置物体和挂架；抽屉任务把物体放在桌上、旁边是一个上层抽屉。
解释
“固定物理场景”说明单臂实验主要考察 ID 下的操作能力，而不是泛化。抽屉任务是两段式：先放物体，再推上抽屉，属于短时序的多步任务。
Table 11 / 表 11
TaskInstruction
Stack RingPick the yellow ring on the left side, stack it on the other ring.
Stack JengaPick the jenga on the left side, stack it on the other jenga.
Hang on CupPick the cup on the table, hang it on the shelf.
Hang on MPick the M-shaped object on the table, hang it on the shelf.
Put Chili in DrawerPick the chili on the table, put it into the drawer,
then push the upper drawer closed.
Put Jenga in DrawerPick up the jenga block on the table, put it into the drawer,
then push the upper drawer closed.
原文
Table 11 Task instructions used in the single-arm real-robot evaluation.
译文
表 11 单臂真机评测所用的任务指令。
表 11 解读
左列为任务名，右列为输入模型的英文指令原文。译文依次为：叠圆环——拿起左侧的黄色圆环，叠到另一个圆环上；叠积木——拿起左侧的积木，叠到另一块积木上；挂杯子——拿起桌上的杯子，挂到挂架上；挂 M 形件——拿起桌上的 M 形物体，挂到挂架上；辣椒入抽屉——拿起桌上的辣椒放进抽屉，然后推上上层抽屉；积木入抽屉——拿起桌上的积木放进抽屉，然后推上上层抽屉。指令都很具体（指明“左侧”“上层抽屉”），因为每个任务只有一个固定场景，语言主要起任务区分作用。
B_fig18.png
原文
Figure 18 Single-arm real-robot setup on the Franka-Research-3 platform. The workspace contains the drawer, stacking objects, and hanging fixtures used across the six tasks, while the robot is equipped with an Intel RealSense camera and a Robotiq parallel gripper for closed-loop execution.
译文
图 18 Franka-Research-3 平台上的单臂真机设置。工作空间包含六个任务所用的抽屉、堆叠物体和悬挂架；机器人配备一台 Intel RealSense 相机和一个 Robotiq 平行夹爪，用于闭环执行。
图 18 解读
左半部分是工作台全景：蓝色抽屉（上面放着红辣椒）、黄色杯子、两个黄色圆环、带木枝的挂架、黄色 M 形件，以及桌面前方的木质积木。右半部分是腕部放大图：橙色虚线框标出 Intel RealSense 455 相机，蓝色虚线框标出 Robotiq 夹爪。说明观测中包含腕部相机视角；结合图 19 的“左视角”说明，平台至少还有一个外部相机。
原文
The corresponding execution sequences are visualized in Figure 19, where each row contains six frames uniformly sampled from one rollout video of the task.
译文
相应的执行序列见图 19，每一行是从该任务的一段执行视频中均匀采样的六帧。
解释
图 19 用于直观展示成功执行的过程。
B_fig19.png
原文
Figure 19 Single-arm task execution sequences on the Franka-Research-3 platform. Each row shows one task, with six frames uniformly sampled from the corresponding left-view rollout video.
译文
图 19 Franka-Research-3 平台上的单臂任务执行序列。每行一个任务，六帧均匀采样自相应的左视角执行视频。
图 19 解读
六行自上而下分别是 Stack Ring、Stack Jenga、Hang on Cup、Hang on M、Put Chili in Drawer、Put Jenga in Drawer，每行标题为简化的指令。从左到右是时间顺序：接近物体 \rightarrow 抓取 \rightarrow 搬运 \rightarrow 放置/悬挂 \rightarrow 撤回。抽屉任务的后两三帧可以看到机械臂在推抽屉。该图没有定量信息，作用是说明任务流程与成功判据（例如“稳定叠放”“保持悬挂”“抽屉被推上”）。
原文
Evaluation Protocol. For each single-arm task, we fine-tune the policy with 100 task-specific real-robot demonstrations. After fine-tuning, each task is evaluated over 20 independent real-world trials, and we report the success rate as the number of successful trials out of 20 in Table 6. A stacking trial succeeds only if the left object is picked and stably stacked on the target object. A hanging trial succeeds only if the object is picked and remains hanging on the shelf. A drawer trial succeeds only if the object is placed inside the drawer and the upper drawer is pushed closed.
译文
评测协议。对每个单臂任务，我们用 100 条该任务的真机演示数据微调策略。微调后，每个任务进行 20 次独立的真实试验，表 6 报告的成功率即 20 次中成功的次数。堆叠试验只有在左侧物体被拿起并稳定叠放在目标物体上时才算成功；悬挂试验只有在物体被拿起并保持挂在挂架上时才算成功；抽屉试验只有在物体被放进抽屉且上层抽屉被推上时才算成功。
解释
六个任务共 600 条演示。与表 10 对照：单臂 SFT 共 10 个 epoch、9860 步、批大小 256，即每 epoch 986 步 \times 256 \approx 25 万个片段，说明 600 条演示被切成了大量重叠的时间窗口（窗口步长为 1）。判据都要求“稳定结果”（叠稳、挂住、抽屉关上），而不只是完成了抓取动作。

C.2灵巧手真机实验

原文
Task Setup. We evaluate dexterous-hand policies on four real-world manipulation tasks: Stack Toy Tower, Collect Shuttlecocks, Twist off Bottle Cap, and Put Away Clothes. Each task is specified by a natural-language instruction that defines the desired manipulation objective. The task instructions are summarized in Table 12.
译文
任务设置。我们在四个真实操作任务上评测灵巧手策略：搭玩具塔（Stack Toy Tower）、收集羽毛球（Collect Shuttlecocks）、拧瓶盖（Twist off Bottle Cap）和收纳衣物（Put Away Clothes）。每个任务由一条定义目标的自然语言指令指定，指令汇总见表 12。
解释
四个任务分别侧重：有序多步（按大小顺序套圆盘）、重复拾取（多个羽毛球）、手指精细与双手协作（一手握瓶一手拧盖）、可变形物体（衣物）。
Table 12 / 表 12
TaskInstruction
Stack Toy TowerStack the discs onto the tower pole in order from largest to smallest.
Collect ShuttlecocksPut all the shuttlecocks into the shuttlecock tube.
Twist off Bottle CapTwist off the bottle cap.
Put Away ClothesPick up the clothes from the pile on the table and put them into the basket.
原文
Table 12 Task instructions used in the real-world evaluation.
译文
表 12 真机评测所用的任务指令。
表 12 解读
译文依次为：按从大到小的顺序把圆盘套到塔柱上；把所有羽毛球放进羽毛球筒；拧下瓶盖；从桌上的衣物堆中拿起衣服放进篮子。与单臂指令相比，这些指令更抽象，不指定具体位置（“所有”羽毛球、衣物“堆”），因为 OOD 条件下物体数量与布局会变化。
原文
All experiments are conducted on a physical dexterous-hand platform. The robot receives the task instruction and executes the manipulation autonomously in the corresponding scene. Figure 20 shows the physical robot, dexterous hand, workspace, camera viewpoint, and representative objects used in the evaluation.
译文
所有实验都在一个实体灵巧手平台上进行。机器人接收任务指令后，在对应场景中自主执行操作。图 20 展示了评测所用的实体机器人、灵巧手、工作空间、相机视角和代表性物体。
解释
即正文所说的 Wuji 灵巧手 + Tianji 机械臂平台。
B_fig20.png
原文
Figure 20 Real-world experimental setup. The figure shows the physical dexterous-hand platform, the workspace, the observation camera, and representative objects for the four manipulation tasks.
译文
图 20 真机实验设置。图中展示实体灵巧手平台、工作空间、观测相机以及四个操作任务的代表性物体。
图 20 解读
画面中央是双臂人形上身：两条白色机械臂（Tianji）末端各装一只黑色五指灵巧手（Wuji），腕部各有一台小相机，顶部红色支架上有一台俯视相机。桌面上从左到右是四个任务的道具：彩色圆盘与螺旋塔柱（搭玩具塔）、装满叠好衣物的收纳筐（收纳衣物）、红色羽毛球筒与羽毛球（收集羽毛球）、几个塑料水瓶（拧瓶盖）。双臂各配一只灵巧手，说明这个本体的动作是“双臂 \times（9 维末端位姿 + 21 维手指）”，恰好可以分别填入统一动作空间的左右两个 34 维手臂槽位。
原文
For each task, we evaluate the policy under an in-distribution (ID) condition and several out-of-distribution (OOD) conditions. The OOD conditions modify one factor at a time, including object identity, object layout, illumination, or background appearance, while preserving the task instruction and the overall manipulation objective. The task execution sequence and the corresponding ID/OOD configurations are illustrated in Figure 21.
译文
对每个任务，我们在一个分布内（ID）条件和若干分布外（OOD）条件下评测策略。OOD 条件每次只改变一个因素，包括物体种类、物体布局、光照或背景外观，同时保持任务指令和总体操作目标不变。任务执行序列及相应的 ID/OOD 配置见图 21。
解释
“每次只改一个因素”是控制变量设计，能定位模型对哪类变化敏感。不过表 8 的 OOD 列把所有变化设置汇总成一个数，正文没有给出逐因素结果。
B_fig21.png
原文
Figure 21 Task execution sequences and evaluation conditions. Each row illustrates the main manipulation stages of one task, while the columns show the corresponding ID scene and OOD variations. OOD conditions include changes in object identity, object layout, illumination, and background appearance.
译文
图 21 任务执行序列与评测条件。每行展示一个任务的主要操作阶段，各列展示对应的 ID 场景与 OOD 变化。OOD 条件包括物体种类、物体布局、光照和背景外观的变化。
图 21 解读
左侧大框（In Domain）中，四行依次为 Toy Tower（搭玩具塔）、Badminton（收集羽毛球）、Bottle（拧瓶盖）、Cloth（收纳衣物），每行五帧展示 ID 场景下的执行过程。右侧窄框（Out Of Domain）每行给一张 OOD 示例图：Toy Tower 对应 Layout（物体布局改变），Badminton 对应 Background（换成绿色等不同背景），Bottle 对应 Object（换成不同的瓶子），Cloth 对应 Light（暗光、彩色灯光）。注意右列每行只画了一种代表性变化，并不表示每个任务只有这一种 OOD 条件（正文说“若干 OOD 条件”）。
原文
Evaluation Protocol. Each task is evaluated over multiple independent trials under both ID and OOD conditions. We report two complementary metrics: the progress score (Score) and the final success rate (SR).
译文
评测协议。每个任务都在 ID 和 OOD 条件下进行多次独立试验。我们报告两个互补的指标：进度分（Score）和最终成功率（SR）。
解释
两个指标的定义见下面两段。
原文
Final Success Rate. A trial is counted as a final success only when the complete task objective is achieved. The final success rate is computed as
S_{\text{final}}=\frac{N_{\text{success}}}{N_{\text{trial}}}\times 100\%,
where N_{\text{success}} is the number of trials satisfying the complete task criterion and N_{\text{trial}} is the total number of valid trials.Progress Score. The progress score measures the fraction of required manipulation elements that are successfully completed, regardless of whether the final task state is achieved. For trial i, let n_i denote the number of successfully completed elements and m_i denote the total number of elements present in that trial. The progress score is computed as
S_{\text{process}}=\frac{\sum_i n_i}{\sum_i m_i}\times 100\%.
译文
最终成功率。只有当完整的任务目标达成时，一次试验才计为最终成功。最终成功率按下式计算：
S_{\text{final}}=\frac{N_{\text{success}}}{N_{\text{trial}}}\times 100\%,
其中 N_{\text{success}} 是满足完整任务判据的试验次数，N_{\text{trial}} 是有效试验的总次数。进度分。进度分衡量所需操作要素中被成功完成的比例，无论最终任务状态是否达成。对第 i 次试验，令 n_i 为成功完成的要素数，m_i 为该次试验中存在的要素总数。进度分按下式计算：
S_{\text{process}}=\frac{\sum_i n_i}{\sum_i m_i}\times 100\%.
解释
进度分是“先把所有试验的分子分母分别加总再相除”（微平均），而不是每次试验算一个比例再取平均。这样要素多的试验权重更大。用表 8 验算：Stack Toy Tower 每次 3 个圆盘、10 次试验，\sum m_i=30；OpenWAM-\alpha ID 列为 21/30，即 S_{\text{process}}=70.0\%，同时 4/10 次全部套完，S_{\text{final}}=40\%。Collect Shuttlecocks 每次 2–4 个羽毛球，所以 ID 列的分母是 35 而不是 10 的整数倍；OOD 列两个模型分母不同（54 与 57），说明两模型实际摆放的羽毛球总数不完全相同，也就是试验条件并未逐次严格对齐，这是原文未解释的小瑕疵。
原文
Task-Specific Criteria.
  • Collect Shuttlecocks. Each trial contains two to four shuttlecocks on the tabletop. A trial is counted as a final success only when all shuttlecocks are placed into the shuttlecock tube. The progress score is the fraction of shuttlecocks successfully placed into the tube.
  • Stack Toy Tower. Each trial contains three discs. A trial is counted as a final success only when all three discs are successfully inserted onto the tower pole in descending order of size. The progress score is the fraction of discs successfully inserted.
  • Put Away Clothes. Each trial contains three to four pieces of clothing. A trial is counted as a final success only when all pieces of clothing are placed into the basket. The progress score is the fraction of clothing items successfully placed into the basket.
  • Twist off Bottle Cap. A trial is counted as a final success when the bottle cap is fully twisted off and the robot maintains a stable grasp of the bottle or cap. The progress score records whether the cap is successfully twisted off, regardless of whether the final stable grasp is achieved.
译文
各任务判据。
  • 收集羽毛球。每次试验桌面上有 2–4 个羽毛球。只有当所有羽毛球都被放进球筒时才算最终成功。进度分为成功放进球筒的羽毛球比例。
  • 搭玩具塔。每次试验有 3 个圆盘。只有当 3 个圆盘都按尺寸从大到小的顺序成功套到塔柱上时才算最终成功。进度分为成功套上的圆盘比例。
  • 收纳衣物。每次试验有 3–4 件衣物。只有当所有衣物都被放进篮子时才算最终成功。进度分为成功放进篮子的衣物比例。
  • 拧瓶盖。当瓶盖被完全拧下且机器人稳定地握住瓶子或瓶盖时，才算最终成功。进度分只记录瓶盖是否被成功拧下，不论最终是否稳定握持。
解释
与表 8 对照：收纳衣物 ID 列分母 30、10 次试验，平均每次 3 件；OOD 列分母 60、20 次试验，同样每次 3 件。拧瓶盖每次只有 1 个要素（拧下与否），所以分母等于试验次数（ID 10、OOD 20），OpenWAM-\alpha ID 列 10/10 拧下、7/10 拧下且握稳。由此可见，进度分与成功率之差反映了“完成了主要动作但最后一步失败”的比例。

C.3双臂真机实验

原文
We conduct a comprehensive evaluation on all 18 tasks of RoboDojo-Real, using the official real-robot evaluation platform provided by the RoboDojo team and covering its three bimanual embodiments: ARX X5, Piper, and Piper X. The evaluation strictly follows the unified protocol defined by the official evaluation team; detailed documentation of the platform and its task specifications is available on the RoboDojo website (https://robodojo-benchmark.com/) and in the accompanying official documentation (https://robodojo-benchmark.com/doc/real-tasks/).
译文
我们使用 RoboDojo 团队提供的官方真机评测平台，在 RoboDojo-Real 的全部 18 个任务上进行全面评测，涵盖其三种双臂本体：ARX X5、Piper 和 Piper X。评测严格遵循官方评测团队制定的统一协议；平台及任务规范的详细文档见 RoboDojo 网站（https://robodojo-benchmark.com/）及配套的官方文档（https://robodojo-benchmark.com/doc/real-tasks/）。
解释
双臂实验由第三方官方平台执行，作者只提交模型，因此本文不再重复任务细节。表 7 中的进度分与成功率均由官方协议给出；对应的 SFT 配置为表 10 中“30k 步、批大小 256、开启 ColorJitter”。

D逐基准仿真结果

原文
The tables below report the full per-benchmark scores summarized in Figure 13, except for LIBERO-Plus, whose scores are already reported in Table 5 of the main text. Within each table the baselines are grouped as VLA or WAM; bold denotes the best value and underline the second best.
译文
下面各表报告图 13 所汇总的完整逐基准得分；LIBERO-Plus 的得分已在正文表 5 中给出，此处不再重复。每张表中基线分为 VLA 和 WAM 两组；粗体表示最优值，下划线表示次优值。
解释
这些表是图 13、图 14、图 16 中所有柱子的数据来源。下面每张表都给出列含义、OpenWAM-\alpha 的排名，以及与正文说法的核对。各表最后一行均为 OpenWAM-\alpha；“–”表示该基线未报告此项。
Table 13 / 表 13
SpatialObjectGoalLongAvg
VLA
OpenVLA (Kim et al., 2024)84.788.479.253.776.5
\pi_0 (Black et al., 2024)98.096.894.488.494.4
StarVLA (Community, 2026)97.898.696.293.896.6
\pi_{0.5} (Physical Intelligence et al., 2025)98.898.298.092.496.9
GR00T-N1.6 (NVIDIA et al., 2025)97.798.597.594.497.0
OpenVLA-OFT (Kim et al., 2025)97.698.497.994.597.1
X-VLA (Zheng et al., 2026b)98.298.697.897.698.1
ABot-M0 (Yang et al., 2026b)98.899.899.096.698.6
Being-H0.5 (Luo et al., 2026a)99.299.699.497.498.9
Qwen-RobotManip (Yuan et al., 2026a)––––99.2
WAM
Fast-WAM (Yuan et al., 2026b)98.2100.097.095.297.6
Motus (Bi et al., 2026)96.899.896.697.697.7
ImageWAM (Zhang et al., 2026c)97.299.298.898.498.4
LingBot-VA (Li et al., 2026b)98.599.697.298.598.5
DiT4DiT (Ma et al., 2026)––––98.6
Being-H0.7 (Luo et al., 2026b)––––99.2
ABot-M0.5 (Chen et al., 2026a)100.099.899.498.499.4
OpenWAM-\alpha99.699.699.898.299.3
原文
Table 13 Evaluation Results on LIBERO. Bold denotes best values, underline second best.
译文
表 13 LIBERO 上的评测结果。粗体为最优，下划线为次优。
表 13 解读
LIBERO 的四个任务套件各 10 个任务，列为各套件成功率（%）：Spatial（同样物体、不同空间布局）、Object（不同物体）、Goal（同一场景、不同目标）、Long（LIBERO-10 长时域多步任务），Avg 为四者平均。OpenWAM-\alpha 平均 99.3，仅次于 ABot-M0.5 的 99.4，与 Qwen-RobotManip、Being-H0.7（均 99.2）基本持平；Goal 套件 99.8 为全表最高。这个榜单已经饱和：前十名都在 98–99.4 之间，差距在 1–2 次试验的量级，区分度很低。OpenVLA（76.5）与 \pi_0（94.4）则显示早期模型在 Long 套件上的明显短板（53.7、88.4），而 OpenWAM-\alpha 的 Long 为 98.2。这张表支撑了正文“ID 上 WAM 拟合更好”中 LIBERO 的那一项（图 16b）。
Table 14 / 表 14
In-dist.CategoryCommonsenseInstructionTextureAvg
SRPSISSRPSISSRPSISSRPSISSRPSISSRPSIS
VLA
\pi_0 (Black et al., 2024)47.062.767.821.233.644.029.143.054.917.338.758.032.242.550.629.444.155.0
LoHo-Manip (Liu et al., 2026a)54.0––23.0––36.0––42.0––39.0––39.0––
ACoT-VLA (Zhong et al., 2026)–66.179.8–38.954.1–37.852.3–39.656.8–54.674.6–47.463.5
\pi_{0.5} (Physical Intelligence et al., 2025)65.477.880.438.249.752.043.957.360.048.264.267.044.962.365.048.162.364.9
ERVLA (Sun et al., 2026)69.781.184.247.061.066.444.055.057.258.070.273.847.462.370.653.265.970.4
Xiaomi-Robotics-1 (Team et al., 2026b)75.685.079.853.066.666.448.458.358.255.866.870.262.674.974.859.170.369.9
WAM
Bridge-WA (Bai et al., 2026)78.085.885.023.028.839.051.164.474.267.080.382.045.060.376.052.864.071.2
OpenWAM-\alpha83.487.975.238.145.945.958.064.857.953.864.566.561.472.971.658.967.263.5
原文
Table 14 Evaluation Results on VLABench. Bold denotes best values, underline second best.
译文
表 14 VLABench 上的评测结果。粗体为最优，下划线为次优。
表 14 解读
列结构：六组维度，每组三个指标。维度：In-dist.（分布内）、Category（未见物体类别）、Commonsense（需要常识推理的指令）、Instruction（语义更复杂/改写的指令）、Texture（未见纹理外观）、Avg（平均）。指标：SR（成功率）、PS（进度分，按子目标完成度给分）、IS（意图分，衡量是否朝着正确物体/目标行动，即“意图对了没有”）。关键数字：OpenWAM-\alpha 平均 SR 58.9（第二，仅次于 Xiaomi-Robotics-1 的 59.1）、PS 67.2（第二）；In-dist. SR 83.4 与 PS 87.9 均为全表最高，Commonsense SR 58.0 也是最高。弱项是 Category（SR 38.1，远低于 Xiaomi 的 53.0），说明对未见物体类别的泛化不足；IS 普遍偏低（平均 63.5，Bridge-WA 为 71.2），即失败时更常“选错目标”。另一个 WAM——Bridge-WA 在 IS 上几乎全面最好，但 Category SR 只有 23.0。与正文核对：图 16b 中 VLABench 分布内 SR 的“83.4 vs. 75.6/69.7/65.4”来自本表 In-dist. SR 列；图 14 的 58.9 vs. 59.1 来自 Avg SR 列。
Table 15 / 表 15
CleanRandomizedAvg
VLA
StarVLA (Community, 2026)46.53.224.9
GR00T-N1.7 (NVIDIA et al., 2025)43.620.732.2
X-VLA (Zheng et al., 2026b)68.020.944.5
Spatial Forcing (Li et al., 2026a)77.226.752.0
ABot-M0 (Yang et al., 2026b)70.736.053.4
\pi_{0.5} (Physical Intelligence et al., 2025)70.746.058.4
GigaBrain-0.7 (Team et al., 2026a)66.867.967.4
Qwen-RobotManip (Yuan et al., 2026a)84.769.477.1
WAM
AHA-WAM (Cai et al., 2026b)64.33.233.8
Fast-WAM (Yuan et al., 2026b)77.81.939.9
X-WAM (Guo et al., 2026)70.025.847.9
4D-WAM (Yang et al., 2026a)81.541.861.7
OpenWAM-\alpha89.448.769.0
原文
Table 15 Evaluation Results on RoboTwin2.0-Clean2Random. Bold denotes best values, underline second best.
译文
表 15 RoboTwin2.0-Clean2Random 上的评测结果。粗体为最优，下划线为次优。
表 15 解读
所有模型只在干净（Clean）场景数据上微调；Clean 列是在干净场景测试（ID），Randomized 列是在随机化场景测试（OOD），Avg 为二者平均。关键数字：OpenWAM-\alpha 的 Clean 成功率 89.4 为全表最高，Randomized 48.7 排第三（低于 Qwen-RobotManip 69.4 和 GigaBrain-0.7 67.9），平均 69.0 排第二。这张表最能体现“WAM 拟合好、泛化差”的规律：几乎所有 WAM 的 Clean–Randomized 落差都很大——Fast-WAM 77.8 \rightarrow 1.9、AHA-WAM 64.3 \rightarrow 3.2、OpenWAM-\alpha 89.4 \rightarrow 48.7；而 GigaBrain-0.7 两列几乎相同（66.8/67.9），说明其预训练已覆盖了随机化带来的视觉变化。OpenWAM-\alpha 在 WAM 中 Randomized 最高（比 4D-WAM 高 6.9），对应正文“最强的 WAM”。
Table 16 / 表 16
CleanRandomizedAvg
VLA
X-VLA (Zheng et al., 2026b)72.8072.8472.82
\pi_{0.5} (Physical Intelligence et al., 2025)82.7076.8079.75
ABot-M0 (Yang et al., 2026b)86.0685.0885.57
Qwen-VLA (Wang et al., 2026a)86.1087.2086.65
StarVLA (Community, 2026)88.1888.3288.25
Galaxea G0.5 (Liu et al., 2026b)93.7092.8093.25
Qwen-RobotManip (Yuan et al., 2026a)93.7094.0093.85
WAM
Motus (Bi et al., 2026)88.6687.0287.84
Fast-WAM (Yuan et al., 2026b)91.9091.8091.85
LingBot-VA (Li et al., 2026b)92.9391.5592.24
ImageWAM (Zhang et al., 2026c)93.2093.5693.38
LingBot-VA 2.0 (Zhang et al., 2026b)93.8093.4093.60
ABot-M0.5 (Chen et al., 2026a)94.0094.2094.10
OpenWAM-\alpha93.7493.4693.60
原文
Table 16 Evaluation Results on RoboTwin2.0-Full. Bold denotes best values, underline second best.
译文
表 16 RoboTwin2.0-Full 上的评测结果。粗体为最优，下划线为次优。
表 16 解读
与表 15 相同的任务集，但微调数据同时包含干净和随机化场景，所以 Clean 与 Randomized 两列都属于分布内。关键数字：OpenWAM-\alpha 平均 93.60，与 LingBot-VA 2.0 并列，排在 ABot-M0.5（94.10）和 Qwen-RobotManip（93.85）之后，第一名与第四名之间只差 0.5 分。与表 15 对比可以看出：一旦训练见过随机化数据，几乎所有模型 Clean 与 Randomized 的差距都缩到 1 分以内（\pi_{0.5} 例外，差 5.9），这说明表 15 中 Randomized 的大幅下降确实来自分布偏移，而非任务本身难度。WAM 整体在这里略优于 VLA（WAM 前三 94.10/93.60/93.60 vs. VLA 前三 93.85/93.25/88.25），与“ID 上 WAM 拟合更好”一致。
Table 17 / 表 17
Gen-StdGen-RandPrecisionLong-HorizonMemoryOpenAvg
SRScoreSRScoreSRScoreSRScoreSRScoreSRScoreSRScore
VLA
StarVLA-\alpha (Ye et al., 2026b)5.007.540.000.334.339.906.5014.152.443.340.580.683.246.40
X-VLA (Zheng et al., 2026b)12.0017.901.003.0412.0018.329.7516.533.564.760.500.556.5210.13
\pi_{0.5} (Physical Intelligence et al., 2025)15.0020.931.005.825.5012.4014.6723.544.565.781.671.986.9111.41
Spatial Forcing (Li et al., 2026a)15.0021.254.006.9810.5817.3314.5823.264.115.431.581.788.0412.38
Hy-Embodied-0.5-VLA (Zhang et al., 2026a)17.0021.980.001.578.0013.8114.9225.7412.1113.370.580.658.8013.07
Xiaomi-Robotics-1 (Team et al., 2026b)28.0035.656.0011.4418.8326.6923.6738.396.567.813.583.9413.9320.07
Galaxea G0.5 (Liu et al., 2026b)20.0026.746.0011.1620.4228.2532.2544.127.338.611.581.7314.8820.23
DM0.5 (Dexmal, 2026)18.0023.494.008.0616.7524.8219.5033.7047.4447.742.082.4319.3424.90
WAM
Fast-WAM (Yuan et al., 2026b)2.004.330.000.340.001.965.179.143.443.550.420.422.033.48
AHA-WAM (Cai et al., 2026b)6.0010.320.001.262.425.862.678.612.782.970.830.882.394.82
GigaWorld-Policy (Ye et al., 2026a)6.0010.280.000.411.836.158.9215.512.223.460.500.543.276.20
X-WAM (Guo et al., 2026)5.0011.241.003.541.836.729.0817.474.676.320.250.573.837.69
OpenWAM-\alpha25.5633.164.118.269.2518.4525.3334.939.1110.411.081.4111.9217.18
原文
Table 17 Evaluation Results on RoboDojo. Bold denotes best values, underline second best.
译文
表 17 RoboDojo（仿真）上的评测结果。粗体为最优，下划线为次优。
表 17 解读
列结构：RoboDojo 仿真赛道把任务按能力维度分为六类，每类报告 SR（成功率）与 Score（进度分）：Gen-Std（标准泛化测试集）、Gen-Rand（随机化泛化测试集）、Precision（高精度操作）、Long-Horizon（长时域）、Memory（需要记住先前观测的任务）、Open（开放式、训练中未出现的任务）；Avg 为平均。关键数字：这是全部仿真榜单中最难的一个，最强的 DM0.5 平均 SR 也只有 19.34。OpenWAM-\alpha 平均 SR 11.92 / Score 17.18，在全部模型中排第四（低于 DM0.5 19.34、Galaxea G0.5 14.88、Xiaomi-Robotics-1 13.93），但比其他 WAM（最高的 X-WAM 3.83）高约 3 倍，对应正文“与最强 VLA 仍有差距，但为最强 WAM、领先明显”。分项看：Gen-Std（25.56）与 Long-Horizon（25.33）的 SR 均为第二，属于强项；Precision（9.25）、Memory（9.11）和 Open（1.08）偏弱。DM0.5 的高平均分主要来自 Memory 一项（47.44，其他模型不超过 12.11），可见它很可能有专门的记忆机制，而 OpenWAM-\alpha 只以当前一帧为条件（第 5.1.1 节），天然不擅长记忆类任务。与正文核对：图 16b 的 RoboDojo Gen-Std SR 中 OpenWAM-\alpha 25.56、Xiaomi 28.00、Galaxea 20.00、DM0.5 18.00，与本表一致；Hy-Embodied-0.5-VLA 的 Gen-Std SR 为 17.00，排在 DM0.5 之后，因此图 16b 列出的前三名与本表一致。图 16c 的 Open SR（1.08 vs. 3.58/2.08/1.67）同样来自本表。
Table 18 / 表 18
Table TopSimple PnPLong HorizonOverall
SRScoreSRScoreSRScoreSRScore
VLA
StarVLA-OFT (Community, 2026)––––––0.00.2
\pi_0 (Black et al., 2024)15.730.035.039.017.041.023.637.0
X-VLA (Zheng et al., 2026b)8.624.050.054.06.225.023.736.0
InternVLA-A1 (Cai et al., 2026a)4.311.043.047.017.946.023.936.0
\pi_{0.5} (Physical Intelligence et al., 2025)12.932.045.050.018.139.027.141.0
GigaBrain-0.7 (Team et al., 2026a)––––––33.346.0
Qwen-RobotManip (Yuan et al., 2026a)50.070.056.560.029.955.045.660.0
WAM
Fast-WAM (Yuan et al., 2026b)––––––4.77.6
OpenWAM-\alpha30.044.267.572.044.372.649.464.7
原文
Table 18 Evaluation Results on EBench. Bold denotes best values, underline second best.
译文
表 18 EBench 上的评测结果。粗体为最优，下划线为次优。
表 18 解读
EBench 是移动双臂基准，任务分三类：Table Top（桌面操作）、Simple PnP（简单抓取放置）、Long Horizon（长时域多步任务），Overall 为总体；每类报告 SR 与 Score。关键数字：OpenWAM-\alpha 总体 SR 49.4、Score 64.7，均为全表第一，比第二名 Qwen-RobotManip（45.6 / 60.0）高 3.8 / 4.7，即正文“SR 和 Score 都领先约 4 分”。优势主要来自 Simple PnP（67.5 vs. 56.5）和 Long Horizon（44.3 vs. 29.9，高 14.4）；Table Top 则明显落后（30.0 vs. 50.0）。唯一另一个 WAM——Fast-WAM 总体只有 4.7，说明没有具身预训练的 WAM 在移动双臂上几乎无法工作，而 OpenWAM-\alpha 的预训练数据（AgiBot、RoboCOIN）恰好富含移动双臂数据，印证了要点 1。
Table 19 / 表 19
AtomicComp.-SeenComp.-UnseenAvg
VLA
Diffusion Policy (Chi et al., 2025)15.70.21.36.1
\pi_0 (Black et al., 2024)36.35.20.715.0
\pi_{0.5} (Physical Intelligence et al., 2025)39.67.11.216.9
GR00T-N1.5 (NVIDIA et al., 2025)50.714.82.723.9
Qwen-RobotManip (Yuan et al., 2026a)68.620.114.935.9
RLDX-1 (Kim et al., 2026a)67.627.98.536.0
Xiaomi-Robotics-1 (Team et al., 2026b)80.257.132.157.4
WAM
GigaWorld-Policy (Ye et al., 2026a)44.411.82.920.7
ABot-M0.5 (Chen et al., 2026a)75.938.32.740.4
OpenWAM-\alpha69.732.18.938.2
原文
Table 19 Evaluation Results on RoboCasa365. Bold denotes best values, underline second best.
译文
表 19 RoboCasa365 上的评测结果。粗体为最优，下划线为次优。
表 19 解读
RoboCasa365 是移动单臂厨房场景基准，列为成功率（%）：Atomic（原子任务，如开门、按按钮）、Comp.-Seen（训练中见过的组合任务）、Comp.-Unseen（未见过的组合任务）、Avg（平均）。关键数字：OpenWAM-\alpha 平均 38.2，全表第三，在 Xiaomi-Robotics-1（57.4）与 ABot-M0.5（40.4）之后。与 Xiaomi 的差距（19.2 分）在三列中都很大，尤其是 Comp.-Unseen（8.9 vs. 32.1）。所以正文把 RoboCasa365 归入“与最优模型只有微小差距”一类并不准确；更恰当的说法是“领先大多数基线，但明显落后于最强 VLA”。另一方面，所有模型在 Comp.-Unseen 上都很低（多数在 10 以下），说明未见组合任务的泛化仍是普遍难题。
Table 20 / 表 20
SR (%)
VLA
\pi_0 (Black et al., 2024)13.6
\pi_{0.5} (Physical Intelligence et al., 2025)37.0
GR00T-N1.5 (NVIDIA et al., 2025)48.0
StarVLA (Community, 2026)48.8
GR00T-N1.6 (NVIDIA et al., 2025)49.9
VP-VLA (Wang et al., 2026c)53.8
Being-H0.5 (Luo et al., 2026a)53.9
Qwen-VLA-Instruct (Wang et al., 2026a)56.7
RLDX-1 (Kim et al., 2026a)58.7
PhysBrain 1.0 (Lin et al., 2026b)64.5
WAM
UWM (Zhu et al., 2025)20.0
Being-H0.7 (Luo et al., 2026b)49.2
DiT4DiT (Ma et al., 2026)50.8
LDA-1B (Lyu et al., 2026)55.4
OpenWAM-\alpha60.5
原文
Table 20 Evaluation Results on RoboCasa-GR1. Bold denotes best values, underline second best.
译文
表 20 RoboCasa-GR1 上的评测结果。粗体为最优，下划线为次优。
表 20 解读
RoboCasa-GR1 使用 Fourier GR1 人形机器人（带灵巧手）完成桌面操作，只报告平均成功率一列。关键数字：OpenWAM-\alpha 为 60.5，全表第二，仅次于 PhysBrain 1.0（64.5），比最强的其他 WAM（LDA-1B 55.4）高 5.1，比 GR00T-N1.6（49.9）高 10.6。这与正文“灵巧手基准上位于第一梯队”的说法相符，也与 OpenWAM-\alpha 预训练数据中包含灵巧手数据（AgiBot、RoboCOIN）一致。图 14 中 RoboCasa-GR1 的 VLA 前三（64.5/58.7/56.7）与 WAM 前三（55.4/50.8/49.2）均取自本表。
解释
附录 D 总结。把表 13–20 与表 5 合起来看，OpenWAM-\alpha 在九个榜单上的排名（含所有 VLA 与 WAM）大致为：LIBERO 第 2、RoboTwin2.0-Full 并列第 3、VLABench 第 2、RoboCasa-GR1 第 2、EBench 第 1、RoboTwin2.0-Clean2Random 第 2、RoboCasa365 第 3、RoboDojo 第 4、LIBERO-Plus 在 13 个模型中排第 11。在 WAM 内部，它在 EBench、Clean2Random、RoboDojo、RoboCasa-GR1、VLABench（平均 SR）上排第一。正文的总体判断基本成立，但 RoboCasa365 上“微小差距”的说法偏乐观。