VPP2 · 视频预测策略 2：预测得更好，动作得更好

视频预测策略 2：预测得更好，动作得更好 Video Prediction Policy 2: Predict Better, Act Better Yanjiang Guo^{1,2,*}, Haodong Yan^{1,3,*}, Zhide Zhong^{1,3,*}, Zhongru Zhang^{2,*}, Qingyuan Yang^{1,2,*}, Qingzhou Lu^{1,2}, Xiaoyu Chen^{2}, Yen-Jen Wang^{4}, Shuying Deng^{1,2,4}, Chenghan Yang^{2}, Puzhen Yuan^{1,2}, Chenxin Liu^{1,2}, Tun Ban^{1,5}, Xiang Zhu^{1,2}, Yichen Liu^{1,2}, Kun Feng^{1,2}, Haoang Li^{3}, Jianyu Chen^{1,2} ^{*}共同第一作者（Equal Contribution） ^{1}RobotEra（星动纪元） ^{2}清华大学 ^{3}香港科技大学（广州） ^{4}加州大学伯克利分校 ^{5}上海交通大学 arXiv:2610.10270v3 [cs.CV]，2026 年 10 月 13 日项目主页：https://robert-gyj.github.io/video-prediction-policy-2代码：https://github.com/roboterax/video-prediction-policy-2

文档说明：本文档对论文逐段给出“原文 / 译文 / 解释”三栏。图片为原 PDF 裁剪图，表格按原文数据重排。参考文献列表不翻译，见原文。

目录导读一、这篇论文要解决什么问题二、核心方法一览三、主要结论四、读懂本文需要的背景知识摘要（Abstract）1 引言（Introduction）2 数据处理流程（Data Processing Pipeline）3 VPP2：具备零样本能力的通用策略3.1 视频预测模型训练流程（Video Prediction Model Training Pipeline）3.2 动作建模（Action Modeling）3.3 用于高层规划的 VLM（VLM for High-level Planning）4 实验（Experiments）4.1 视频预测质量分析（Video Prediction Quality Analysis）4.2 策略性能分析（Policy Performance Analysis）5 相关工作（Related Works）6 结论（Conclusion）致谢（Acknowledgments）AI 使用声明（AI Use Statement）可复现性声明（Reproducibility Statement）参考文献（References）A 数据集处理细节（Dataset Process Details）A.1 视频描述（Video Captioning）A.2 统一动作空间（Unified Action Space）B 更多视频预测结果（More Video Prediction Results）C 详细基准结果（Detailed Benchmark Results）C.1 LIBERO-ID：分套件成功率（Per-Suite Success Rates）C.2 LIBERO-Pro：分套件—分扰动结果（Suite-by-Perturbation Results）C.3 LIBERO-OOD：分轴成功率（Per-Axis Success Rates）C.4 RoboDojo：分维度成功率与得分（Per-Dimension Success Rates and Scores）

导读

一、这篇论文要解决什么问题

近两年，“世界动作模型”（World Action Model，WAM）成为通用机器人策略的一条主流路线：拿一个在海量互联网视频上预训练过的视频生成模型做骨干，让它先“想象”接下来画面会怎么变，再据此输出机器人动作。直觉上，视频模型学到了丰富的物理与运动先验，这些先验应该能帮助策略泛化到没见过的任务。但作者观察到一个尴尬的现象：现有 WAM 在训练时见过的任务上表现很好，一到开放场景（新物体、新布局、新指令组合）就会“想象错”——预测出的手臂运动和指令不符，于是动作也跟着错。LIBERO 上 95% 以上成功率的策略，在扰动版 LIBERO-Pro、组合泛化版 LIBERO-OOD 上会跌到个位数。作者把原因归结为两点：

底座视频模型不是为操作任务优化的：Wan、Cosmos 这类模型主要追求画面美观、创作效果，对“左手抓起左边那个杯子放进最左边的黄盒子”这类精确操作指令遵循得并不好。
粗暴地往视频模型里加动作模块会破坏它的泛化能力：新初始化的动作头带来的梯度、只预测短时片段的训练目标，都会侵蚀预训练先验。

所以 VPP2 的核心目标是：先把“视频预测”这件事做得可泛化、听指令，再在尽量不破坏它的前提下学动作。题目“Predict Better, Act Better”就是这个意思。

二、核心方法一览

底座：Wan2.1-I2V-14B。阿里开源的 140 亿参数图生视频（Image-to-Video，I2V）扩散 Transformer 模型。输入一张首帧图和一段文字，输出后续视频。VPP2 把机器人当前观测当首帧，把子任务描述当文字条件。
数据：大规模、多来源、细致标注。机器人数据（单臂、双臂、移动/人形）、人手第一视角数据、从通用视频中筛出的操作片段；按动作边界切成 1–12 秒的“事件”片段，再用 VLM 按模板写详细描述（哪只手、哪个物体、怎么动、相机如何变化）。还统一了多视角拼图格式（T 形拼接）和双臂末端坐标系。
Stage 1：事件级（event-level）继续预训练。每个训练样本是一个完整子任务：从初始帧到子任务完成，均匀抽 N 帧作为预测目标。这样“文字描述 \to 完整轨迹”是一一对应的，不像“短指令 \to 未来 1 秒”那样存在大量歧义（图 1 下半部分）。
Stage 2：块级（chunk-level）后训练 + 一致性蒸馏。事件长短不一，抽帧间隔就不固定，不方便对齐动作。于是改为预测固定时长（机器人 8 秒）的未来片段，并把帧数降到 17 帧；然后用一致性蒸馏（consistency distillation）把多步去噪压成单步生成，得到约 0.12 秒出结果的“单步视觉规划器”。
Stage 3：MoT 动作专家。以混合 Transformer（Mixture-of-Transformers，MoT）的方式并联一个 0.9B 参数的动作 DiT，它与视频 DiT 在每层做联合注意力：动作 token 可以看视频 token，视频 token 看不到动作 token。动作专家因此学到一个“隐式逆动力学模型”——根据预测的未来画面反推该怎么动。训练早期冻结视频主干，只用 LoRA 微调，以保护视频先验。
高层 VLM 规划。长程任务、模糊指令交给一个 VLM（本地部署或调用前沿模型 API）：它把开放式指令拆成子任务，并把子任务改写成训练时同款的详细描述（prompt enhancement）。

三、主要结论

视频预测指令遵循：在人手和机器人各 50 个开放任务上，VPP2-14B 的平均成功率 0.85，比 Cosmos3-64B（0.74）高 11 个百分点，比自身底座 Wan2.1-14B（0.18）高得多。
ALOHA 真机零样本：不做任务特定微调，10 类任务平均成功率 58.5%，\pi_{0.5} 为 40.0%，Fast-WAM 为 20.5%，10 类中 9 类最好。
LIBERO 系列：LIBERO-ID 98.8%（与各方法相当），但在 LIBERO-Pro 上 45.0%（最强基线仅 11.0%），LIBERO-OOD 上 63.9%（视频类基线最高 10.5%，专门针对此问题的 Temporal Ratio 为 59.4%）。
RoboDojo 仿真排行榜：成功率 32.26%、平均分 39.26，在所列方法中第一，既超过 OpenWAM-\alpha、Fast-WAM 等 WAM 类方法，也超过 \pi_{0.5}、Xiaomi-Robotics-1 等 VLA 以及 GPT-6-Astra。加上 VLM 子任务规划后，选出的 5 组任务平均成功率由 27.6% 提升到 57.6%。

四、读懂本文需要的背景知识

世界动作模型（WAM）。与视觉-语言-动作模型（VLA，以 VLM 为骨干直接输出动作）相对，WAM 以视频生成模型为骨干，让模型同时或先后预测未来视频与动作。代表作有 VPP、Cosmos-Policy、Fast-WAM、DiT4DiT、OpenWAM 等。其理论依据是“逆动力学”：已知现在和未来的画面，推断中间动作，比凭空决定动作容易得多。VPP 第一代（Video Prediction Policy，Hu et al., 2024）。同一团队（清华陈建宇组）的前作。它把一个视频扩散模型在操作数据上微调成“文本引导视频预测模型”，但不真的把视频完整生成出来，而是只做一次前向，取中间层的“预测性视觉表征”，再用一个小的扩散策略头根据这些表征输出动作。VPP2 延续了“用视频模型的内部表征驱动动作”的思路，但换成了 14B 的 Wan2.1、加入事件级预训练和单步蒸馏，并用 MoT 结构让动作专家逐层读取视频模型的 KV。视频扩散模型与流匹配（Flow Matching）。扩散模型从噪声出发，逐步去噪得到数据。流匹配是其一种简洁表述：在噪声 \epsilon 与数据 x_1 之间取直线插值 x_s=(1-s)\epsilon+s x_1，训练网络预测“速度” v=x_1-\epsilon；推理时从 s=0 积分这个速度场到 s=1。Wan2.1 就用这种目标训练。视频不直接在像素上建模，而是先用 3D VAE 压缩成潜变量（latent），Wan 的 VAE 在时间上压缩 4 倍、空间上压缩 8 倍，所以 1+4k 帧（如 17、49 帧）会被编码成 1+k 个潜帧。I2V（Image-to-Video）。以一张图像为首帧条件生成后续视频的任务，相对于纯文生视频（T2V）。机器人场景天然是 I2V：当前相机画面就是首帧。DiT（Diffusion Transformer）与 MoT（Mixture-of-Transformers）。DiT 把扩散去噪网络做成 Transformer。MoT 指多个“专家” Transformer（各自有独立的权重：QKV 投影、FFN 等）处理不同模态的 token，但在每一层的自注意力里把所有 token 拼起来做联合注意力。\pi_0 的“VLM + 动作专家”就是这种结构。好处是新模态有自己的参数，不必挤占原模型的参数，又能逐层交换信息。步数蒸馏与一致性蒸馏。扩散/流模型推理通常要几十步，太慢，不适合 10Hz 级别的闭环控制。步数蒸馏用一个多步“教师”去教一个少步甚至单步的“学生”。一致性模型（Consistency Model，Song et al., 2023）的思想是：同一条概率流轨迹上任意一点，都应该被映射到同一个终点；训练时让学生在相邻两个时刻的终点预测保持一致，就能一步从噪声跳到结果。LoRA。低秩适配：冻结原权重 W，只训练一个低秩增量 BA，参数少、对原模型扰动小。VPP2 在动作训练早期用它保护视频主干。评测基准。LIBERO 是常用的仿真操作基准（Spatial/Object/Goal/Long 四个套件）；LIBERO-Pro 对物体位置和任务指令做扰动；LIBERO-OOD 把熟悉的物体、布局、目标重新组合成没见过的任务。RoboDojo 是 2026 年提出的仿真+真机统一基准，仿真部分 42 个双臂任务，分泛化、精度、长程、记忆、开放指令五个维度，有官方排行榜。阅读提示。全文的主线是“降低未来预测的不确定性”：详细描述、事件级完整轨迹、统一坐标系、统一多视角格式，都是在让“条件 \to 未来”的映射更确定。读各节时可以对照这条主线。

摘要（Abstract）

原文

World action models (WAMs) have emerged as an important class of generalist robot policies, aiming to transfer video prediction priors to action learning. However, we find that existing WAMs frequently produce incorrect motion predictions in open-ended environments, leading to erroneous actions. We attribute this limitation to two factors: (1) base video models are not optimized for manipulation, and (2) naively incorporating action components into video models can substantially degrade their generalization capabilities. We introduce Video Prediction Policy 2 (VPP2), a WAM that enables strong zero-shot generalization in both video prediction and action generation. First, we curate a large-scale, diverse dataset of manipulation videos to continue pretraining the base video foundation model. We annotate video clips with detailed captions and perform event-level video pretraining to promote generalization across open-ended manipulation tasks. Second, we post-train and distill the video model into a single-step visual planner with a fixed prediction horizon. Finally, we introduce an action module via a mixture-of-transformers (MoT) architecture to learn an implicit inverse dynamics model. Experiments demonstrate three key results: (1) VPP2-14B outperforms Cosmos3-64B by 11.0% points in video prediction instruction-following success rate on open-ended tasks; (2) VPP2 surpasses the strongest baseline by 18.5% points in success rate on real-world zero-shot ALOHA manipulation tasks; and (3) following benchmark-specific post-training, VPP2 achieves the highest success rates among evaluated methods on the challenging LIBERO-Pro, LIBERO-OOD, and RoboDojo benchmarks.

译文

世界动作模型（world action model，WAM）已经成为通用机器人策略中的一类重要方法，其目标是把视频预测先验迁移到动作学习中。然而我们发现，现有 WAM 在开放环境中经常给出错误的运动预测，进而导致错误的动作。我们将这一局限归因于两个因素：(1) 底座视频模型并非为操作任务优化；(2) 简单地往视频模型中加入动作组件，会大幅削弱其泛化能力。我们提出视频预测策略 2（Video Prediction Policy 2，VPP2），这是一个在视频预测和动作生成两方面都具备强零样本泛化能力的 WAM。首先，我们整理了一个大规模、多样化的操作视频数据集，用来对底座视频基础模型做继续预训练（continued pretraining）。我们为视频片段标注详细描述（caption），并进行事件级（event-level）视频预训练，以促进模型在开放式操作任务上的泛化。其次，我们对视频模型做后训练（post-training）并蒸馏，得到一个预测时域固定的单步视觉规划器（single-step visual planner）。最后，我们通过混合 Transformer（mixture-of-transformers，MoT）架构引入动作模块，学习一个隐式逆动力学模型（implicit inverse dynamics model）。实验给出三项关键结果：(1) 在开放任务的视频预测指令遵循成功率上，VPP2-14B 比 Cosmos3-64B 高 11.0 个百分点；(2) 在真实世界 ALOHA 零样本操作任务上，VPP2 的成功率比最强基线高 18.5 个百分点；(3) 经过针对基准的后训练后，VPP2 在具有挑战性的 LIBERO-Pro、LIBERO-OOD 和 RoboDojo 基准上取得了所评测方法中最高的成功率。

解释

摘要按“问题 \to 归因 \to 方法三步 \to 三项结果”组织，可以当全文的目录来读。问题是 WAM 在开放环境里“想象错”。WAM 的整个逻辑建立在“视频预测正确 \Rightarrow 动作正确”上，预测错了，后面的逆动力学再准也没用。两个归因分别对应方法的两半：针对“底座不懂操作”，用大规模操作视频 + 详细描述 + 事件级预训练重新教视频模型；针对“加动作会破坏泛化”，把视频训练和动作训练拆成先后阶段，动作专家用 MoT 外挂、训练初期冻结视频主干只开 LoRA。方法三步对应正文 Stage 1/2/3：事件级预训练（学会“听指令预测完整过程”）、固定时域后训练 + 蒸馏（变成又快又对齐动作时间尺度的单步规划器）、MoT 动作专家（读视频特征出动作）。“隐式逆动力学”指模型并不显式地输出“未来图像 \to 动作”的映射函数，而是让动作 token 通过注意力读取视频模型内部的未来表征，效果上等价于逆动力学。三项结果的数字可以与图 1 对照：0.85 对 0.74 是 11 个百分点；ALOHA 上 58.5% 对 \pi_{0.5} 的 40.0%，差 18.5 个百分点。注意第 (3) 条是“经过针对基准的后训练”，即在 LIBERO / RoboDojo 训练数据上微调后的结果，不是零样本。

图 1 解读

图 1 分为三块。左侧（模型示意）：上方是“大规模多样操作数据”的拼图；下方是 VPP2 的结构：Video DiT 输入首帧 o_0 和带噪的未来帧 o_1\cdots o_H，输出去噪后的未来帧；Action DiT 并列，输入带噪动作 a_1\cdots a_h，输出动作。底部文字“Event-level Continue Pretraining + Chunk-level Post-training”概括了训练方式。H 是视频预测长度，h 是动作块长度，正文中 H 对应 8 秒、h 对应 2 秒。右上三组柱状图（主要结果）：

(1) 视频预测指令遵循成功率：Wan-14B 0.18、LVP 0.54、Cosmos-16B 0.38、Cosmos3-64B 0.74、VPP2 0.85。这些数是表 2 中“人手”和“机器人”两列的平均，例如 VPP2 为 (0.80+0.90)/2=0.85，Wan 为 (0.32+0.04)/2=0.18。
(2) 真机零样本：\pi_{0.5} 0.40、Fast-WAM 0.21（正文为 20.5%）、VPP2 0.58（正文为 58.5%）。
(3) 基准后训练（RoboDojo 成功率，%）：\pi_{0.5} 6.93、G0.5 14.88、OpenWAM 11.92、VPP2 32.26。注意：“G0.5”及其 14.88 并未出现在表 4 和表 9 中，表 4 中排第二的是 GPT-6-Astra（22.48）。图 1 和表 4 的基线集合不一致，可能是排行榜在不同时间点的快照，读者应以表 4 为准。

右下（动机示意）：左半“Simple Caption \to Short Future Chunks”：同一张图配一条简单指令“把碗放进盒子”，若只预测短时未来，可能的走向有很多条（三条折线），对应的分布有多个峰（Multiple modes），映射不稳定。右半“Detailed Caption \to Complete trajectory”：描述写清“左夹爪拿起左边的白碗放进透明盒子，相机保持静止”，并要求预测从起点到终点的完整轨迹，分布集中为单峰，映射唯一而稳定。这幅图是全文论点的缩影：多峰的条件分布会让模型学到虚假相关（例如“看到这个桌面就往右伸”），而详细描述 + 完整事件把条件分布收窄，模型才能学到真正“按语义走”的映射，从而泛化。

1引言（Introduction）

原文

World action models (WAMs) are developing rapidly and have become an important class of generalist robot policies (Hu et al., 2024; Liao et al., 2025; Kim et al., 2026; Yuan et al., 2026; Ma et al., 2026; Li et al., 2026a;b; AgiBot Research Team et al., 2026; Ye et al., 2026). Many WAMs build on video foundation models (Wan et al., 2025; Agarwal et al., 2025; Yang et al., 2025), aiming to transfer their rich priors about physical dynamics to policy learning. This premise is compelling: accurate, instruction-conditioned video predictions can guide action generation through an explicit or implicit inverse dynamics model (Du et al., 2023; Hu et al., 2024). However, prior work (Zhang et al., 2026c) has found that existing WAMs often perform well only on a narrow set of seen tasks, while producing unreliable future motion predictions in unseen, out-of-distribution scenarios. These prediction failures, in turn, lead to erroneous actions. In recent benchmarks that require generalization, robot policies, including WAMs, with near-perfect success rates on standard evaluation suites suffer substantial performance drops under perturbed task configurations and novel skill compositions (Zhou et al., 2025; Li, 2025; Mishra et al., 2026).

译文

世界动作模型（WAM）发展迅速，已经成为通用机器人策略中的重要一类（Hu et al., 2024; Liao et al., 2025; Kim et al., 2026; Yuan et al., 2026; Ma et al., 2026; Li et al., 2026a;b; AgiBot Research Team et al., 2026; Ye et al., 2026）。许多 WAM 建立在视频基础模型（video foundation model）之上（Wan et al., 2025; Agarwal et al., 2025; Yang et al., 2025），希望把这些模型中关于物理动力学的丰富先验迁移到策略学习中。这一前提很有吸引力：准确的、以指令为条件的视频预测，可以通过显式或隐式的逆动力学模型（inverse dynamics model）来引导动作生成（Du et al., 2023; Hu et al., 2024）。然而，已有工作（Zhang et al., 2026c）发现，现有 WAM 往往只在少量见过的任务上表现良好，而在未见过的、分布外（out-of-distribution，OOD）场景中给出不可靠的未来运动预测。这些预测失败又会导致错误的动作。在近期强调泛化的基准中，那些在标准评测套件上成功率接近满分的机器人策略（包括 WAM），在任务配置被扰动、技能以新方式组合时，性能大幅下降（Zhou et al., 2025; Li, 2025; Mishra et al., 2026）。

解释

这一段交代背景和问题。WAM 的基本逻辑：视频模型负责“想象未来”，逆动力学负责“从未来反推动作”。“显式”逆动力学指先真把未来帧生成出来，再用一个单独网络输入（当前帧，未来帧）输出动作，如 UniPi（Du et al., 2023）；“隐式”指不生成完整视频，而是把视频模型的内部特征交给动作头，如 VPP（Hu et al., 2024）。问题的证据：作者引用 Qwen-RobotWorld（Zhang et al., 2026c）发现现有 WAM 在 OOD 场景下预测不可靠；又引用 LIBERO-Pro、LIBERO-OOD 及 Temporal Ratio 的工作，说明“标准套件接近满分、扰动后大幅下降”。这意味着很多高分其实是“记住了训练轨迹”，而非真正理解指令。后文表 3 会给出具体数字：多数方法 LIBERO-ID 超过 94%，LIBERO-Pro 却不到 11%。

原文

We identify two key factors that limit the generalization of existing WAMs to unseen scenarios. First, base video models are primarily optimized for creative content generation and aesthetic quality rather than precise physical dynamics, and therefore often fail to follow manipulation instructions faithfully (Chen et al., 2025a; Zhang et al., 2026c). Second, introducing action-specific components or training objectives into pretrained video foundation models can substantially degrade their generalization capabilities (Mishra et al., 2026).

译文

我们识别出限制现有 WAM 泛化到未见场景的两个关键因素。第一，底座视频模型主要是为创意内容生成和美学质量而优化的，而非精确的物理动力学，因此常常无法忠实地遵循操作指令（Chen et al., 2025a; Zhang et al., 2026c）。第二，向预训练视频基础模型中引入动作专用组件或训练目标，会大幅削弱其泛化能力（Mishra et al., 2026）。

解释

两个因素可以分别理解为“起点不对”和“半路走偏”。起点不对：通用视频模型的训练数据以影视、生活、风景为主，评价标准是画面好不好看、运动是否流畅。“拿起左边那个杯子”这种需要精确定位物体、精确区分左右手的指令，在训练数据中很少出现。图 7 中 Wan-14B 抓错瓶子、叠错杯子就是例证。半路走偏：WAM 通常在少量机器人数据上，把视频模型和新初始化的动作头一起训练。新模块的梯度一开始是随机且很大的，会冲坏预训练权重；而且机器人数据规模远小于视频预训练数据，模型容易过拟合到这些任务上。Temporal Ratio（Mishra et al., 2026）专门研究了这种“视频—动作泛化差距”。VPP2 后面的每个设计都可以对号入座：针对第一点是数据与 Stage 1；针对第二点是阶段化训练、MoT 外挂、冻结主干 + LoRA。

原文

To address these issues, we introduce Video Prediction Policy 2 (VPP2), a WAM that achieves strong zero-shot generalization in both video prediction and action generation. Our first objective is to train a generalizable video foundation that can faithfully follow instructions and make future predictions grounded in the current observation, without unsupported changes to the scene or task. To this end, we annotate each clip with a detailed caption specifying the manipulation process, active end effector, and target object, and perform event-level video prediction training. As illustrated in Figure 1, detailed captions and complete event-level trajectory prediction substantially reduce uncertainty in future prediction and encourage consistent mappings from semantic descriptions to visual trajectories, improving generalization across diverse instructions. We then post-train the video model to predict fixed-horizon future chunks and apply consistency distillation (Song et al., 2023) to obtain a single-step visual planner for real-time robot execution. Finally, we introduce an action expert through a mixture-of-transformers (MoT) architecture (Liang et al., 2025) to learn an implicit inverse dynamics model conditioned on the predicted future. During policy execution, we pair VPP2 with a VLM planner (Bai et al., 2025; Bytedance Seed, 2026) that translates open-ended instructions into explicit subtask instructions.

译文

为解决这些问题，我们提出视频预测策略 2（VPP2），一个在视频预测和动作生成两方面都具备强零样本泛化能力的 WAM。我们的首要目标是训练一个可泛化的视频基础模型：它能忠实遵循指令，并基于当前观测做出未来预测，而不对场景或任务做无依据的改动。为此，我们为每个片段标注详细描述，写明操作过程、正在动作的末端执行器（active end effector）和目标物体，并进行事件级视频预测训练。如图 1 所示，详细描述和完整的事件级轨迹预测大幅降低了未来预测的不确定性，促使模型学到从语义描述到视觉轨迹的一致映射，从而提升在多样指令上的泛化。随后，我们对视频模型做后训练，使其预测固定时域的未来片段，并采用一致性蒸馏（consistency distillation，Song et al., 2023）得到一个单步视觉规划器，以支持机器人实时执行。最后，我们通过混合 Transformer（MoT）架构（Liang et al., 2025）引入一个动作专家（action expert），学习以预测的未来为条件的隐式逆动力学模型。在策略执行时，我们为 VPP2 配一个 VLM 规划器（Bai et al., 2025; Bytedance Seed, 2026），把开放式指令翻译成明确的子任务指令。

解释

这是方法总览，和摘要一致，但多给了几个细节。“不对场景或任务做无依据的改动”：视频生成模型常见的失败是凭空变出新物体、换掉背景、或让机械臂做与指令无关的事。对策略而言，预测必须“扎根”于当前观测，否则逆动力学推出的动作没有意义。“正在动作的末端执行器”：双臂或人手数据中，“拿起杯子”没说用哪只手，模型就只能猜；写明“左夹爪”即可消除这种歧义。“单步视觉规划器”：“规划器”一词表明视频预测在这里起的是“视觉层面的计划”作用：先画出未来该是什么样子，动作专家去追这个计划。单步是为了实时：14B 模型跑 50 步去噪要几十秒，单步只需约 0.12 秒。VLM 规划器引用的是 Qwen3-VL（Bai et al., 2025）和 Seed2.0（Bytedance Seed, 2026），说明既可以用开源模型本地部署，也可以调用商用 API。

原文

Our experiments demonstrate three key advantages of VPP2. (1) VPP2-14B follows manipulation instructions faithfully, outperforming Cosmos3-64B (Agarwal et al., 2026) by 11% in instruction-following success rate on open-ended tasks. (2) VPP2 exhibits strong zero-shot manipulation capabilities on a real-world ALOHA platform (Zhao et al., 2023), achieving an average success rate of 58.5% across 10 task categories, compared with 40.0% for \pi_{0.5} (Intelligence et al., 2025) and 20.5% for Fast-WAM (Yuan et al., 2026). (3) Following benchmark-specific post-training, VPP2 achieves the highest success rates among evaluated methods on LIBERO-Pro (Zhou et al., 2025) (45.0%, compared with 11.0% for the strongest baseline), LIBERO-OOD (Li, 2025; Mishra et al., 2026) (63.9%), and RoboDojo (Chen et al., 2026a) (32.26%, state-of-the-art).

译文

我们的实验展示了 VPP2 的三项关键优势。(1) VPP2-14B 能忠实遵循操作指令，在开放任务上的指令遵循成功率比 Cosmos3-64B（Agarwal et al., 2026）高 11%。(2) VPP2 在真实 ALOHA 平台（Zhao et al., 2023）上表现出强零样本操作能力，在 10 类任务上平均成功率为 58.5%，而 \pi_{0.5}（Intelligence et al., 2025）为 40.0%，Fast-WAM（Yuan et al., 2026）为 20.5%。(3) 经过针对基准的后训练后，VPP2 在 LIBERO-Pro（Zhou et al., 2025）（45.0%，最强基线为 11.0%）、LIBERO-OOD（Li, 2025; Mishra et al., 2026）（63.9%）和 RoboDojo（Chen et al., 2026a）（32.26%，当前最优）上取得了所评测方法中最高的成功率。

解释

这段是结果预告，数字与摘要、图 1 相同。需要注意“11%”在这里是百分点之差（0.85 对 0.74），摘要中写作“11.0% points”更严谨。另外，“零样本”在本文的含义是：ALOHA 这个机器人本体在训练数据中见过，但测试的具体任务没有专门微调过，而非连机器人都没见过（见 4.2 节）。三项结果分别检验三件事：(1) 视频模型本身是否更听指令；(2) 这种能力能否转化为真机动作；(3) 在标准基准上与 VLA、WAM 同台比较时，泛化优势是否依然存在。

2数据处理流程（Data Processing Pipeline）

原文

In this section, we describe our data collection and curation pipeline, including how we unify the inputs and outputs across diverse manipulation datasets.

译文

本节介绍我们的数据收集与整理流程，包括如何统一各种操作数据集的输入和输出。

解释

本节是全文的地基。WAM 的泛化首先取决于数据，作者把“降低预测不确定性”的思路贯彻到了数据层面：输入（多视角图像格式）、条件（文字描述）、输出（动作坐标系）都要统一。

原文

Video Sources. We compile a large-scale, diverse collection of manipulation videos for continued pretraining of an open-source video foundation model (Wan et al., 2025). Our data span three categories: robot manipulation datasets, human activity datasets, and general-purpose video datasets. For general-purpose video datasets, we apply an extensive filtering pipeline similar to that of LVP (Chen et al., 2025a) to retain only videos depicting manipulation-related activities. Table 1 summarizes the datasets used for training; full dataset references are provided in Appendix A.

译文

视频来源。我们汇集了一个大规模、多样化的操作视频集合，用于对开源视频基础模型（Wan et al., 2025）做继续预训练。数据涵盖三类：机器人操作数据集、人类活动数据集和通用视频数据集。对通用视频数据集，我们采用与 LVP（Chen et al., 2025a）类似的大规模过滤流程，只保留展示操作相关活动的视频。表 1 汇总了训练所用数据集，完整的数据集引用见附录 A。

解释

三类数据各有分工：

机器人数据：与部署场景最接近，且大多带动作标签，Stage 3 动作训练只能用这部分（以及带手部位姿的人类数据）。
人手数据：采集成本低、场景与任务丰富，第一视角与双臂机器人的头部相机视角相似，能大幅扩充“手如何与物体交互”的视觉先验。
通用视频：OpenVid、Panda-70M 是文生视频常用数据集，绝大多数内容与操作无关，所以要先过滤。LVP（Large Video Planner）是同类工作，也用 Wan2.1-I2V-14B 做操作视频规划，VPP2 借用了它的过滤思路。

Data Type	Embodiment Type	Data Sources
Robot	Single-arm	OXE, RoboMIND, DROID, RH20T, MolmoAct
	Dual-arm	AgiBot World-Beta, RoboCOIN, RDT, GM-100, ABC-130K, Self-collected ALOHA Data
	Mobile & humanoid	InternData-A1, Galaxea Open-World, Self-collected dexterous hands
Human	Human hands	Open-source: EgoDex, Ego4D, EPIC-KITCHENS, Something-Something V2, VITRA-1M; Self-collected egocentric data
General Video	Human hands	OpenVid, Panda-70M

原表注 Table 1: Overview of training data sources. Full dataset references are provided in Appendix A, Table 5.
译文表注 表 1：训练数据来源概览。完整的数据集引用见附录 A 的表 5。

表 1 解读

表 1 有三列：数据类型（机器人 / 人类 / 通用视频）、本体类型（单臂、双臂、移动与人形、人手）、具体数据源。

单臂：OXE（Open X-Embodiment，汇集几十个实验室的数据）、RoboMIND、DROID（Franka 臂野外采集）、RH20T、MolmoAct 数据。
双臂：智元 AgiBot World-Beta、RoboCOIN、RDT（RDT-1B 的数据）、GM-100、ABC-130K，以及作者自采的 ALOHA 数据。自采 ALOHA 数据正是 4.2 节真机零样本实验所用的本体。
移动与人形：InternData-A1（仿真合成数据）、星海图 Galaxea Open-World，以及自采的灵巧手数据。
人手：EgoDex（苹果 Vision Pro 采集的灵巧手第一视角）、Ego4D、EPIC-KITCHENS（厨房第一视角）、Something-Something V2（“把某物推向某处”这类短动作）、VITRA-1M，以及自采第一视角数据。
通用视频：OpenVid、Panda-70M 中筛出的“人手操作”片段，所以本体类型也记为 Human hands。

从表中可以读出，本体覆盖单臂、双臂、人形、人手，4.1 节说“超过 20 种机器人本体”。论文没有给出各来源的时长或片段数，只在第 2 节说以自我中心视角的双臂类数据（ALOHA 式、人形式、人类第一视角）占比超过 80%。

图 2 解读

上排是一段双臂机器人视频按时间顺序的若干帧：

第 1 帧（紫框、打叉）：末端执行器不可见 \to 删除。因为如果首帧看不到手，模型无从知道“哪只手从哪里出发”。
第 2 帧：末端执行器完全可见 \to 作为片段首帧。
第 3 帧附近：桌上有两个杯子，描述中要指明“左边的杯子”（left cup）。
第 6 帧附近：桌上有三个盒子，描述中要指明“最左边的黄盒子”（left most yellow box）。

下排从左到右：多视角拼接（主视角在左、两个腕部视角在右，即 T 形布局）\to 描述模板（左夹爪…… / 右夹爪…… / 指定物体…… / 相机视角……；原图中 “Tempelate” 为原文拼写错误）\to 最终描述：“左夹爪拿起左侧的不锈钢杯，放进最左边的黄色盒子；右夹爪在视频中不可见。这是一段拼接的机器人视频，右侧为两个腕部视角。”这幅图展示了附录 A.1 所列四类“不确定性来源”在一个样例上的具体处理方式：任务过程、哪只手、哪个物体、相机情况，每一项都写进描述，使“首帧 + 描述”几乎唯一地确定了接下来的视频。

原文

Video Filtering, Segmentation and Captioning. We first remove corrupted trajectories, including those with camera failures or abrupt discontinuities, and segment the remaining trajectories into semantically coherent clips lasting 1–12 seconds. We identify candidate boundaries using heuristic cues associated with natural transitions, such as local minima in human-hand or end-effector velocity and moments when the gripper or fingers open or close. A vision-language model (VLM) then refines the segmentation by merging adjacent clips where appropriate and adjusting their start and end points.

译文

视频过滤、切分与描述。我们先剔除损坏的轨迹，包括相机故障或画面突然不连续的轨迹，再把其余轨迹切分成语义连贯、时长 1–12 秒的片段。我们用与自然过渡相关的启发式线索确定候选边界，例如人手或末端执行器速度的局部极小值，以及夹爪或手指张开、闭合的时刻。随后，一个视觉-语言模型（VLM）对切分结果进行细化：在合适时合并相邻片段，并调整片段的起止点。

解释

这段描述的是“事件”是怎么来的，它直接决定 Stage 1 事件级预训练的质量。两步切分：先用廉价的规则找候选切点，再让 VLM 修正。规则的道理是：一个子任务（如“抓起杯子”）结束时，手通常会停顿（速度局部极小），夹爪会闭合或张开（抓取、释放）。但规则会切得过碎，例如抓取过程中手速短暂下降也可能被切开，所以让 VLM 看画面判断哪些相邻片段应该合并为同一个语义事件。1–12 秒：太短的片段只是动作碎片，没有完整语义；太长的片段可能包含多个子任务，与一句描述对不上。这个区间大致对应一个“拿起—放下”“打开抽屉”之类的原子子任务。

原文

After segmentation, we generate detailed captions that describe the task, explicitly identify the active end effectors, unambiguously specify the target objects, and characterize the camera views and motion. Figure 2 illustrates an example, and Appendix A.1 provides further details.

译文

切分完成后，我们生成详细的描述：说明任务内容，明确标出正在动作的末端执行器，无歧义地指明目标物体，并刻画相机视角及其运动。图 2 给出了一个示例，附录 A.1 提供了更多细节。

解释

四个要素与图 2 的模板一一对应。它们针对的都是“同一首帧 + 同一句话却可能对应多种未来”的情况：不说哪只手 \to 左右手都可能；不说哪个杯子 \to 每个杯子都可能；不说相机 \to 模型分不清画面变化是物体在动还是相机在动。

图 3 解读

(a) 工作空间对齐：三维坐标轴是规范世界系（canonical world frame），X 轴朝前（forward）、Y 轴朝左（left）、Z 轴朝上（up），单位米。图中两只夹爪示意双臂的位置，多个彩色半透明长方体是不同数据集末端执行器可达范围（工作空间）的包围盒。对齐后它们大致重叠在双臂前方约 0.2–0.6 m 的区域。标注 A_d 表示施加的世界系变换。(b) 末端执行器对齐：上下是两种外形不同的夹爪。实线箭头（红、绿、蓝）是统一后的末端坐标轴，虚线箭头是原始坐标轴，弧形箭头标注的 B_d 表示从原始末端系到规范末端系的局部旋转/平移。对齐后，无论哪种夹爪，“蓝轴指向夹爪前方、红轴向下”等语义一致。这张图配合下文公式，说明“统一动作空间”在几何上意味着什么：同样“向左移 5 cm”的动作，在所有数据集里都表示为同一个数值。

原文

Unified Action Space and Unified End-effector Coordinate Systems. Different robot datasets often adopt inconsistent coordinate systems and camera viewpoints, resulting in conflicting action representations for visually similar motions. For example, a leftward motion may correspond to the positive x-direction in one dataset but the negative y-direction in another, making it difficult for the model to learn the semantic meaning of each action dimension.

译文

统一动作空间与统一末端执行器坐标系。不同机器人数据集往往采用不一致的坐标系和相机视角，导致视觉上相似的运动对应着相互矛盾的动作表示。例如，向左的运动在一个数据集中可能对应 x 正方向，而在另一个数据集中却对应 y 负方向，这使模型难以学到每个动作维度的语义含义。

解释

这是跨本体动作学习的经典难题。动作专家看到的只是一串数字，如果第 1 维在 A 数据集里是“向前”、在 B 数据集里是“向右”，那么同样画面下“正确动作”的数值会自相矛盾，模型只能学成平均值，或者靠识别“这是哪个数据集”来记忆。统一坐标系相当于给所有数据集一本相同的“动作词典”。这和前面统一描述格式的出发点相同：都是降低条件到输出映射的不确定性。

原文

We focus on egocentric bimanual datasets, including ALOHA-style, humanoid-style, and human egocentric datasets. These datasets account for more than 80% of the total data and share a similar bimanual structure and camera viewpoint. We explicitly align their coordinate systems at two levels: (1) workspace alignment, which applies a world-frame transformation so that different robots have comparable end-effector workspaces; and (2) end-effector alignment, which applies a local transformation to standardize end-effector origins and axis orientations.

译文

我们重点关注以自我为中心（egocentric）视角的双臂数据集，包括 ALOHA 式、人形式和人类第一视角数据集。这些数据集占全部数据的 80% 以上，具有相似的双臂结构和相机视角。我们在两个层面显式对齐它们的坐标系：(1) 工作空间对齐（workspace alignment），施加一个世界坐标系变换，使不同机器人的末端执行器工作空间可比；(2) 末端执行器对齐（end-effector alignment），施加一个局部变换，统一末端执行器的原点和坐标轴朝向。

解释

为什么只对齐“自我中心双臂”这一类？因为它们的结构本来就相似：头部（或胸前）一个主相机俯视桌面，两只手（臂）在左右两侧。这类数据可以合理地映射到同一个“虚拟双臂人”的坐标系。单臂数据（如 DROID 的第三人称视角）结构差异太大，强行对齐意义不大。两个层面分别解决两件事：世界系对齐解决“原点在哪、哪个方向是前”；末端系对齐解决“夹爪自身的姿态怎么表示”。人手数据也被纳入，意味着人手的腕部位姿（如 EgoDex 提供的手部追踪）同样被转换成这套坐标，可以作为动作监督。

原文

For an arm dataset d, let T_d={}^{W_d}T_{E_d}\in SE(3) denote the original end-effector pose, where W_d and E_d are the dataset's world and end-effector frames, respectively. We define the workspace alignment as A_d={}^{\bar W}T_{W_d} and the end-effector alignment as B_d={}^{E_d}T_{\bar E}, where \bar W and \bar E denote the canonical world and end-effector frames. The aligned end-effector pose is given by \tilde T_d=A_dT_dB_d.

译文

对一个机械臂数据集 d，令 T_d={}^{W_d}T_{E_d}\in SE(3) 表示原始的末端执行器位姿，其中 W_d 和 E_d 分别是该数据集的世界坐标系和末端执行器坐标系。我们定义工作空间对齐为 A_d={}^{\bar W}T_{W_d}，末端执行器对齐为 B_d={}^{E_d}T_{\bar E}，其中 \bar W 和 \bar E 表示规范（canonical）世界坐标系和规范末端执行器坐标系。对齐后的末端执行器位姿为 \tilde T_d=A_dT_dB_d。

解释

记号：{}^{X}T_{Y} 表示“坐标系 Y 在坐标系 X 中的位姿”，也是把 Y 系下的点变换到 X 系的 4\times4 齐次矩阵。SE(3) 是三维刚体变换群（旋转 + 平移）。链式相乘：

\tilde T_d=\underbrace{{}^{\bar W}T_{W_d}}_{A_d}\;\underbrace{{}^{W_d}T_{E_d}}_{T_d}\;\underbrace{{}^{E_d}T_{\bar E}}_{B_d}={}^{\bar W}T_{\bar E}.

相邻的下标与上标相消（W_d 与 W_d、E_d 与 E_d），结果就是“规范末端系在规范世界系中的位姿”。A_d 左乘，改变的是参考系（整体平移、旋转工作空间）；B_d 右乘，改变的是被描述的那个坐标系本身（例如把夹爪的 TCP 原点移到指尖中心、把朝前的轴统一成某根轴）。举例：假设数据集 A 的世界系以机器人底座为原点、y 轴朝前，规范系要求 x 轴朝前。那么 A_d 就包含一个绕 z 轴 -90^\circ 的旋转，再加一个把底座平移到“两臂中点”的平移。A_d、B_d 对每个数据集都是常量，只需人工或半自动地标定一次。（注：原文在此处公式末尾多了一个逗号“A_dT_dB_d,.”，属排版瑕疵。附录 A.2 有完全相同的文字，并编号为式 (6)。）

原文

Unified T-shape Multi-view Input across Datasets. Robotics datasets commonly contain observations from multiple camera views. We arrange them into a T-shaped composite image, with the primary view on the left and two auxiliary views stacked vertically on the right, as illustrated in the bottom-left panel of Figure 2. When fewer than two auxiliary views are available, we fill the missing slots with black placeholder images.

译文

跨数据集统一的 T 形多视角输入。机器人数据集通常包含来自多个相机视角的观测。我们把它们排成一幅 T 形拼接图：主视角在左，两个辅助视角在右侧上下堆叠，如图 2 左下所示。当辅助视角少于两个时，用黑色占位图填充缺失位置。

解释

视频模型只接受一路视频输入，如何让它同时“看”多个相机？最简单的办法是把多路画面拼成一幅大图，当作一个视频生成。T 形（更准确地说是“左大右两小”）布局的好处：主视角（头部相机）分辨率最高，承载场景全局信息；腕部相机分辨率较低，提供抓取细节。所有数据集统一成这个格式，模型能学到“左边大图是全局、右边两小图是腕部”的固定语义。缺失视角补黑而非删除，是为了保持格式不变，模型看到黑块就知道“没有这个视角”。人手数据通常只有一个视角，于是右侧全黑；图 5 中可以看到部分机器人样例右侧有黑块。

3VPP2：具备零样本能力的通用策略（VPP2: A Generalist Policy with Zero-shot Capability）

原文

Overview. Our large-scale, diverse, and densely annotated dataset enables us to train a policy with strong generalization capabilities. VPP2 builds upon the pretrained Wan2.1-I2V-14B model (Wan et al., 2025) and introduces an action expert via a mixture-of-transformers (MoT) architecture (Liang et al., 2025). Our training objective is twofold: we first adapt the video model to produce generalizable future predictions at real-time inference speed for open-ended manipulation tasks, and then train the action expert conditioned on the KV cache of the video model. To maximize policy generalization, we organize training into the stages summarized in Figure 4.

译文

概述。我们大规模、多样且标注密集的数据集，使我们能够训练出泛化能力很强的策略。VPP2 建立在预训练的 Wan2.1-I2V-14B 模型（Wan et al., 2025）之上，并通过混合 Transformer（MoT）架构（Liang et al., 2025）引入一个动作专家。我们的训练目标有两层：先让视频模型适应开放式操作任务，以实时推理速度给出可泛化的未来预测；再以视频模型的 KV 缓存（KV cache）为条件训练动作专家。为最大化策略泛化能力，我们把训练组织成图 4 所概括的几个阶段。

解释

Wan2.1-I2V-14B：140 亿参数、以首帧图像 + 文本为条件的视频扩散 Transformer，原生输出 480p（832\times480）视频，用流匹配训练。VPP2 训练时把分辨率降到 416\times240，正好是原生分辨率的一半，以节省计算。“以 KV 缓存为条件”是理解 MoT 动作专家的关键。Transformer 每层自注意力里，每个 token 会算出 Query、Key、Value。动作专家的 token 在每一层用自己的 Query 去查询“视频 token 的 Key/Value + 动作 token 自己的 Key/Value”。视频 token 不看动作 token，所以视频分支的计算与动作无关，其每层 K、V 可以算一次后缓存下来，供动作专家反复使用（例如动作专家做 5 步去噪时，视频只需前向一次）。这也是推理延迟能做到 0.22 秒的原因之一。两层目标的先后关系：先视频、后动作。这正对应引言中“加动作会破坏泛化”的担忧：视频模型先在大量无动作标签的视频上学好，再小心地接入动作。

3.1视频预测模型训练流程（Video Prediction Model Training Pipeline）

原文

Stage 1: Event-level Video Model Continued Pre-training. We first adapt a pretrained video generation model to the manipulation domain through event-level continued pre-training. Each training example covers a complete manipulation subtask, aligning the subtask description with the corresponding visual evolution from the initial observation to subtask completion.

译文

Stage 1：事件级视频模型继续预训练。我们先通过事件级继续预训练，把预训练好的视频生成模型适配到操作领域。每个训练样本覆盖一个完整的操作子任务，把子任务描述与从初始观测到子任务完成的相应视觉演变对齐。

解释

“事件级”与常见 WAM 的“块级”（chunk-level，预测固定的未来 1–2 秒）相对。好处是文字和视频在语义上完全对应：描述说“拿起杯子放进盒子”，视频就恰好从开始抓到放进盒子为止。块级训练中，同一句描述会配上该事件中任意一段 1 秒的片段，有时是“伸手”，有时是“抬起”，有时是“松开”，模型要从首帧猜现在处于哪一阶段，这正是图 1 所说的“多峰、不稳定映射”。

原文

Given a demonstration \tau=(o_0,o_1,\ldots,o_T), we uniformly sample N future frames across the entire event:

\mathbf{y}_{\text{event}}=\big(o_0,\,o_{\lfloor T/N\rfloor},\,o_{\lfloor 2T/N\rfloor},\,\ldots,\,o_T\big),\tag{1}

where T is the final frame index and N excludes the initial conditioning frame o_0. Let \mathbf{x}_1=\mathcal{E}(\mathbf{y}_{\text{event}}) denote the corresponding video latent representation, where \mathcal{E} is the video encoder. We construct the interpolated latent as

\mathbf{x}_s=(1-s)\boldsymbol{\epsilon}+s\,\mathbf{x}_1,\qquad \boldsymbol{\epsilon}\sim\mathcal{N}(0,I),\qquad s\in[0,1],\tag{2}

where s denotes flow time, with s=0 corresponding to noise and s=1 to data. The model is optimized with the flow matching objective (Lipman et al., 2023)

\mathcal{L}_{\text{FM}}(\theta)=\mathbb{E}_{(\mathbf{x}_1,c),\,\boldsymbol{\epsilon},\,s}\Big[\big\|v_\theta(\mathbf{x}_s,s,c)-(\mathbf{x}_1-\boldsymbol{\epsilon})\big\|_2^2\Big],\tag{3}

where v_\theta predicts the flow velocity and c includes the subtask instruction and initial observation o_0.

译文

给定一条示范 \tau=(o_0,o_1,\ldots,o_T)，我们在整个事件上均匀采样 N 个未来帧：

\mathbf{y}_{\text{event}}=\big(o_0,\,o_{\lfloor T/N\rfloor},\,o_{\lfloor 2T/N\rfloor},\,\ldots,\,o_T\big),\tag{1}

其中 T 是最后一帧的索引，N 不包括作为条件的初始帧 o_0。令 \mathbf{x}_1=\mathcal{E}(\mathbf{y}_{\text{event}}) 表示对应的视频潜表示（latent），其中 \mathcal{E} 是视频编码器。我们构造插值潜变量

\mathbf{x}_s=(1-s)\boldsymbol{\epsilon}+s\,\mathbf{x}_1,\qquad \boldsymbol{\epsilon}\sim\mathcal{N}(0,I),\qquad s\in[0,1],\tag{2}

其中 s 表示流时间（flow time），s=0 对应噪声，s=1 对应数据。模型用流匹配（flow matching）目标（Lipman et al., 2023）优化：

\mathcal{L}_{\text{FM}}(\theta)=\mathbb{E}_{(\mathbf{x}_1,c),\,\boldsymbol{\epsilon},\,s}\Big[\big\|v_\theta(\mathbf{x}_s,s,c)-(\mathbf{x}_1-\boldsymbol{\epsilon})\big\|_2^2\Big],\tag{3}

其中 v_\theta 预测流速度（flow velocity），c 包含子任务指令和初始观测 o_0。

解释

式 (1)：怎么从一个事件里取帧。事件有 T+1 帧（索引 0\sim T），要取 N 个未来帧，于是间隔为 T/N，向下取整。第 k 个未来帧是 o_{\lfloor kT/N\rfloor}，k=1,\ldots,N，最后一个恰为 o_T（事件终点）。数字例子：下文说 Stage 1 预测 49 帧，即 o_0 加 N=48 个未来帧。若一个事件 6 秒、30 fps，则 T=180，间隔 T/N=3.75，取的帧是 o_0,o_3,o_7,o_{11},o_{15},\ldots,o_{180}。若事件 2 秒（T=60），间隔变为 1.25 帧。可见不论事件长短，模型总是预测“从开始到完成”的整个过程，只是时间被拉伸或压缩了。这也是 Stage 2 要解决的问题：帧间隔随事件长短变化，难以对齐动作。式 (2)：流匹配的插值路径。\mathbf{x}_1 是干净数据的潜变量，\boldsymbol\epsilon 是同形状的标准高斯噪声。s 从 0 到 1，\mathbf{x}_s 沿直线从纯噪声走到数据。例如 s=0.3 时，\mathbf{x}_s=0.7\boldsymbol\epsilon+0.3\mathbf{x}_1，以噪声为主。注意本文约定“s=1 是数据”，与有些文献（如 Wan 原论文中 t=0 为数据）方向相反。式 (3)：流匹配损失。对式 (2) 关于 s 求导：\frac{d\mathbf{x}_s}{ds}=\mathbf{x}_1-\boldsymbol\epsilon，这就是沿直线路径的“速度”。网络 v_\theta 输入当前带噪潜变量 \mathbf{x}_s、时间 s 和条件 c，要回归这个速度。期望 \mathbb{E} 对数据对 (\mathbf{x}_1,c)、噪声 \boldsymbol\epsilon、时间 s 取平均。推理时从 \mathbf{x}_0=\boldsymbol\epsilon 出发，按 \mathbf{x}_{s+\Delta s}=\mathbf{x}_s+\Delta s\cdot v_\theta(\mathbf{x}_s,s,c) 迭代积分到 s=1，再用解码器得到视频。条件 c：在 I2V 设定下，首帧 o_0 以干净潜变量的形式与带噪帧拼接（图 4 中 o_0 为实心绿色、其余为斜纹“噪声”），文本指令经文本编码器后通过交叉注意力注入。潜空间形状：Wan 的 3D VAE 时间压缩 4 倍（首帧单独编码），49 帧 \to 1+48/4=13 个潜帧；空间压缩 8 倍，416\times240\to52\times30。这也解释了为什么作者选 49、17 这类“4k+1”的帧数。

原文

In this stage, we predict 49 frames at a resolution of 416\times240 and continue pre-training Wan2.1-I2V-14B for 30,000 optimization steps with batch size 1,024 and learning rate 1e-5. Our experiments in Sec. 4.1 show that the resulting model achieves strong instruction following on manipulation tasks, outperforming the 64B Cosmos3-Super-Image2Video model (Agarwal et al., 2026).

译文

在这一阶段，我们以 416\times240 的分辨率预测 49 帧，对 Wan2.1-I2V-14B 继续预训练 30,000 个优化步，批大小（batch size）为 1,024，学习率为 1e-5。4.1 节的实验表明，所得模型在操作任务上具备很强的指令遵循能力，超过了 640 亿参数的 Cosmos3-Super-Image2Video 模型（Agarwal et al., 2026）。

解释

训练规模估算：30,000 步 \times 1,024 个样本/步 \approx 3,070 万个片段样本（可能有重复采样）。对 14B 模型来说，这是相当大的计算量，通常需要数百张 GPU 训练数周。学习率 1e-5：对继续预训练来说偏保守，目的是在注入操作知识的同时不破坏原有的视觉生成能力。对比 Cosmos3-64B：一个 14B 模型在指令遵循上胜过 64B 模型，说明数据与训练方式（详细描述、事件级）比单纯堆参数更关键。这是 4.1 节要验证的论点。

原文

Stage 2: Chunk-level Video Model Post-training. Event-level continued pre-training enables the model to generalize well to manipulation tasks. However, sampling a fixed number of frames from events of different durations produces variable temporal intervals between predicted frames, complicating their alignment with downstream actions. We therefore further post-train the model to predict a fixed-duration future chunk, establishing a consistent temporal scale for action learning. In experiments, we predict 2 seconds for human-hand manipulation and 8 seconds for robot manipulation.

译文

Stage 2：块级视频模型后训练。事件级继续预训练使模型能很好地泛化到操作任务。然而，从时长不同的事件中采样固定数量的帧，会使预测帧之间的时间间隔不固定，使其难以与下游动作对齐。因此，我们进一步对模型做后训练，让它预测固定时长的未来片段，为动作学习建立一致的时间尺度。实验中，人手操作预测 2 秒，机器人操作预测 8 秒。

解释

为什么要从“事件”退回“块”？动作是按固定控制频率执行的（例如每 0.02 秒一个动作），动作专家需要知道“视频里第 k 帧对应现实中第几秒”。事件级预测里，第 k 帧可能对应 0.5 秒后，也可能对应 3 秒后，取决于事件长短，而模型在测试时并不知道事件会持续多久。固定时长后，时间尺度就确定了。为什么先事件、后块，而不是直接块？作者的观点是：事件级训练让模型学会“语义到完整轨迹”的稳定映射（泛化能力的来源），块级后训练只是把这个能力“裁剪”成固定时间窗口。直接做块级训练则会遇到图 1 所说的多峰问题。4.1 节的消融 VPP2-Fixed-Step（只做固定时长）的指令遵循成功率明显更低（0.48/0.42 对 0.80/0.90），支持了这一点。2 秒与 8 秒：人手动作快，2 秒已能覆盖一次抓放；机器人（尤其遥操作采集的数据）动作慢，8 秒才足以覆盖一个子任务的主要部分。8 秒比动作块（2 秒）长得多，视频提供的是“更远的视觉计划”。

原文

Let H denote the prediction horizon in seconds and f the dataset frame rate in frames per second (fps). The nominal interval between sampled frames is \delta=fH/N, measured in dataset frames. For a chunk starting at frame t, the target video is

\mathbf{y}^{(t)}_{\text{chunk}}=\big(o_t,\,o_{t+\lfloor\delta\rfloor},\,o_{t+\lfloor2\delta\rfloor},\,\ldots,\,o_{t+\lfloor N\delta\rfloor}\big),\tag{4}

with conditioning inputs c containing the observation o_t and the corresponding subtask instruction. The index t+\lfloor fH\rfloor is capped at the final frame index T, and we optimize the same flow matching objective in Eq. equation 3, with \mathbf{x}_1=\mathcal{E}(\mathbf{y}^{(t)}_{\text{chunk}}).

译文

令 H 表示以秒计的预测时域，f 表示数据集帧率（每秒帧数，fps）。采样帧之间的名义间隔为 \delta=fH/N，以数据集帧数计。对于从第 t 帧开始的片段，目标视频为

\mathbf{y}^{(t)}_{\text{chunk}}=\big(o_t,\,o_{t+\lfloor\delta\rfloor},\,o_{t+\lfloor2\delta\rfloor},\,\ldots,\,o_{t+\lfloor N\delta\rfloor}\big),\tag{4}

条件输入 c 包含观测 o_t 和对应的子任务指令。索引 t+\lfloor fH\rfloor 上限截断为最后一帧的索引 T，我们优化与式 (3) 相同的流匹配目标，其中 \mathbf{x}_1=\mathcal{E}(\mathbf{y}^{(t)}_{\text{chunk}})。

解释

式 (4) 与式 (1) 的区别只有一处：间隔由 T/N（随事件长度变）换成 \delta=fH/N（固定）。fH 是 H 秒内的总帧数，除以 N 就是每个采样帧之间相隔多少原始帧。数字例子：后训练时视频输入降为 17 帧（3.2 节），即 N=16。机器人数据若 f=30 fps、H=8 s，则 fH=240，\delta=15 帧 =0.5 秒，预测帧为 o_t,o_{t+15},o_{t+30},\ldots,o_{t+240}。人手数据 H=2 s，则 \delta=60/16=3.75 帧，约 0.125 秒一帧。起点 t 是任意的：与事件级不同，块可以从事件中间任何一帧开始。条件是当前帧 o_t + 该时刻所在子任务的描述。这与部署时一致：机器人在执行到一半时也要能预测接下来 8 秒。截断到 T：若 t 离事件结尾不足 8 秒，超出的索引都取 o_T，相当于视频后段“定格”在子任务完成的画面。这也教会模型：任务完成后手应该停下来。（原文“Eq. equation 3”是 LaTeX 交叉引用时多写了一个 “Eq.” 造成的排版瑕疵。）

图 4 解读

图例：斜纹方块表示带噪（Noise）的输入，实心方块表示去噪后的潜变量（绿色为观测 o，紫色为动作 a）。(1) 继续预训练（Video Event Prediction）：时间轴标“Complete trajectory / Event level”，从 0 到 T。Video DiT 输入干净的 o_0 和带噪的 o_1\cdots o_T，输出去噪的 o_1\cdots o_T。对应式 (1)–(3)。(2) 后训练与蒸馏（Long Video Chunk Prediction）：时间轴变成“Fixed-length video chunk”，从 0 到 H，虚线表示事件可能比 H 更长。结构与 (1) 相同，只是预测目标换成式 (4) 的固定时长片段，并经过蒸馏变成单步生成。(3) 动作 DiT 预训练（Short Action Chunk Generation）：Video DiT 与 Action DiT 并列。视频块长度为 H（8 秒），动作块长度为 h（2 秒），h<H。Action DiT 输入带噪动作 a_1\cdots a_h，输出去噪动作。注意力掩码（Attention mask）：行是 Query，列是 Key，共 6 类 token：o_0,o_h,o_{h'},o_H,a_0,a_h（o_h 表示动作时域 h 以内的视频帧，o_{h'}、o_H 表示 h 之后直到 H 的视频帧）。

前四行（视频 token）：只在前四列（所有视频 token）填色，后两列（动作）为空。即视频不看动作，视频分支的计算与是否有动作专家无关，保护了视频模型。
后两行（动作 token）：在 o_0、o_h 和 a_0、a_h 处填色，在 o_{h'}、o_H 处为空。即动作只看当前帧和动作时域 h 以内的预测帧，以及动作 token 彼此。

后一点的设计意图值得体会：2 秒的动作只需与 2 秒内的视觉未来对齐；8 秒后的更远画面对当下动作帮助有限，还可能引入干扰。但更远的预测并非无用：视频 token 之间是双向注意力，o_h 的表征已经“知道”整个 8 秒计划，间接地把远期信息带给了动作。图注中“约 0.1 秒”与 3.2 节正文“约 0.12 秒”略有出入，属于近似表述。

原文

Stage 2: Consistency Distillation. We distill the chunk-level video model for single-step generation (Song et al., 2023) by enforcing consistent terminal predictions at adjacent flow times:

\mathcal{L}_{\text{CD}}=\mathbb{E}\Big[\lambda(s,s')\,\big\|F_\theta(\mathbf{x}_s,s,c)-\operatorname{stopgrad}\big(F_{\bar\theta}(\hat{\mathbf{x}}_{s'},s',c)\big)\big\|_2^2\Big],\tag{5}

where 0\le s<s'\le1, \hat{\mathbf{x}}_{s'} is obtained by integrating the frozen teacher flow from (\mathbf{x}_s,s) to s', and \bar\theta denotes the EMA student parameters. The student satisfies F_\theta(\mathbf{x},1,c)=\mathbf{x}. To emphasize single-step generation, we sample s'=1 with probability 0.5; otherwise, we sample s' from the remaining flow times. At inference, the video latent is generated in a single forward pass as F_\theta(\boldsymbol\epsilon,0,c).

译文

Stage 2：一致性蒸馏。我们通过在相邻流时间上强制终点预测一致，把块级视频模型蒸馏为单步生成模型（Song et al., 2023）：

\mathcal{L}_{\text{CD}}=\mathbb{E}\Big[\lambda(s,s')\,\big\|F_\theta(\mathbf{x}_s,s,c)-\operatorname{stopgrad}\big(F_{\bar\theta}(\hat{\mathbf{x}}_{s'},s',c)\big)\big\|_2^2\Big],\tag{5}

其中 0\le s<s'\le1；\hat{\mathbf{x}}_{s'} 是从 (\mathbf{x}_s,s) 出发、沿冻结的教师流积分到 s' 得到的；\bar\theta 表示学生参数的指数滑动平均（EMA）。学生满足 F_\theta(\mathbf{x},1,c)=\mathbf{x}。为强调单步生成，我们以 0.5 的概率取 s'=1，否则从其余流时间中采样 s'。推理时，视频潜变量通过一次前向 F_\theta(\boldsymbol\epsilon,0,c) 生成。

解释

一致性函数 F_\theta：输入轨迹上任意一点 (\mathbf{x}_s,s)，直接输出该轨迹的终点（s=1 处的干净数据）。理想情况下，同一条概率流（ODE）轨迹上所有点都映射到同一个终点，这就是“一致性”。一个常见的参数化是 F_\theta(\mathbf{x}_s,s,c)=\mathbf{x}_s+(1-s)\,v_\theta(\mathbf{x}_s,s,c)，即“当前点 + 剩余时间 \times 速度”。它天然满足边界条件 F_\theta(\mathbf{x},1,c)=\mathbf{x}（剩余时间为 0）。论文没有写明具体参数化，这里仅作示意。式 (5) 逐项看：

\mathbf{x}_s：用式 (2) 从真实数据加噪得到的点。
\hat{\mathbf{x}}_{s'}：从 \mathbf{x}_s 出发，用教师（Stage 2 块级模型，冻结）的速度场走到更靠近数据的时刻 s'。它与 \mathbf{x}_s 在同一条教师轨迹上。
F_\theta(\mathbf{x}_s,s,c)：学生从较噪的点直接预测终点。
F_{\bar\theta}(\hat{\mathbf{x}}_{s'},s',c)：EMA 版学生从较干净的点预测终点，作为目标；stopgrad 表示不对它回传梯度。
\lambda(s,s')：按时间对加权的系数。

损失要求“从远处一步跳到终点”与“从近处一步跳到终点”结果一致。近处的预测更容易、更准，于是准确性从 s'\to1 的边界条件逐步“传导”到更噪的 s，最终从 s=0（纯噪声）也能一步跳到数据。s'=1 取一半概率：当 s'=1 时，由边界条件 F_{\bar\theta}(\hat{\mathbf{x}}_1,1,c)=\hat{\mathbf{x}}_1，目标就是教师从 \mathbf{x}_s 积分到底得到的结果。这相当于直接做“教师多步结果 \to 学生单步”的蒸馏，信号最直接。另一半概率取中间的 s'，保持一致性约束，训练更稳定。推理：F_\theta(\boldsymbol\epsilon,0,c) 即从纯噪声一步得到视频潜变量。附录图 10 对比了蒸馏前后单步预测的质量：未蒸馏的模型一步生成非常模糊，蒸馏后清晰。

3.2动作建模（Action Modeling）

原文

Stage 3: Action Pretraining across Datasets. After training a generalizable video model, we train the action expert on our processed bimanual datasets with unified workspace and end-effector coordinate systems. The action expert is a 0.9B-parameter diffusion transformer (DiT) (Peebles & Xie, 2023) with a standard MoT architecture. Since the action expert is newly initialized, we freeze the base parameters of the video DiT during the early stages of action training and adapt the video backbone using only LoRA (Hu et al., 2022). This strategy helps preserve the pretrained video representations while limiting disruption from action-training gradients.

译文

Stage 3：跨数据集的动作预训练。训练出可泛化的视频模型后，我们在经过处理、统一了工作空间和末端执行器坐标系的双臂数据集上训练动作专家。动作专家是一个 9 亿参数的扩散 Transformer（DiT）（Peebles & Xie, 2023），采用标准的 MoT 架构。由于动作专家是新初始化的，我们在动作训练的早期阶段冻结视频 DiT 的基础参数，只用 LoRA（Hu et al., 2022）适配视频主干。这一策略有助于保留预训练的视频表征，同时限制动作训练梯度带来的扰动。

解释

“跨数据集”：动作训练用的是第 2 节统一坐标后的双臂数据（ALOHA 式、人形、人手），所有数据共用一个动作空间，因此可以一起训练一个动作专家。0.9B vs 14B：动作专家只有视频模型的约 1/15。MoT 中两个专家通常层数相同、隐藏维度不同，动作专家用较窄的隐藏层；联合注意力时需要把两边的 Q/K/V 投影到相同的头维度。论文未给出具体层数和宽度。冻结 + LoRA：新初始化的动作专家在训练初期输出接近随机，损失大、梯度大。如果此时视频主干全参数可训，这些“噪声梯度”会经注意力回传，冲坏视频表征，这正是引言所说的第二个泛化杀手。冻结基础参数、只训练 LoRA 低秩增量，相当于给视频主干的改动加了一道“低秩、小幅”的约束。论文说“早期阶段”，暗示之后可能解冻，但未说明何时、如何解冻。动作专家的训练目标论文未写公式，从“五步去噪”可推断它也用流匹配，形式与式 (3) 类似，只是对象换成动作块。

原文

Inference Latency. We generate video efficiently by reducing the video input to 17\times416\times240 during post-training and distilling the video model for one-step generation, as described in Sec. 3.1. With bfloat16 precision and torch.compile, the video model takes approximately 0.12 seconds. The action expert then generates an action chunk conditioned on the video latents using five denoising steps, taking approximately 0.1 seconds. The total latency per action chunk is therefore approximately 0.22 seconds.

译文

推理延迟。如 3.1 节所述，我们在后训练时把视频输入缩减为 17\times416\times240，并把视频模型蒸馏为单步生成，从而高效地生成视频。在 bfloat16 精度和 torch.compile 下，视频模型约耗时 0.12 秒。随后，动作专家以视频潜变量为条件，用五步去噪生成一个动作块，约耗时 0.1 秒。因此，每个动作块的总延迟约为 0.22 秒。

解释

为什么能这么快？三个因素相乘：

帧数从 49 降到 17：潜帧从 13 降到 5。按 Wan 的 2\times2 空间 patch，每个潜帧 26\times15=390 个 token，共约 1,950 个视频 token（此为按 Wan 架构的估算，论文未给出）。注意力计算量与 token 数平方成正比，减少很多。
单步生成：从几十步降到 1 步。
bfloat16 + torch.compile：工程优化。

动作 5 步约 0.1 秒：每步要跑一遍 0.9B 的动作专家，同时读取缓存的视频 KV，所以 5 步比视频的单步还略快一点。0.22 秒意味着什么：一次推理产出 2 秒的动作块。若执行其中一部分（如前 1 秒）再重新规划，0.22 秒的延迟完全可以接受，还可以与执行异步并行。对比 VPP 一代以前的 WAM，若真把 14B 视频完整去噪 50 步，单次需要几十秒，根本无法闭环控制。

3.3用于高层规划的 VLM（VLM for High-level Planning）

原文

Sub-task Planning. To tackle long-horizon tasks and handle ambiguous human instructions, we adopt a hierarchical architecture in which a VLM generates subtask plans (Shi et al., 2025). The VLM handles high-level reasoning, semantic understanding, and memory, allowing VPP2 to focus on mapping explicit instructions to trajectories. In practice, the VLM can be deployed locally or accessed through an API to a frontier model.

译文

子任务规划。为应对长时程任务并处理含糊的人类指令，我们采用分层架构，由 VLM 生成子任务计划（Shi et al., 2025）。VLM 负责高层推理、语义理解和记忆，使 VPP2 能专注于把明确的指令映射为轨迹。实际使用中，VLM 可以本地部署，也可以通过 API 调用前沿模型。

解释

分工：VPP2 训练时见到的都是 1–12 秒的子任务和详细描述，它擅长的是“给定明确子任务，画出轨迹并执行”。像“把桌子收拾干净”“下一步井字棋”这类指令需要拆解、推理、记住已经做过什么，交给 VLM 更合适。Shi et al., 2025 即 Hi Robot 一类“高层 VLM + 低层策略”的分层工作。这种分层也和全文主线一致：VLM 把模糊指令变成明确子任务，本质上也是在降低 VPP2 面对的条件不确定性。4.2 节图 9 会量化这一层带来的收益。

原文

Prompt Enhancement. VLM planning also generates detailed subtask descriptions that match the caption template used during training. Prior work on video generation likewise highlights the importance of detailed captions for generation quality (Wan et al., 2025; Yang et al., 2025).

译文

提示词增强。VLM 规划还会生成与训练时描述模板相匹配的详细子任务描述。以往的视频生成工作同样强调了详细描述对生成质量的重要性（Wan et al., 2025; Yang et al., 2025）。

解释

这一步是为了消除训练—测试不匹配：训练时 VPP2 看到的条件是“左夹爪拿起左边的不锈钢杯，放进最左边的黄盒子；相机静止……”这种长描述，测试时用户只会说“把杯子放进盒子”。若直接用短指令，模型面对的是分布外的条件。VLM 看着当前画面把短指令扩写成模板格式，就把测试条件拉回训练分布。Wan、CogVideoX（Yang et al., 2025）等文生视频模型在推理时也都用大语言模型改写用户提示，道理相同。

4实验（Experiments）

原文

In this section, we conduct experiments to answer the following questions: (1) How does the motion quality of VPP2's video predictions compare with that of state-of-the-art video foundation models on manipulation tasks? (2) How broad are VPP2's zero-shot manipulation capabilities? (3) How well does VPP2 perform after domain-specific post-training?

译文

本节通过实验回答以下问题：(1) 在操作任务上，VPP2 视频预测的运动质量与最先进的视频基础模型相比如何？(2) VPP2 的零样本操作能力覆盖面有多广？(3) 经过领域特定的后训练后，VPP2 表现如何？

解释

三个问题与引言的三项结果一一对应：(1) \to 4.1 节的表 2、图 6、图 7；(2) \to 4.2 节 ALOHA 真机零样本（图 8）；(3) \to 4.2 节 LIBERO 系列（表 3）和 RoboDojo（表 4、图 9）。逻辑递进是“预测好 \to 动作好（零样本）\to 微调后在基准上也好”，呼应题目。

4.1视频预测质量分析（Video Prediction Quality Analysis）

原文

Video Prediction for Human and Robot Manipulation. Figure 5 visualizes predictions for human-hand manipulation and diverse robot embodiments from the pretrained VPP2 model. To assess generalization, we randomly sample test cases from prior work (Chen et al., 2025a; Zhang et al., 2026c) and take photographs in office environments and robot workspaces, pairing them with freely chosen manipulation instructions. Trained on data spanning more than 20 robot embodiments, VPP2 also generalizes to unseen embodiments and tasks, as shown in Figure 5. VPP2 also supports joint prediction across one to three camera views, with the primary view placed on the left and up to two auxiliary views stacked on the right.

译文

人手与机器人操作的视频预测。图 5 展示了预训练 VPP2 模型对人手操作和多种机器人本体的预测。为评估泛化能力，我们从已有工作（Chen et al., 2025a; Zhang et al., 2026c）中随机抽取测试样例，并在办公环境和机器人工作区拍摄照片，配上自由选择的操作指令。VPP2 在涵盖 20 多种机器人本体的数据上训练，如图 5 所示，它也能泛化到未见过的本体和任务。VPP2 还支持对一到三个相机视角做联合预测：主视角放在左侧，最多两个辅助视角在右侧上下堆叠。

解释

测试样例的来源很关键：一部分取自 LVP 和 Qwen-RobotWorld 论文的测试集（与这些方法对比时公平），另一部分是作者现场拍的照片 + 随意编的指令，保证不在训练集中。“预训练 VPP2 模型”指 Stage 1 事件级模型（多步采样），而非蒸馏后的单步模型。蒸馏后的单步结果见附录图 10。

图 5 解读

图 5 共 16 个样例，排成 8 行 \times 2 列，每个样例是 4 帧按时间排列的预测视频，下面是指令。前 4 行（人手，第一视角）：抓黑色加油枪、把勺子放到 iPad 上、打开烤箱、揭开白罐子的盖子、合上笔记本电脑、拿纸巾擦屏幕、把左边拖鞋移到右边、用剪刀剪纸。这些场景（加油站、厨房、办公桌）多为日常环境，与实验室机器人数据差别很大。后 4 行（机器人，T 形拼图）：擦白板、把设备装进盒子、把瓶盖盖回瓶子、把绿色积木放到手柄上、翻转包裹、把积木扫进簸箕、用毛巾擦盘子、打开上层抽屉。可以看到每帧右侧有一到两个腕部视角小图，有的位置是黑块（缺失视角）。能读出的结论：(1) 预测的手/夹爪动作与指令语义一致，涉及工具使用（剪刀、扫帚、毛巾）和铰接物体（烤箱门、抽屉、笔记本）等较难的交互；(2) 多视角之间在时间上同步，说明模型学到了跨视角的一致性；(3) 人手与机器人共用同一模型，说明人手数据和机器人数据在同一视觉先验中融合。这些是定性展示，定量比较见表 2 和图 6。

原文

Quantitative Comparisons. We compare VPP2 with four video foundation models and one ablation variant: (1) Wan-2.1-I2V-14B-480p (Wan et al., 2025), our base model; (2) LVP (Chen et al., 2025a), which also adapts Wan-2.1-I2V-14B-480p to manipulation tasks; (3) Cosmos3-Nano-16B, which is extensively trained on robot manipulation data; (4) Cosmos3-Super-Image2Video-64B, the strongest model in the Cosmos 3 family (Agarwal et al., 2026); and (5) VPP2-Fixed-Step, an ablation of our method that predicts a fixed-duration future chunk rather than a complete event, potentially misaligning the predicted future with the instruction describing the full event.

译文

定量比较。我们将 VPP2 与四个视频基础模型和一个消融变体进行比较：(1) Wan-2.1-I2V-14B-480p（Wan et al., 2025），即我们的底座模型；(2) LVP（Chen et al., 2025a），它同样把 Wan-2.1-I2V-14B-480p 适配到操作任务；(3) Cosmos3-Nano-16B，它在机器人操作数据上做过大量训练；(4) Cosmos3-Super-Image2Video-64B，Cosmos 3 家族中最强的模型（Agarwal et al., 2026）；(5) VPP2-Fixed-Step，我们方法的消融变体，它预测固定时长的未来片段而非完整事件，因此预测的未来可能与描述完整事件的指令不对齐。

解释

这组对比的设计很干净，每个基线都控制了一个变量：

Wan2.1-14B：同一底座、无操作训练 \to 衡量“操作数据继续预训练”带来的增益。
LVP：同一底座、也做了操作适配，但训练方式不同 \to 衡量 VPP2 数据与训练方式的增益。
Cosmos3-16B：参数量相近、大量机器人数据训练的 NVIDIA 模型。
Cosmos3-64B：参数量是 VPP2 的 4 倍多 \to 检验“小模型 + 好数据”能否胜过“大模型”。
VPP2-Fixed-Step：同样数据和描述，只是把事件级换成固定时长 \to 直接检验事件级预训练的作用。

最后一项的问题在于：描述说的是完整事件（“拿起并放进盒子”），但固定时长的视频可能只拍到“伸手”，文字与画面不匹配，训练信号就有噪声。

原文

We randomly collect 50 image–instruction pairs each for human-hand and robot manipulation and generate video predictions for every pair using each model. We first use a GPT-based evaluator to assess instruction-following success rates, reported in Table 2. Human evaluators then compare pairs of predictions to determine which better follows the instruction, yielding VPP2's pairwise win rates against each baseline in Figure 6. VPP2's advantages are most pronounced in complex manipulation scenarios requiring spatial understanding, as illustrated in Figure 7. We hypothesize that training with detailed captions encourages more accurate mappings from instructions to trajectories, contributing to these improvements.

译文

我们为人手操作和机器人操作各随机收集 50 个“图像—指令”对，并用每个模型为每一对生成视频预测。我们先用一个基于 GPT 的评估器评估指令遵循成功率，结果见表 2。随后由人类评估者两两比较预测，判断哪个更好地遵循了指令，得到 VPP2 对每个基线的成对胜率，见图 6。如图 7 所示，VPP2 的优势在需要空间理解的复杂操作场景中最为明显。我们推测，用详细描述训练促使模型学到更准确的“指令 \to 轨迹”映射，从而带来了这些提升。

解释

两种评估互补：GPT 评估器给出绝对的“成功/失败”判定，可扩展但可能有偏；人类两两比较只看相对好坏，更可靠，但无法给出绝对数值。两者结论一致，可信度更高。样本量：每类 50 个样例，成功率的统计误差约为 \sqrt{p(1-p)/50}，p=0.8 时约 \pm5.7 个百分点。因此 VPP2 与 Cosmos3-64B 的差距（人手 10 点、机器人 12 点）大约是两个标准误，有一定统计意义，但样本并不大。“我们推测”说明作者没有对“详细描述”单独做消融（Fixed-Step 消融检验的是事件级 vs 固定时长，不是描述详细程度），这是一个可以留意的论证缺口。

Method	Human	Robot
Wan2.1-14B	0.32	0.04
LVP	0.62	0.46
Cosmos3-16B	0.44	0.32
Cosmos3-64B	0.70	0.78
VPP2-Fixed-Step	0.48	0.42
VPP2 (ours)	0.80	0.90

原表注 Table 2: Instruction following success rates.
译文表注 表 2：指令遵循成功率。

表 2 解读

列：Human 为 50 个人手操作样例上的成功率，Robot 为 50 个机器人操作样例上的成功率（GPT 评估器判定）。行：五个对比模型和 VPP2。关键数字：

Wan2.1-14B 在机器人上仅 0.04（50 例中约 2 例成功），说明通用视频模型几乎无法按指令生成机器人操作视频。人手上 0.32 稍好，因为互联网视频中有不少人手操作。
VPP2 相对底座：人手 0.32\to0.80，机器人 0.04\to0.90，提升巨大，证明了操作数据继续预训练的价值。
VPP2 相对 LVP（同底座）：0.80 对 0.62、0.90 对 0.46，说明数据与训练方式的设计有效。
VPP2 相对 Cosmos3-64B：0.80 对 0.70、0.90 对 0.78，小模型胜过大模型。两列平均为 0.85 对 0.74，即摘要中的“高 11 个百分点”。
VPP2-Fixed-Step 仅 0.48/0.42，远低于 VPP2，甚至低于 LVP。这是本表最重要的消融：同样的数据，只把事件级换成固定时长，机器人成功率就从 0.90 掉到 0.42。这直接支持“事件级预训练是泛化关键”的论点。

图 6 解读

结构：左为人手（Human Hand）、右为机器人（Robot）。每行是 VPP2 对一个基线的两两比较，横向堆叠条总和为 100%：紫色为基线胜（Baseline wins），灰色为平局（Ties），绿色为 VPP2 胜（VPP2 wins）。数字（基线胜 / 平局 / VPP2 胜）：

对比基线	人手	机器人
Wan-2.1-14B	4 / 44 / 52	0 / 4 / 96
LVP	12 / 58 / 30	6 / 44 / 50
Cosmos3-16B	10 / 44 / 46	10 / 22 / 68
Cosmos3-64B	18 / 54 / 28	12 / 64 / 24

解读：在所有对比中，VPP2 胜的比例都高于基线胜的比例。对底座 Wan 的机器人任务，VPP2 胜率 96%、基线 0%，几乎是碾压。对最强的 Cosmos3-64B，平局占多数（人手 54%、机器人 64%），说明两者常常都成功或都失败；在分出胜负的样例里，VPP2 胜 28 对 18（人手）、24 对 12（机器人），优势明显但没有表 2 看起来那么悬殊。平局比例高也提示：在较简单的样例上，强模型之间差别不大，差距主要来自较难的样例（见图 7）。

图 7 解读

三行从上到下分别是 Wan-14B、Cosmos3-64B、VPP2 的预测，每个样例取 4–5 帧。最后一帧用圆圈标出结果：红圈表示错误，绿圈表示正确。(a) 人手：“抓起最左边的瓶子，放到矮杯子前面。”Wan-14B 和 Cosmos3-64B 的最终画面中，瓶子没有被放到正确位置（红圈）；VPP2 正确地拿了最左边的瓶子，并放在矮杯子前方（绿圈）。(b) 机器人：“把红色纸杯叠到最左边的黑色纸杯上。”Wan-14B 的机械臂没有完成正确的叠放；Cosmos3-64B 把红杯叠到了错误的黑杯上（不是最左边那个）；VPP2 叠在了最左边的黑杯上。两例的共同点是指令中含有空间关系词（leftmost、in front of），原图中用绿色字标出。这正是详细描述训练所针对的“目标物体歧义”：训练描述总是用“最左边的黄盒子”这类空间限定语来区分相似物体，模型因此学会了把这类词落实到画面中的具体位置。

4.2策略性能分析（Policy Performance Analysis）

原文

Zero-shot Performance on Real-world Aloha Robot. After pretraining a strong video foundation model for manipulation, we post-train and distill it into a fast, single-step generator to support action learning. With its generalizable video predictions, VPP2 demonstrates strong zero-shot capabilities across open-ended manipulation tasks. We deploy VPP2 directly on a robot embodiment seen during training, without task-specific fine-tuning. For comparison, we train \pi_{0.5} (Intelligence et al., 2025) and the Wan-14B version of Fast-WAM (Yuan et al., 2026) on the same data used in VPP2 training. We evaluate models on 10 different categories of zero-shot tasks and present results in Figure 8. VPP2 achieves an average success rate of 58.5%, compared with 40.0% for \pi_{0.5} and 20.5% for Fast-WAM, and performs best in 9 of the 10 categories.

译文

真实 ALOHA 机器人上的零样本表现。在为操作任务预训练出强大的视频基础模型后，我们对其做后训练并蒸馏，得到快速的单步生成器，以支持动作学习。凭借可泛化的视频预测，VPP2 在开放式操作任务上展现出强零样本能力。我们把 VPP2 直接部署在训练中见过的机器人本体上，不做任务特定的微调。作为对比，我们用与 VPP2 训练相同的数据训练 \pi_{0.5}（Intelligence et al., 2025）和 Wan-14B 版本的 Fast-WAM（Yuan et al., 2026）。我们在 10 类零样本任务上评测各模型，结果见图 8。VPP2 的平均成功率为 58.5%，而 \pi_{0.5} 为 40.0%，Fast-WAM 为 20.5%；在 10 类任务中，VPP2 在 9 类上表现最好。

解释

“零样本”的含义：本体（ALOHA 双臂）见过，任务没有专门微调过，测试任务是从开放任务中随机挑的类别。这比“全新机器人”的零样本要弱，但比“在目标任务上收集示范再微调”的常规流程强得多。对比的公平性：\pi_{0.5} 是 Physical Intelligence 的 VLA 代表，Fast-WAM 是 WAM 代表，且选了同样基于 Wan-14B 的版本。两者都在 VPP2 训练数据中的 ALOHA 部分上微调（图 8 图注）。因此差距主要来自方法本身：VPP2 的事件级预训练 + 详细描述 + 保护视频先验的动作训练。Fast-WAM 只有 20.5%，比 VLA 的 \pi_{0.5} 还低一半，这正是引言所说的“现有 WAM 开放场景中预测不可靠”的真机证据：同样的 Wan-14B 底座，不同的训练方式，结果相差近 3 倍。

图 8 解读

坐标：横轴为 10 个任务类别加平均（Average），纵轴为成功率（0–100%）。每组三根柱：紫色 \pi_{0.5}、灰色 FastWAM-14B、绿色 VPP2。最右的平均组用斜纹表示。逐类数字（\pi_{0.5} / FastWAM / VPP2，%）： Stack 叠放 40/25/65；Pick 拾取 45/20/70；Place 放置 55/40/75；Fold 折叠 80/35/70；Pour 倾倒 0/0/40；Pull 拉 35/20/50；Insert 插入 50/15/55；Open 打开 20/20/35；Close 关闭 30/0/60；Wipe 擦拭 45/30/65。验算平均：VPP2 =(65+70+75+70+40+50+55+35+60+65)/10=585/10=58.5；\pi_{0.5}=(40+45+55+80+0+35+50+20+30+45)/10=40.0；FastWAM =(25+20+40+35+0+20+15+20+0+30)/10=20.5。与正文一致。结论：唯一 VPP2 不是最好的是 Fold（折叠衣物），\pi_{0.5} 80% 高于 VPP2 70%。\pi 系列以叠衣服见长，大量布料示范可能带来了这一优势；对于可变形物体，视频预测布料形变本身也更难。Pour（倾倒）上两个基线都是 0，VPP2 达到 40%，这类需要精确控制倾角的任务受益于视觉规划。Close 上 FastWAM 为 0，VPP2 60%。注意每类任务的试验次数论文未说明，从百分比均为 5 的倍数推测每类为 20 次（或其约数），因此单类数字的统计波动较大，平均值更可靠。

原文

LIBERO-ID, LIBERO-Pro, and LIBERO-OOD Benchmarks. All models are trained exclusively on the four standard LIBERO suites (Liu et al., 2023) and are evaluated under three complementary settings. LIBERO-ID measures standard in-distribution manipulation performance. To assess generalization beyond the training distribution, we further evaluate on LIBERO-Pro (Zhou et al., 2025) and LIBERO-OOD (Li, 2025) without additional training. Following HarnessVLA (Zhang et al., 2026e), we evaluate the Position and Task perturbations of LIBERO-Pro, which test generalization to changes in object positions and task specifications, respectively. We further follow (Mishra et al., 2026) to evaluate compositional generalization on LIBERO-OOD, which recombines familiar objects, layouts, and goals into unseen task configurations along spatial, object, and goal dimensions. Per-suite LIBERO-ID results are provided in Appendix C.1.

译文

LIBERO-ID、LIBERO-Pro 与 LIBERO-OOD 基准。所有模型都只在四个标准 LIBERO 套件（Liu et al., 2023）上训练，并在三种互补的设置下评测。LIBERO-ID 衡量标准的分布内（in-distribution）操作性能。为评估训练分布之外的泛化，我们进一步在 LIBERO-Pro（Zhou et al., 2025）和 LIBERO-OOD（Li, 2025）上评测，不做额外训练。参照 HarnessVLA（Zhang et al., 2026e），我们评测 LIBERO-Pro 的 Position（位置）和 Task（任务）扰动，分别检验对物体位置变化和任务设定变化的泛化。我们还参照 Mishra et al.（2026）在 LIBERO-OOD 上评测组合泛化：它把熟悉的物体、布局和目标沿空间、物体、目标三个维度重新组合成未见过的任务配置。LIBERO-ID 的分套件结果见附录 C.1。

解释

三种设置的关系：同一个训练好的模型，先在原题（ID）上考，再在“改了题”的版本上考，不允许再训练。

LIBERO-ID：四个套件 Spatial（同样物体、不同空间布局）、Object（不同物体）、Goal（不同目标）、Long（即 LIBERO-10，长程任务）。现在主流方法都在 95% 以上，已接近饱和。
LIBERO-Pro：Position 扰动交换/移动物体位置（附录称 position swap），Task 扰动改写指令、把任务重定向到另一个目标（instruction redirection）。如果策略只是记住了“这个场景就做这套动作”，那么指令变了它也照做原动作，Task 扰动下就会接近 0。
LIBERO-OOD：把熟悉的元素重新组合，例如在 Spatial 套件的布局上执行 Goal 套件里的目标。考的是“组合泛化”。

注意：这里 VPP2 是在 LIBERO 数据上做了后训练的，不是零样本。

	LIBERO-ID	LIBERO-Pro			LIBERO-OOD
Method	Overall	Position	Task	Overall	Spatial	Object	Goal	Overall
\pi_0 (Black et al., 2024)	94.2	0.5	0.0	0.3	0.7	0.3	4.3	1.7
\pi_{0.5} (Intelligence et al., 2025)	96.9	20.8	1.3	11.0	36.7	2.3	41.7	26.8
MolmoAct (Lee et al., 2025)	86.6	1.5	1.5	1.5	–	–	–	–
X-VLA (Zheng et al., 2026)	98.1	0.8	6.8	3.8	–	–	–	–
AtomVLA (Sun et al., 2026)	97.0	7.3	5.3	6.3	–	–	–	–
Cosmos-Policy (Kim et al., 2026)	98.5	–	–	–	30.7	0.3	0.7	10.5
Fast-WAM (Yuan et al., 2026)	97.6	–	–	–	12.7	0.0	15.7	9.4
DiT4DiT (Ma et al., 2026)	98.6	–	–	–	9.0	0.0	10.3	6.4
Temporal Ratio (Mishra et al., 2026)	94.0	–	–	–	58.6	40.0	80.3	59.4
VPP2 (Ours)	98.8	42.3	47.8	45.0	59.3	44.5	87.7	63.9

原表注 Table 3: Post-training on LIBERO-ID, LIBERO-Pro, and LIBERO-OOD benchmarks. All models are trained exclusively on the four standard LIBERO suites (Liu et al., 2023) and are evaluated under three complementary settings.
译文表注 表 3：在 LIBERO-ID、LIBERO-Pro 和 LIBERO-OOD 基准上的后训练结果。所有模型只在四个标准 LIBERO 套件（Liu et al., 2023）上训练，并在三种互补设置下评测。

表 3 解读

列：LIBERO-ID 总体成功率；LIBERO-Pro 的 Position、Task 两种扰动及其总体；LIBERO-OOD 的 Spatial、Object、Goal 三个组合维度及总体。单位均为 %。“–”表示原文献未报告。行：上组为 VLA（\pi_0、\pi_{0.5}、MolmoAct、X-VLA、AtomVLA），中组为视频类策略/WAM（Cosmos-Policy、Fast-WAM、DiT4DiT）以及专门研究视频—动作泛化差距的 Temporal Ratio，最后是 VPP2。关键读法：

ID 列几乎没有区分度：除 MolmoAct 外都在 94%–98.8%，VPP2 的 98.8% 只比 DiT4DiT 的 98.6% 高 0.2。
Pro 列暴露“记忆”：Task 扰动下 \pi_0 为 0.0、\pi_{0.5} 1.3、最好的 X-VLA 也只有 6.8，说明这些 VLA 在指令改变后仍执行原来的动作。VPP2 达到 47.8，差了一个数量级。Position 扰动下 \pi_{0.5} 有 20.8，VPP2 为 42.3。Overall 是两者平均：(42.3+47.8)/2\approx45.0。
OOD 列暴露 WAM 的问题：同为视频类方法，Cosmos-Policy、Fast-WAM、DiT4DiT 总体只有 6.4–10.5，Object 维度几乎为 0。这些方法 ID 成绩很高，却完全不能组合泛化，印证了“加动作训练破坏视频模型泛化”的说法。Temporal Ratio 针对这一问题设计，达到 59.4；VPP2 为 63.9，三个维度都略高于它，Goal 维度达到 87.7。

一个比较上的局限：LIBERO-Pro 只有 VLA 的结果，LIBERO-OOD 只有视频类方法和 \pi 系列的结果，两组基线并不重合。VPP2 是唯一两边都报告的方法。

原文

As shown in Table 3, while most baselines exceed 94% on LIBERO-ID, this in-distribution performance does not transfer to generalization. On LIBERO-Pro, VLA baselines drop to at most 11.0% overall, whereas VPP2 reaches 45.0%, with the largest gain on the Task perturbation (47.8% vs. 6.8%), indicating that VPP2 follows the given instruction rather than replaying memorized trajectories. On LIBERO-OOD, video-based policies such as Cosmos-Policy, Fast-WAM, and DiT4DiT reach at most 10.5%, while VPP2 achieves 63.9%, also surpassing Temporal Ratio (Mishra et al., 2026), which specifically targets this generalization gap. We attribute these gains to next-event video prediction with detailed captions, which establishes consistent mappings from instructions to future trajectories.

译文

如表 3 所示，虽然多数基线在 LIBERO-ID 上超过 94%，但这种分布内性能并不能转化为泛化能力。在 LIBERO-Pro 上，VLA 基线的总体成功率最高只有 11.0%，而 VPP2 达到 45.0%，其中在 Task 扰动上提升最大（47.8% 对 6.8%），说明 VPP2 遵循的是所给的指令，而不是重放记住的轨迹。在 LIBERO-OOD 上，Cosmos-Policy、Fast-WAM、DiT4DiT 等基于视频的策略最高只有 10.5%，而 VPP2 达到 63.9%，也超过了专门针对这一泛化差距的 Temporal Ratio（Mishra et al., 2026）。我们将这些提升归功于带详细描述的下一事件视频预测，它建立了从指令到未来轨迹的一致映射。

解释

这段是表 3 的文字总结，要点在表 3 解读中已展开。补充一点思考：作者把提升归功于“下一事件视频预测 + 详细描述”，但在 LIBERO 后训练时，VPP2 使用的是 LIBERO 自带的简短指令还是经 VLM 扩写后的详细描述，论文没有说明；此外 VPP2 还多了大规模操作视频预训练这一因素，而对比的 Cosmos-Policy 等也有各自的视频预训练。因此“哪个因素贡献多少”在本文中没有被严格拆分，归因属于合理推测。

原文

RoboDojo Benchmark. RoboDojo (Chen et al., 2026a) is a unified sim-and-real benchmark for evaluating generalist robot manipulation policies. Its simulation benchmark contains 42 bimanual tasks covering five capability dimensions: generalization, memory, precision, long-horizon execution, and open-vocabulary instruction following. We follow the official training and evaluation protocol and report both the success rate and the average score, which captures partial task progress.

译文

RoboDojo 基准。RoboDojo（Chen et al., 2026a）是一个用于评估通用机器人操作策略的仿真—真机统一基准。其仿真基准包含 42 个双臂任务，覆盖五个能力维度：泛化、记忆、精度、长时程执行和开放词汇指令遵循。我们遵循官方的训练和评测协议，同时报告成功率和平均得分；平均得分反映任务的部分完成进度。

解释

两个指标：成功率是二值的（完成或未完成）；平均得分给部分完成也算分，例如三步任务完成两步可能得约 67 分。得分比成功率更细腻，能区分“差一点成功”和“完全没动”。RoboDojo 的五个维度在附录 C.4 中有详细定义。它是本文选的最“综合”的基准，且有公开排行榜，与之对比的基线结果直接取自排行榜，避免了作者自己复现基线可能带来的偏差。

原文

To support memory-dependent tasks, we augment the model input with the initial frame of the episode (t=0) and eight past frames sampled at one-second intervals. Since this modification changes the model's input structure, we initialize RoboDojo-specific post-training from the Stage 2 checkpoint before consistency distillation. We first train the video model alone for 10{,}000 steps, then jointly train the video model and action expert. Throughout training, the video noise level is fixed at its maximum, and video prediction requires only a single forward pass at inference. During joint training, the action flow timestep is randomly sampled from [0,1].

译文

为支持依赖记忆的任务，我们在模型输入中加入回合的初始帧（t=0）以及以一秒为间隔采样的八个历史帧。由于这一修改改变了模型的输入结构，我们从一致性蒸馏之前的 Stage 2 检查点开始做 RoboDojo 专用的后训练。我们先单独训练视频模型 10{,}000 步，再联合训练视频模型和动作专家。在整个训练中，视频噪声水平固定为最大值，推理时视频预测只需一次前向。联合训练期间，动作的流时间步从 [0,1] 中随机采样。

解释

这段描述了一个与主线略有不同的训练配置，值得细读。记忆输入：原 VPP2 只以当前帧为条件，无法记住“刚才看到了什么”。这里额外输入第 0 帧和过去 8 秒（每秒一帧）的历史，共 9 帧上下文。例如“记住杯子下面藏的是什么，再去取”的任务就需要这些历史帧。为什么从蒸馏前的检查点开始：输入结构变了（多了历史帧），蒸馏好的单步模型对新的输入格式不再适用，需要重新适配。“视频噪声固定为最大值”：即视频部分的输入永远是纯噪声（s=0），模型只做一次前向。这与 VPP 一代的做法相同：并不真的让视频去噪成清晰画面，而是取这一次前向中视频 DiT 的内部表征（KV）供动作专家使用。训练与推理都固定在这一噪声水平，避免了训练—推理不一致。这样做实际上绕开了一致性蒸馏：既然只用最大噪声下的单次前向特征，就不需要多步采样，也就不需要蒸馏。两阶段训练：先只训练视频 10,000 步，让视频模型适应 RoboDojo 场景和新的输入格式；再联合训练。仍然是“先视频、后动作”的思路。动作部分的流时间步正常随机采样，因为动作需要多步去噪（推理时 5 步）。

原文

As shown in Table 4, VPP2 achieves an average score of 39.26 and a success rate of 32.26%, achieving state-of-the-art performance.（注：Baseline results are taken from the official RoboDojo simulation leaderboard as of September 2026.（脚注译文：基线结果取自截至 2026 年 9 月的 RoboDojo 官方仿真排行榜。）） It outperforms representative VLAs such as \pi_{0.5} (Intelligence et al., 2025), X-VLA (Zheng et al., 2026), and Xiaomi-Robotics-1 (Guo et al., 2026), world action models such as Fast-WAM (Yuan et al., 2026) and OpenWAM-\alpha (Wang et al., 2026a), and the frontier foundation model GPT-6-Astra (Zhang et al., 2026d) (28.97 / 22.48%). Per-dimension results are provided in Appendix C.4.

译文

如表 4 所示，VPP2 取得了 39.26 的平均得分和 32.26% 的成功率，达到当前最优。它超过了 \pi_{0.5}（Intelligence et al., 2025）、X-VLA（Zheng et al., 2026）、Xiaomi-Robotics-1（Guo et al., 2026）等代表性 VLA，Fast-WAM（Yuan et al., 2026）、OpenWAM-\alpha（Wang et al., 2026a）等世界动作模型，以及前沿基础模型 GPT-6-Astra（Zhang et al., 2026d）（28.97 / 22.48%）。分维度结果见附录 C.4。

解释

一个时间上的小矛盾：脚注说基线结果取自“截至 2026 年 9 月”的排行榜，而附录 C.4 说结果取自“2026 年 10 月 12 日访问”的排行榜。两者可能是 v3 版本更新时只改了附录未改脚注，数字本身在表 4 与表 9/10 中是一致的。GPT-6-Astra是一个前沿通用基础模型直接作为机器人策略来评测（引文标题为“意想不到的机器人策略”），它是 VPP2 之外的第二名，比所有专门的 VLA/WAM 都强。VPP2 比它高约 10 个百分点（成功率 32.26 对 22.48）。在 WAM 类中，此前最好的是 OpenWAM-\alpha（11.92%），VPP2 接近它的 3 倍。

	\pi_0	\pi_{0.5}	X-VLA	Fast-WAM	OpenWAM-\alpha	Xiaomi-Robotics-1	GPT-6-Astra	VPP2 (Ours)
Avg. Score	3.48	11.44	10.13	3.48	17.18	20.07	28.97	39.26
Success Rate (%)	1.53	6.93	6.52	2.03	11.92	13.93	22.48	32.26

原表注 Table 4: Post-training results on the RoboDojo simulation benchmark. Average score captures partial task progress, and success rate measures binary task completion; both are averaged over the five capability dimensions. Baseline results are taken from the official leaderboard.
译文表注 表 4：RoboDojo 仿真基准上的后训练结果。平均得分反映任务的部分完成进度，成功率衡量二值的任务完成情况；两者都在五个能力维度上取平均。基线结果取自官方排行榜。

表 4 解读

列是 8 个方法：两种 \pi（VLA）、X-VLA（VLA）、Fast-WAM（WAM）、OpenWAM-\alpha（WAM）、Xiaomi-Robotics-1（用 10 万小时以上真实轨迹训练的 VLA）、GPT-6-Astra（通用前沿模型）、VPP2。行是两个指标。数字解读：

整个基准非常难：\pi_0 成功率只有 1.53%，\pi_{0.5} 6.93%。
VPP2 成功率 32.26%，是第二名 GPT-6-Astra（22.48%）的约 1.43 倍、WAM 类最好的 OpenWAM-\alpha（11.92%）的约 2.7 倍、Fast-WAM（2.03%）的约 16 倍。
平均得分的排序与成功率完全一致；VPP2 得分 39.26 比成功率高 7 个点，说明还有不少“部分完成”的回合。

“在五个能力维度上取平均”的具体算法见表 9 解读：泛化维度先对 Std. 和 Rand. 两种设置取平均，再与其余四个维度等权平均。

原文

VPP2 with Subtask Planning. The VPP2 results in Table 4 use full-task instructions without subtask planning. We further investigate VLM-based subtask planning on five selected RoboDojo task groups covering object classification, block stacking, block swapping, mahjong, and tic-tac-toe. To train the subtask-conditioned policy, we segment demonstrations and pair each segment with a subtask instruction. At test time, a vision-language model (VLM) uses visual observations and execution feedback to select the next subtask for VPP2 to execute.

译文

带子任务规划的 VPP2。表 4 中 VPP2 的结果使用的是完整任务指令，没有子任务规划。我们进一步在五个选定的 RoboDojo 任务组上研究基于 VLM 的子任务规划，这五组覆盖物体分类、积木堆叠、积木交换、麻将和井字棋。为训练以子任务为条件的策略，我们把示范切分成段，并为每段配上一条子任务指令。测试时，一个视觉-语言模型（VLM）根据视觉观测和执行反馈，选择下一个子任务交给 VPP2 执行。

解释

实验设计：这是对 3.3 节分层架构的验证。选的五组任务都需要“想”：分类要识别物体属性；按语言堆叠要理解顺序；交换积木需要规划中转位置；“麻将”（原图写作 Make kong，即“杠”，凑出四张相同的牌）需要识别牌面；井字棋需要下棋策略。这些都是 VLM 擅长、而低层策略难以从示范中学到的能力。两处改动：训练端，把一条长示范按子任务切段，每段配子任务描述（与第 2 节的事件切分思路相同）；测试端，VLM 看画面、看上一个子任务是否成功，再决定下一步。“执行反馈”意味着这是闭环规划，失败可以重试。

图 9 解读

坐标：纵轴为成功率（%），横轴为五个任务组和平均。灰柱为 VPP2（完整任务指令），蓝柱为 VPP2 + 子任务规划。数字（无规划 \to 有规划）：Classify objects 分类物体 46\to70；Stack by lang. 按语言堆叠 10\to52；Swap blocks 交换积木 44\to76；Make kong 麻将凑杠 38\to52；Tic-tac-toe 井字棋 0\to38；Average 27.6\to57.6。验算：(46+10+44+38+0)/5=27.6，(70+52+76+52+38)/5=57.6，与图中一致。结论：规划带来的平均提升为 30 个百分点，成功率翻倍有余。提升最大的是两类最依赖推理的任务：按语言堆叠（+42）和井字棋（从 0 到 38）。井字棋无规划时为 0，说明 VPP2 本身完全学不会“下哪一格”，但给定“在左上角放一个 X”这样的明确子任务，它能执行。这清楚地展示了分层分工的价值：VLM 负责“想做什么”，VPP2 负责“怎么做”。每任务 50 次试验，单任务的统计误差约 \pm7 个百分点，但所有五个任务都有提升，结论稳健。需要注意这五组是“选定”的，偏向需要推理的任务，不能直接推断规划在全部 42 个任务上都有这么大提升。

原文

Figure 9 summarizes the results across the five selected task groups. The evaluated planning configurations achieve an average success rate of 57.6%, compared with 27.6% for the baseline. The largest gains occur in language-conditioned block stacking (10% to 52%) and tic-tac-toe (0% to 38%).

译文

图 9 汇总了五个选定任务组上的结果。所评测的规划配置取得了 57.6% 的平均成功率，而基线为 27.6%。提升最大的是语言条件下的积木堆叠（从 10% 到 52%）和井字棋（从 0% 到 38%）。

解释

这段是图 9 的文字总结。“所评测的规划配置”（the evaluated planning configurations）用了复数，暗示可能尝试了不止一种 VLM 或提示配置，但论文没有交代具体用了哪个 VLM、是否每个任务用了不同配置。这是复现时需要到项目主页或代码中确认的细节。

5相关工作（Related Works）

原文

Video Foundation Model. Video generation has advanced rapidly through latent diffusion models (Blattmann et al., 2023b;a) and large-scale diffusion transformer models (Yang et al., 2025; Wan et al., 2025; Agarwal et al., 2025; 2026). Large-scale bidirectional video models provide strong general-purpose video priors; even recent autoregressive generators build on pretrained bidirectional models, using them for initialization or as teachers before causal adaptation and distillation (Yin et al., 2025; Huang et al., 2025). This motivates our strategy of first learning a generalizable video model and then adapting it for efficient prediction. Besides the training strategy, prompt enhancement is an important component of video foundation models (Yang et al., 2025; Wan et al., 2025). Similarly, we use a VLM to produce detailed, manipulation-specific descriptions that reduce ambiguity in these mappings. After establishing this manipulation-focused video prior, we post-train the model for fixed-horizon prediction and distill it for single-step generation to support efficient action learning.

译文

视频基础模型。借助潜空间扩散模型（latent diffusion model，Blattmann et al., 2023b;a）和大规模扩散 Transformer 模型（Yang et al., 2025; Wan et al., 2025; Agarwal et al., 2025; 2026），视频生成发展迅速。大规模双向（bidirectional）视频模型提供了强大的通用视频先验；即便是近期的自回归生成器，也建立在预训练双向模型之上：在做因果适配和蒸馏之前，先用双向模型做初始化或充当教师（Yin et al., 2025; Huang et al., 2025）。这启发了我们的策略：先学一个可泛化的视频模型，再把它适配为高效的预测器。除训练策略外，提示词增强也是视频基础模型的重要组成部分（Yang et al., 2025; Wan et al., 2025）。类似地，我们用 VLM 生成详细的、面向操作的描述，以减少这些映射中的歧义。在建立这一面向操作的视频先验之后，我们对模型做固定时域预测的后训练，并将其蒸馏为单步生成，以支持高效的动作学习。

解释

发展脉络：以 Stable Video Diffusion（Blattmann et al., 2023）为代表的 U-Net 潜空间扩散，发展到 CogVideoX（Yang et al., 2025）、Wan、Cosmos 等 DiT 大模型。双向与自回归：双向模型一次生成整段视频，所有帧互相注意；自回归模型逐帧（或逐块）生成，只看过去，适合流式、实时场景。作者引用 CausVid（Yin et al., 2025）和 Self-Forcing（Huang et al., 2025）说明：即使最终想要自回归模型，业界的做法也是先训好双向模型，再改造、蒸馏成因果模型。VPP2 的“先通用、后高效”路线与此同构：Stage 1 学通用能力，Stage 2 适配与蒸馏。这一段实际上是在为 VPP2 的三阶段设计寻找视频生成领域的先例，论证其合理性。

原文

World Action Model. World action models (WAMs) leverage video prediction to facilitate robot policy learning. Early approaches first generate future frames and then infer actions through inverse dynamics (Du et al., 2023; Black et al., 2023; Bharadhwaj et al., 2024; Liang et al., 2024; Feng et al., 2025), but iterative video generation can incur substantial latency for closed-loop control. Hierarchical approaches also combine video-based motion planning with reactive VLA control (Zhang et al., 2026f). More recent approaches condition actions on features from video models (Hu et al., 2024; Liao et al., 2025; Jia et al., 2025; Yan et al., 2026b) or jointly learn visual prediction and action generation (Zhang et al., 2025; Guo et al., 2024; Li et al., 2025c; Zhu et al., 2025; Ma et al., 2026; Kim et al., 2026; Yan et al., 2026a; Ye et al., 2026; Li et al., 2026a; Bi et al., 2026; Motubrain Team et al., 2026). Recent work also explores event-grounded world-action learning (Li et al., 2026b) and large-scale manipulation-specific pretraining (AgiBot Research Team et al., 2026). Nevertheless, action learning can compromise pretrained capabilities, including video-model generalization (Mishra et al., 2026) and VLM semantic understanding (Zhang et al., 2026b). VPP2 emphasizes instruction-aligned future prediction, combining event-level pretraining with detailed captions, fixed-horizon post-training, and single-step distillation to provide an efficient video backbone for action learning.

译文

世界动作模型。世界动作模型（WAM）利用视频预测来辅助机器人策略学习。早期方法先生成未来帧，再通过逆动力学推断动作（Du et al., 2023; Black et al., 2023; Bharadhwaj et al., 2024; Liang et al., 2024; Feng et al., 2025），但迭代式的视频生成会给闭环控制带来很大延迟。也有分层方法把基于视频的运动规划与反应式的 VLA 控制结合起来（Zhang et al., 2026f）。更近期的方法要么以视频模型的特征为条件生成动作（Hu et al., 2024; Liao et al., 2025; Jia et al., 2025; Yan et al., 2026b），要么联合学习视觉预测与动作生成（Zhang et al., 2025; Guo et al., 2024; Li et al., 2025c; Zhu et al., 2025; Ma et al., 2026; Kim et al., 2026; Yan et al., 2026a; Ye et al., 2026; Li et al., 2026a; Bi et al., 2026; Motubrain Team et al., 2026）。近期工作还探索了以事件为基础的世界—动作学习（Li et al., 2026b）和大规模面向操作的预训练（AgiBot Research Team et al., 2026）。然而，动作学习可能损害预训练得到的能力，包括视频模型的泛化能力（Mishra et al., 2026）和 VLM 的语义理解能力（Zhang et al., 2026b）。VPP2 强调与指令对齐的未来预测，结合了带详细描述的事件级预训练、固定时域后训练和单步蒸馏，为动作学习提供一个高效的视频主干。

解释

这段把 WAM 分成三代，便于定位 VPP2：

先生成、再逆动力学（UniPi、SuSIE、Gen2Act 等）：显式生成视频，慢。
分层：如 Veo-Act（Zhang et al., 2026f，同一团队），用前沿视频模型（Veo）做运动规划，VLA 做反应控制。
特征条件或联合建模：VPP（Hu et al., 2024，本文前作）取视频模型特征；PAD（Guo et al., 2024，同团队）、UWM、DiT4DiT、Cosmos-Policy 等联合去噪视频与动作。

VPP2 属于第 3 类，并吸收了“事件”思想（WALL-WM, Li et al., 2026b）和“大规模操作预训练”思想（GE-Act 2.0）。最后两句点出 VPP2 与同类的区别：别人着重“动作怎么接”（架构），VPP2 着重“视频预测本身是否听指令”以及“接动作时别把它弄坏”。UAM（Zhang et al., 2026b，同团队）研究的是 VLA 训练中 VLM 能力的遗忘，与这里视频模型能力的遗忘是同一类问题。

原文

Generalizable Robot Policy. Vision-language-action (VLA) models transfer pretrained visual and semantic knowledge to robot control through training on diverse robot demonstrations (Brohan et al., 2023; Kim et al., 2024; Black et al., 2024; Intelligence et al., 2025; Liu et al., 2024; Wen et al., 2025; Zheng et al., 2026; Lee et al., 2025; Zhong et al., 2025). However, stronger general-purpose vision-language capabilities do not necessarily translate into better downstream control, motivating representations and supervision tailored to embodied tasks (Zhang et al., 2026a). Recent work improves spatial grounding through target-region reconstruction and alignment with pretrained 3D representations (Song et al., 2025; Li et al., 2025a), combines multimodal understanding with future prediction (Zhang et al., 2025), and grounds latent actions in visual and proprioceptive dynamics (Chen et al., 2026b). Temporal reasoning is further supported by modeling past and future motion (Lin et al., 2025) and interleaving language reasoning, visual forecasting, and action generation for long-horizon manipulation (Hu et al., 2026).

译文

可泛化的机器人策略。视觉-语言-动作（VLA）模型通过在多样化的机器人示范上训练，把预训练的视觉与语义知识迁移到机器人控制中（Brohan et al., 2023; Kim et al., 2024; Black et al., 2024; Intelligence et al., 2025; Liu et al., 2024; Wen et al., 2025; Zheng et al., 2026; Lee et al., 2025; Zhong et al., 2025）。然而，更强的通用视觉-语言能力并不一定转化为更好的下游控制，这促使人们研究面向具身任务定制的表征与监督（Zhang et al., 2026a）。近期工作通过目标区域重建以及与预训练 3D 表征对齐来改进空间定位（Song et al., 2025; Li et al., 2025a），把多模态理解与未来预测结合起来（Zhang et al., 2025），并把潜在动作（latent action）建立在视觉与本体感知动力学之上（Chen et al., 2026b）。对过去与未来运动的建模（Lin et al., 2025），以及在长程操作中交替进行语言推理、视觉预测和动作生成（Hu et al., 2026），进一步支持了时间推理。

解释

VLA 一侧的脉络：RT-2、OpenVLA、\pi_0/\pi_{0.5}、RDT、DexVLA、X-VLA、MolmoAct、FlowVLA 等。关键论点：VLM4VLA（Zhang et al., 2026a，同团队）发现 VLM 本身越强，不一定 VLA 就越强。这为“换一种骨干（视频模型）”提供了动机。后面列举的改进（空间对齐、未来预测、潜在动作、时间建模）都是在 VLA 框架内弥补“VLM 缺乏具身知识”的尝试。其中“结合未来预测”（UP-VLA）与 WAM 思路已经很接近。

原文

Complementary advances improve action generation and execution through hybrid autoregressive-diffusion modeling (Liu et al., 2025), lightweight action adapters (Wang et al., 2025), and hierarchical architectures that couple slowly updated semantic representations with fast control (Zhang et al., 2024; Chen et al., 2025b). High-level planners further decompose open-ended instructions into executable subtasks (Shi et al., 2025; Cui et al., 2025), while online reinforcement learning enables pretrained policies to improve through environment interaction (Guo et al., 2025). Despite these advances, robustness to task perturbations and novel instructions remains challenging (Zhou et al., 2025; Li, 2025). Our approach pursues generalization through manipulation-specific video pretraining, using instruction-aligned future predictions to guide efficient action learning.

译文

另有一些互补的进展改进了动作生成与执行：混合自回归—扩散建模（Liu et al., 2025）、轻量级动作适配器（Wang et al., 2025），以及把缓慢更新的语义表征与快速控制结合的分层架构（Zhang et al., 2024; Chen et al., 2025b）。高层规划器进一步把开放式指令分解为可执行的子任务（Shi et al., 2025; Cui et al., 2025），而在线强化学习使预训练策略能通过与环境交互不断改进（Guo et al., 2025）。尽管有这些进展，对任务扰动和新指令的鲁棒性仍然是难题（Zhou et al., 2025; Li, 2025）。我们的方法通过面向操作的视频预训练来追求泛化，用与指令对齐的未来预测来引导高效的动作学习。

解释

这段列举的是“动作侧”和“系统侧”的改进：HybridVLA、VLA-Adapter、HiRT 与 Fast-in-Slow（快慢双系统）、Hi Robot 类高层规划器、iRe-VLA（在线强化学习，同团队）。最后两句是整个相关工作的落点：以上方法在 LIBERO-Pro、LIBERO-OOD 这类扰动测试上依然吃力（正是表 3 所显示的），VPP2 则从“视频预训练 + 指令对齐的未来预测”这个不同角度来解决泛化问题。

6结论（Conclusion）

原文

We presented Video Prediction Policy 2 (VPP2), a world action model that achieves strong zero-shot generalization in both video prediction and action generation. We first continue pretraining the base video model to produce generalizable, instruction-following predictions, then learn a policy while preserving these predictive capabilities. Experiments show that VPP2 follows manipulation instructions more faithfully than substantially larger video foundation models, exhibits strong zero-shot manipulation capabilities on a real-world ALOHA platform, and achieves the highest success rates after post-training on challenging benchmarks. We hope these findings encourage future WAM research to look beyond architectural choices for action modeling and place greater emphasis on learning generalizable video predictions and preserving this generalization during action learning.

译文

我们提出了视频预测策略 2（VPP2），一个在视频预测和动作生成两方面都具备强零样本泛化能力的世界动作模型。我们先对底座视频模型做继续预训练，使其给出可泛化、遵循指令的预测，再在保留这些预测能力的前提下学习策略。实验表明，VPP2 比参数量大得多的视频基础模型更忠实地遵循操作指令，在真实 ALOHA 平台上展现出强零样本操作能力，并在具有挑战性的基准上经后训练后取得最高成功率。我们希望这些发现能鼓励未来的 WAM 研究超越动作建模的架构选择，更加重视学习可泛化的视频预测，并在动作学习中保持这种泛化能力。

解释

结论最后一句是本文想传达的主张：WAM 社区过去多在“动作头怎么接、视频与动作怎么联合去噪”这类架构问题上竞争，而作者认为瓶颈在视频预测本身的泛化，以及接动作时对它的保护。值得追问的地方（供读者思考，非原文内容）：

详细描述的单独贡献没有被消融；事件级 vs 固定时长的消融只在视频指令遵循上做了，没有在策略成功率上做。
冻结 + LoRA 的保护策略没有对照实验（例如全参数训练会掉多少）。
训练数据总量、各来源比例、计算开销没有给出。
真机零样本只在训练见过的 ALOHA 本体上测试，对未见本体的动作泛化尚未验证。

致谢（Acknowledgments）

原文

We thank Yucheng Hu and Jianke Zhang for insightful discussions that greatly benefited the development of VPP2.

译文

我们感谢 Yucheng Hu 和 Jianke Zhang 富有洞见的讨论，这些讨论对 VPP2 的研发大有裨益。

解释

Yucheng Hu 是 VPP 第一代的第一作者，Jianke Zhang 是 UP-VLA、VLM4VLA 等工作的作者，都来自同一研究组。

AI 使用声明（AI Use Statement）

原文

We used generative AI tools to assist with language polishing, improve the clarity and readability of the manuscript, and draft portions of the paper. In the research process, these tools were used to suggest experimental parameter settings and assist with searches for relevant literature and technical information. We also used AI tools to annotate human and robotic manipulation datasets at scale for model training. The authors evaluated the suggestions and made the final decisions regarding experimental design and parameter selection. All AI-assisted text was reviewed and revised by the authors, and retrieved information was checked against original sources before use. The authors take full responsibility for the final content of the paper, including its data, claims, results, and references.

译文

我们使用生成式 AI 工具协助语言润色、提升稿件的清晰度和可读性，并起草论文的部分内容。在研究过程中，这些工具被用来建议实验参数设置，并协助检索相关文献和技术信息。我们还使用 AI 工具大规模标注人类与机器人操作数据集，用于模型训练。作者评估了这些建议，并对实验设计和参数选择做出最终决定。所有 AI 辅助的文本都经过作者审阅和修改，检索到的信息在使用前已与原始来源核对。作者对论文的最终内容（包括数据、论断、结果和参考文献）承担全部责任。

解释

这是 ICLR 等会议近年要求的 AI 使用声明。值得注意的是“用 AI 工具大规模标注数据集”，即第 2 节中的 VLM 切分与详细描述生成，这本身就是方法的核心组成部分。

可复现性声明（Reproducibility Statement）

原文

We describe the model architecture, training objectives, and evaluation protocols in the main text, with additional data processing details provided in the appendix. Detailed training configurations, code, and model checkpoints are available on our project website.

译文

我们在正文中描述了模型架构、训练目标和评测协议，附录中提供了更多数据处理细节。详细的训练配置、代码和模型检查点可在我们的项目网站上获取。

解释

正文缺少的细节（如动作专家层数与宽度、LoRA 秩、何时解冻、VLM 具体型号、各数据集比例等）需要到项目主页和代码仓库中查找。

参考文献（References）

参考文献从略，见原文（原 PDF 第 11–17 页）。

A数据集处理细节（Dataset Process Details）

原文

Dataset Sources. Table 5 provides the full dataset references for the training data summarized in Table 1.

译文

数据集来源。表 5 给出了表 1 所汇总训练数据的完整数据集引用。

解释

表 5 与表 1 内容相同，只是每个数据集后面加上了出处引用。

Data Type	Embodiment Type	Data Sources
Robot	Single-arm	OXE (Open X-Embodiment Collaboration, 2023), RoboMIND (Wu et al., 2025a), DROID (Khazatsky et al., 2024), RH20T (Fang et al., 2024), MolmoAct (Lee et al., 2025)
	Dual-arm	AgiBot World-Beta (Bu et al., 2025), RoboCOIN (Wu et al., 2025b), RDT (Liu et al., 2024), GM-100 (Wang et al., 2026b), ABC-130K (Allshire et al., 2026), Self-collected ALOHA Data
	Mobile & humanoid	InternData-A1 (Tian et al., 2025), Galaxea Open-World (Jiang et al., 2025), Self-collected dexterous hands
	Human hands	Open-source: EgoDex (Hoque et al., 2025), Ego4D (Grauman et al., 2022), EPIC-KITCHENS (Damen et al., 2018), Something-Something V2 (Goyal et al., 2017; Mahdisoltani et al., 2018), VITRA-1M (Li et al., 2025b); Self-collected egocentric data
	Human hands	OpenVid (Nan et al., 2025), Panda-70M (Chen et al., 2024)

原表注 Table 5: Training data sources with references to the original datasets. Self-collected datasets are collected as part of this work.
译文表注 表 5：训练数据来源及原始数据集引用。自采数据集是本工作的一部分。

表 5 解读

列与行的含义同表 1。附加的引用有助于查找原始数据：例如 GM-100 出自“The Great March 100”（100 个细节导向的具身任务），ABC-130K 出自“Scalable Behavior Cloning with Open Data”，InternData-A1 是上海 AI Lab 的合成数据，Galaxea Open-World 来自星海图。人手数据中 Something-Something V2 同时引用了两篇文献（原数据集论文和后续的任务粒度研究）。三处“Self-collected”（自采 ALOHA、自采灵巧手、自采第一视角）没有引用，表注说明它们是本工作采集的，论文未说明是否公开。

A.1视频描述（Video Captioning）

原文

After segmentation, we use a VLM to generate detailed captions for each clip according to a predefined template. Our captioning pipeline aims to reduce uncertainty in future prediction and encourage consistent mappings from semantic descriptions to visual trajectories. Specifically, we address four major sources of uncertainty:

译文

切分之后，我们用 VLM 按预定义的模板为每个片段生成详细描述。我们的描述流程旨在降低未来预测中的不确定性，促使模型学到从语义描述到视觉轨迹的一致映射。具体地，我们处理四个主要的不确定性来源：

解释

以下四条是图 2 中模板四个字段（左/右夹爪、指定物体、相机视角）背后的规则。可以把它们理解为：对于给定首帧，什么信息缺失会导致“同一描述对应多种视频”。

原文

(1) Detailed Task Description. We describe how the end effector completes the task, including the sequence and manner of manipulation.

译文

(1) 详细的任务描述。我们描述末端执行器如何完成任务，包括操作的先后顺序和方式。

解释

“方式”指诸如“从上方抓取”“用两指捏起”“推而不是拿”之类的细节；“顺序”指“先打开盖子再倒水”。同样是“把杯子放进盒子”，从侧面抓与从上面抓得到的视频完全不同，写清楚就消除了这一维度的多峰性。

原文

(2) Explicit End-Effector Identification. The active end effector must be visible in the first frame; otherwise, we trim the clip to begin when it first becomes visible. When multiple end effectors are involved, we describe the motion of each one explicitly.

译文

(2) 明确的末端执行器标识。正在动作的末端执行器必须在首帧中可见；否则，我们把片段裁剪为从它首次出现时开始。当涉及多个末端执行器时，我们分别明确描述每一个的运动。

解释

“必须在首帧可见”很重要：如果手在首帧画面外，模型要凭空“发明”手从哪里进入画面，这是不可预测的。图 2 中第一帧手不可见被删除，就是这条规则的体现。双臂时分别描述左右手，如图 2 最终描述中“右夹爪在视频中不可见”，也明确告诉模型右手不动。

原文

(3) Unambiguous Target-Object Specification. When multiple identical or similar objects are present, we identify the target using distinctive attributes or spatial relationships. The target object must also be visible in the first frame.

译文

(3) 无歧义的目标物体指定。当存在多个相同或相似的物体时，我们用有区分度的属性或空间关系来确定目标。目标物体也必须在首帧中可见。

解释

属性如颜色、材质（“不锈钢杯”）；空间关系如“左边的”“最左边的”“在盘子后面的”。这条规则直接对应图 7 的结果：VPP2 在“最左边的瓶子”“最左边的黑杯”这类指令上胜过基线。目标物体必须首帧可见，理由与第 (2) 条相同：模型无法预测画面外物体的样子和位置。

原文

(4) Camera-View Description. We use optical flow to remove egocentric clips with excessive viewpoint changes. For clips with moderate camera motion, a VLM describes the viewpoint changes and the camera views included in the video, and we incorporate this information into the caption.

译文

(4) 相机视角描述。我们用光流剔除视角变化过大的第一视角片段。对于相机运动适中的片段，由 VLM 描述视角变化以及视频中包含的相机视角，并把这些信息写入描述。

解释

第一视角视频（Ego4D、EPIC-KITCHENS）中头部会转动，画面整体移动。如果不说明，模型分不清“画面在动”是因为相机在动还是物体在动，这会污染它对物体运动的理解。光流（optical flow）衡量相邻帧像素的运动幅度，整体光流过大说明相机剧烈运动，直接剔除；适中的则用文字说明，如“相机缓慢向左转”或图 1 中的“相机保持静止”。“视频中包含的相机视角”指 T 形拼图里有几个视角、分别是什么，如图 2 中“这是一段拼接的机器人视频，右侧为两个腕部视角”。

A.2统一动作空间（Unified Action Space）

原文

译文

我们重点关注以自我为中心视角的双臂数据集，包括 ALOHA 式、人形式和人类第一视角数据集。这些数据集占全部数据的 80% 以上，具有相似的双臂结构和相机视角。我们在两个层面显式对齐它们的坐标系：(1) 工作空间对齐，施加一个世界坐标系变换，使不同机器人的末端执行器工作空间可比；(2) 末端执行器对齐，施加一个局部变换，统一末端执行器的原点和坐标轴朝向。

解释

本段与正文第 2 节对应段落逐字相同，详细解释见第 2 节。附录没有补充新的信息（例如具体的规范坐标系定义、人手如何映射为“末端执行器”、夹爪开合如何统一），这些细节需查阅代码。

原文

\tilde T_d=A_dT_dB_d,\tag{6}

译文

对一个机械臂数据集 d，令 T_d={}^{W_d}T_{E_d}\in SE(3) 表示原始的末端执行器位姿，其中 W_d 和 E_d 分别是该数据集的世界坐标系和末端执行器坐标系。我们定义工作空间对齐为 A_d={}^{\bar W}T_{W_d}，末端执行器对齐为 B_d={}^{E_d}T_{\bar E}，其中 \bar W 和 \bar E 表示规范世界坐标系和规范末端执行器坐标系。对齐后的末端执行器位姿为

\tilde T_d=A_dT_dB_d,\tag{6}

解释

与第 2 节公式完全相同，此处只是加了编号 (6)。符号含义和链式相消见第 2 节的解释。补充一点：动作通常不是绝对位姿，而是相邻时刻的位姿增量或相对当前位姿的目标位姿。由于 A_d、B_d 都是常量，对绝对位姿做了对齐，增量也就自动在规范坐标系下表达，例如 \tilde T_d^{(t)}{}^{-1}\tilde T_d^{(t+1)}=B_d^{-1}\big(T_d^{(t)}{}^{-1}T_d^{(t+1)}\big)B_d，世界系变换 A_d 被消去，只剩末端系变换。原文此处公式以逗号结尾、后面没有接续文字，是排版瑕疵。

B更多视频预测结果（More Video Prediction Results）

图 10 解读

结构：8 个样例 (a)–(h)，每个样例两行。上行是蒸馏前的块级模型只采样一步的结果，下行（左侧标注“after distillation”，绿框）是蒸馏后单步的结果。每行约 8 帧，每帧都是 T 形拼图：左大图为主视角，右侧上下两小图为两个腕部视角。8 条指令：(a) 把左上方的碗移到毛巾上；(b) 把中间的碗叠到右边的碗上；(c) 抓住布的两个角向上折；(d) 把青苹果从篮子里拿出来放在左边；(e) 把左边的糖放进装有同种糖的碗里；(f) 抽出一张纸巾擦盘子；(g) 把蓝碗放进微波炉；(h) 揭开盖在碗上的纸，使碗完全露出来。对比：蒸馏前单步生成的画面明显模糊，机械臂常常是一团虚影，后几帧甚至几乎看不出夹爪（如 (c)、(e)），这是因为流模型一步从纯噪声积分到底，误差极大，只能得到“所有可能未来的平均”。蒸馏后单步结果清晰，夹爪位置明确，物体被移动的过程可辨认，例如 (b) 中碗被叠起、(d) 中苹果被拿出篮子、(h) 中纸被揭开。作用：这张图是式 (5) 一致性蒸馏的直观验证：0.12 秒的单步推理仍能给出可用的视觉计划。值得注意的是，(e) 需要识别“同种糖”，(h) 需要理解“遮挡被移除”，说明蒸馏没有丢失事件级预训练学到的语义能力。不过这只是定性展示，论文没有给出蒸馏前后指令遵循率或策略成功率的定量对比。

C详细基准结果（Detailed Benchmark Results）

原文

We provide per-suite and per-dimension success rates (%) for the results in Tables 3 and 4, using the same training and evaluation settings as the main text.

译文

我们给出表 3 和表 4 结果的分套件、分维度成功率（%），训练与评测设置与正文相同。

解释

附录 C 是正文表 3、表 4 的“展开版”，便于读者核对总体数字是如何由各部分得来的，以及看出 VPP2 在哪些子项上强、哪些子项上弱。

C.1LIBERO-ID：分套件成功率（Per-Suite Success Rates）

原文

Table 6 reports the four standard LIBERO suites (Liu et al., 2023). Baseline values follow the original papers, Zhang et al. (2026e), and Mishra et al. (2026).

译文

表 6 报告四个标准 LIBERO 套件（Liu et al., 2023）上的结果。基线数值取自各原始论文、Zhang et al.（2026e）以及 Mishra et al.（2026）。

解释

基线数字来自已发表结果，非作者复现，这在 LIBERO 上是惯例。

Method	Spatial	Object	Goal	Long	Avg.
\pi_0 (Black et al., 2024)	96.8	98.8	95.8	85.2	94.2
\pi_{0.5} (Intelligence et al., 2025)	98.8	98.2	98.0	92.4	96.9
MolmoAct (Lee et al., 2025)	87.0	95.4	87.6	77.2	86.6
X-VLA (Zheng et al., 2026)	98.2	98.6	97.8	97.6	98.1
AtomVLA (Sun et al., 2026)	96.4	99.6	97.6	94.4	97.0
Cosmos-Policy (Kim et al., 2026)	98.1	100.0	98.2	97.6	98.5
Fast-WAM (Yuan et al., 2026)	98.2	100.0	97.0	95.2	97.6
DiT4DiT (Ma et al., 2026)	98.4	99.6	98.6	97.6	98.6
Temporal Ratio (Mishra et al., 2026)	96.3	99.6	97.6	82.6	94.0
VPP2 (Ours)	99.2	99.8	98.2	98.0	98.8

原表注 Table 6: LIBERO-ID success rates (%). Long denotes LIBERO-10. Avg. reproduces the reported overall result. Best results in each column are in bold.
译文表注 表 6：LIBERO-ID 成功率（%）。Long 指 LIBERO-10。Avg. 照录各方法报告的总体结果。每列最佳结果加粗。

表 6 解读

列：LIBERO 的四个套件 Spatial、Object、Goal、Long（LIBERO-10，长程任务）以及平均。行：与表 3 相同的十个方法。（本文档根据数值加粗了每列最高者；原 PDF 抽取文本中看不到加粗标记。）验算：VPP2 (99.2+99.8+98.2+98.0)/4=98.8；Temporal Ratio (96.3+99.6+97.6+82.6)/4\approx94.0。与表 3 第一列一致。解读：

VPP2 在 Spatial（99.2）和 Long（98.0）上最高，Object（99.8）略低于 Cosmos-Policy 和 Fast-WAM 的 100.0，Goal（98.2）略低于 DiT4DiT 的 98.6。差距都在 1 个百分点以内，基本属于饱和区间的噪声。
区分度主要在 Long 列：\pi_0 85.2、MolmoAct 77.2、Temporal Ratio 82.6，明显低于其他方法。VPP2 的 8 秒视频预测为长程任务提供了更远的视觉规划，可能有助于这一列。
结合表 3 看：Temporal Ratio 在 ID 上只有 94.0（含 Long 82.6），但 OOD 上却达到 59.4；Cosmos-Policy ID 98.5，OOD 只有 10.5。ID 成绩与泛化能力几乎不相关，这正是作者要强调的。

C.2LIBERO-Pro：分套件—分扰动结果（Suite-by-Perturbation Results）

原文

Table 7 follows the eight-column LIBERO-Pro (Zhou et al., 2025) layout of Harness VLA (Zhang et al., 2026e): T denotes instruction redirection and S denotes position swap. Available baseline breakdowns are taken from Table 3 of Zhang et al. (2026e).

译文

表 7 沿用 Harness VLA（Zhang et al., 2026e）中 LIBERO-Pro（Zhou et al., 2025）的八列布局：T 表示指令重定向（instruction redirection），S 表示位置交换（position swap）。已有的基线分项结果取自 Zhang et al.（2026e）的表 3。

解释

T 与 S 分别对应正文表 3 中的 Task 与 Position 扰动。指令重定向：场景不变，指令改成另一个目标（如原来是“把碗放到盘子上”，改成“把碗放到炉子上”）；位置交换：指令不变，把物体的位置互换。前者考“听不听指令”，后者考“认不认物体”。

Method	Spat-T	Spat-S	Obj-T	Obj-S	Goal-T	Goal-S	L10-T	L10-S	Overall
\pi_0	0.0	0.0	0.0	2.0	0.0	0.0	0.0	0.0	0.3
\pi_{0.5}	1.0	20.0	1.0	17.0	2.0	38.0	1.0	8.0	11.0
MolmoAct	0.0	0.0	0.0	6.0	0.0	0.0	6.0	0.0	1.5
X-VLA	0.0	0.0	8.0	2.0	9.0	1.0	10.0	0.0	3.8
AtomVLA	1.0	16.0	0.0	10.0	11.0	2.0	9.0	1.0	6.3
VPP2 (Ours)	58.0	54.0	47.0	58.0	55.0	37.0	31.0	20.0	45.0

原表注 Table 7: LIBERO-Pro success rates (%) for each suite–perturbation pair. Spat, Obj, Goal, and L10 denote Spatial, Object, Goal, and LIBERO-10. VPP2 uses 100 episodes per column (800 total). Best results in each column are in bold.
译文表注 表 7：LIBERO-Pro 上每个“套件—扰动”组合的成功率（%）。Spat、Obj、Goal、L10 分别指 Spatial、Object、Goal 和 LIBERO-10。VPP2 每列 100 个回合（共 800 个）。每列最佳结果加粗。

表 7 解读

列：4 个套件 \times 2 种扰动 = 8 列，再加总体。行：五个 VLA 基线与 VPP2。（加粗为本文档按数值标注。）验算：VPP2 的 T 列平均 (58+47+55+31)/4=47.75\approx47.8，S 列平均 (54+58+37+20)/4=42.25\approx42.3，总体 (47.75+42.25)/2=45.0，与表 3 一致。\pi_{0.5}：T 列 (1+1+2+1)/4=1.25，S 列 (20+17+38+8)/4=20.75，总体 11.0。解读：

T 列（指令重定向）：所有 VLA 基线在每个套件上都不超过 11%，多数是 0–2%。也就是说，换了指令后它们几乎总是执行原来的动作，是典型的“记住轨迹”。VPP2 在四个套件上分别为 58、47、55、31。
S 列（位置交换）：\pi_{0.5} 在 Goal-S 上 38.0，是唯一超过 VPP2（37.0）的基线数字；其余各列 VPP2 都领先。
VPP2 的弱项：L10（长程）两列最低（31、20），长程任务在扰动下误差累积，仍是难点。

VPP2 每列 100 回合，统计误差约 \pm5 个百分点；基线的回合数沿用 Harness VLA，表中未说明。

C.3LIBERO-OOD：分轴成功率（Per-Axis Success Rates）

原文

Table 8 reports the Spatial, Object, and Goal axes of LIBERO-OOD (Li, 2025), following Mishra et al. (2026). Neither LIBERO-Pro nor LIBERO-OOD uses additional training on its evaluation tasks; only methods with available results are included.

译文

表 8 按照 Mishra et al.（2026）的做法，报告 LIBERO-OOD（Li, 2025）的 Spatial、Object、Goal 三个轴。LIBERO-Pro 和 LIBERO-OOD 都不在其评测任务上做额外训练；表中只列出有可用结果的方法。

解释

“只列出有可用结果的方法”解释了为何表 3 中 LIBERO-Pro 与 LIBERO-OOD 的基线集合不同：作者没有自己复现基线，而是采用文献中已有的数字。

Method	Spatial	Object	Goal	Avg.
\pi_0 (Black et al., 2024)	0.7	0.3	4.3	1.7
\pi_{0.5} (Intelligence et al., 2025)	36.7	2.3	41.7	26.8
Cosmos-Policy (Kim et al., 2026)	30.7	0.3	0.7	10.5
Fast-WAM (Yuan et al., 2026)	12.7	0.0	15.7	9.4
DiT4DiT (Ma et al., 2026)	9.0	0.0	10.3	6.4
Temporal Ratio (Mishra et al., 2026)	58.6	40.0	80.3	59.4
VPP2 (Ours)	59.3	44.5	87.7	63.9

原表注 Table 8: LIBERO-OOD success rates (%) for Spatial, Object, and Goal. Avg. is the reported overall success rate; best results in each column are in bold.
译文表注 表 8：LIBERO-OOD 在 Spatial、Object、Goal 三个轴上的成功率（%）。Avg. 为报告的总体成功率；每列最佳结果加粗。

表 8 解读

列：三个组合泛化轴和平均。Spatial 轴：熟悉物体放到新的空间布局；Object 轴：在熟悉场景中操作新组合的物体；Goal 轴：在熟悉场景中执行新的目标组合。验算：VPP2 (59.3+44.5+87.7)/3=63.83\approx63.9；Cosmos-Policy (30.7+0.3+0.7)/3\approx10.57。Temporal Ratio (58.6+40.0+80.3)/3=59.63，而表中为 59.4，相差 0.2，表注说 Avg. 是“报告的总体成功率”，可能各轴试验数不同而做了加权，或原论文四舍五入方式不同。解读：

Object 轴最难：除 Temporal Ratio（40.0）和 VPP2（44.5）外，所有方法都在 0–2.3%。三个 WAM 基线（Cosmos-Policy、Fast-WAM、DiT4DiT）均接近 0。
Cosmos-Policy 的反差：Spatial 30.7，Goal 却只有 0.7。说明它能适应布局变化，但完全不能理解新的目标指令，即对语言条件的遵循很弱。
VPP2 的 Goal 轴达到 87.7，比 Temporal Ratio 高 7.4 个百分点，是三个轴中领先最多的。这与“详细描述 + 事件级预测强化指令遵循”的主张一致。

C.4RoboDojo：分维度成功率与得分（Per-Dimension Success Rates and Scores）

原文

RoboDojo (Chen et al., 2026a) evaluates generalist manipulation policies on 42 bimanual simulation tasks organized into five capability dimensions. Generalization tests robustness to unseen backgrounds, lighting, clutter, and target objects, and is evaluated under both standard and randomized settings. Precision requires fine-grained target localization and contact-rich control. Long-Horizon requires completing all sub-steps of multi-step tasks. Memory contains tasks whose correct actions depend on information observed earlier in the episode. Open evaluates unseen task specifications whose required skills appear in the training data under different contexts. We follow the official training and evaluation protocol. The average score captures partial task progress, and the success rate measures binary task completion.

译文

RoboDojo（Chen et al., 2026a）在 42 个双臂仿真任务上评估通用操作策略，这些任务分为五个能力维度。泛化（Generalization）检验对未见过的背景、光照、杂物和目标物体的鲁棒性，在标准和随机化两种设置下评测。精度（Precision）要求精细的目标定位和富接触控制。长时程（Long-Horizon）要求完成多步任务的所有子步骤。记忆（Memory）包含正确动作依赖于回合早期所观察信息的任务。开放（Open）评测未见过的任务设定，其所需技能在训练数据中以不同的上下文出现过。我们遵循官方的训练与评测协议。平均得分反映部分任务进度，成功率衡量二值的任务完成情况。

解释

五个维度各考一种能力：

泛化：Std.（标准）是训练时的视觉条件，Rand.（随机化）加入随机背景、光照、杂物等干扰。
精度：如插孔、精确放置，要求毫米级定位和接触控制。
长时程：多步任务必须全部完成才算成功。
记忆：例如先看到某物被放在哪个盒子里，盒子盖上后再去取。这就是 4.2 节为 RoboDojo 加入历史帧的原因。
开放：技能见过，但组合方式或任务表述没见过，与 LIBERO-OOD 的组合泛化类似。

原文

Table 9 reports success rates for each capability dimension, and Table 10 provides the corresponding average scores. These results complement Table 4. VPP2 uses full-task instructions without subtask planning. Results are taken from the official RoboDojo simulation leaderboard, accessed on October 12, 2026. Generalization results are reported separately for standard (Std.) and randomized (Rand.) settings for all methods, including VPP2.

译文

表 9 报告各能力维度的成功率，表 10 给出对应的平均得分。这些结果是对表 4 的补充。VPP2 使用完整任务指令，不使用子任务规划。结果取自 2026 年 10 月 12 日访问的 RoboDojo 官方仿真排行榜。所有方法（包括 VPP2）的泛化结果都按标准（Std.）和随机化（Rand.）两种设置分别报告。

解释

“2026 年 10 月 12 日访问”与正文脚注“截至 2026 年 9 月”不一致，见 4.2 节解释。VPP2 的结果也取自排行榜，说明作者提交了官方评测，而不是自行评测，可信度较高。

	Generalization
Method	Std.	Rand.	Precision	Long-Horizon	Memory	Open	Avg.
\pi_0 (Black et al., 2024)	4.89	0.22	0.75	2.00	2.11	0.25	1.53
\pi_{0.5} (Intelligence et al., 2025)	14.89	1.44	5.50	14.67	4.67	1.67	6.93
X-VLA (Zheng et al., 2026)	12.22	1.33	12.00	9.75	3.56	0.50	6.52
Fast-WAM (Yuan et al., 2026)	2.11	0.11	0.00	5.17	3.44	0.42	2.03
OpenWAM-\alpha (Wang et al., 2026a)	25.56	4.11	9.25	25.33	9.11	1.08	11.92
Xiaomi-Robotics-1 (Guo et al., 2026)	28.00	6.00	18.83	23.67	6.56	3.58	13.93
GPT-6-Astra (Zhang et al., 2026d)	32.67	28.33	4.00	8.25	38.67	31.00	22.48
VPP2 (Ours)	46.44	12.56	35.17	37.00	55.56	4.08	32.26

原表注 Table 9: Per-dimension success rates (%) on the RoboDojo simulation benchmark. Avg. equally weights the five capability dimensions, with Generalization computed as the mean of Std. and Rand.
译文表注 表 9：RoboDojo 仿真基准上的分维度成功率（%）。Avg. 对五个能力维度等权平均，其中泛化维度取 Std. 与 Rand. 的均值。

表 9 解读

列：泛化维度拆为 Std. 与 Rand. 两列，其后是精度、长时程、记忆、开放四个维度，最后是平均。行：与表 4 相同的 8 个方法。（加粗为本文档按数值标注。）平均的算法（验算）：VPP2 泛化 =(46.44+12.56)/2=29.50，Avg. =(29.50+35.17+37.00+55.56+4.08)/5=161.31/5=32.26。GPT-6-Astra 泛化 =(32.67+28.33)/2=30.50，Avg. =(30.50+4.00+8.25+38.67+31.00)/5=112.42/5\approx22.48。与表 4 一致。解读：

VPP2 的强项：Std. 泛化 46.44、精度 35.17、长时程 37.00、记忆 55.56，四项都是全场最高，且大多领先第二名十几个百分点。记忆维度高达 55.56，说明 4.2 节加入的初始帧 + 8 帧历史有效。
VPP2 的弱项：Rand. 泛化 12.56，远低于 Std.，说明在随机背景、光照、杂物干扰下性能显著下滑（GPT-6-Astra 在 Std. 与 Rand. 间几乎不掉，32.67 对 28.33）。开放维度 4.08，远低于 GPT-6-Astra 的 31.00。
两种路线的互补：GPT-6-Astra 作为通用前沿模型，在“开放”“随机化”这些依赖世界知识和视觉鲁棒性的维度强，在精度（4.00）、长时程（8.25）这些依赖精细控制的维度弱；VPP2 恰好相反。这也解释了为什么作者主张用 VLM 做高层规划：图 9 中加了 VLM 规划后的提升，正是在弥补 VPP2 在开放推理上的短板。
WAM 类内比较：OpenWAM-\alpha 各维度均明显低于 VPP2；Fast-WAM 精度为 0。

一处与正文表述的出入：正文 4.2 节说 VPP2 “达到当前最优”，就平均而言确实如此，但在 Rand. 和 Open 两列并非第一。

	Generalization
Method	Std.	Rand.	Precision	Long-Horizon	Memory	Open	Avg.
\pi_0 (Black et al., 2024)	7.18	0.71	3.56	6.19	3.47	0.25	3.48
\pi_{0.5} (Intelligence et al., 2025)	20.93	5.82	12.40	23.54	5.89	1.98	11.44
X-VLA (Zheng et al., 2026)	17.90	3.04	18.32	16.53	4.76	0.55	10.13
Fast-WAM (Yuan et al., 2026)	4.33	0.34	1.96	9.14	3.55	0.42	3.48
OpenWAM-\alpha (Wang et al., 2026a)	33.16	8.26	18.45	34.93	10.41	1.41	17.18
Xiaomi-Robotics-1 (Guo et al., 2026)	35.65	11.44	26.69	38.39	7.81	3.94	20.07
GPT-6-Astra (Zhang et al., 2026d)	35.32	31.40	12.65	21.45	43.04	34.36	28.97
VPP2 (Ours)	52.14	20.63	43.03	56.28	56.01	4.61	39.26

原表注 Table 10: Per-dimension average scores on the RoboDojo simulation benchmark. Scores capture partial task progress and use the same five-dimension aggregation as the success rates in Table 9.
译文表注 表 10：RoboDojo 仿真基准上的分维度平均得分。得分反映部分任务进度，并采用与表 9 成功率相同的五维度汇总方式。

表 10 解读

列与行同表 9，数值换成平均得分（0–100，计入部分完成）。验算：VPP2 泛化 =(52.14+20.63)/2=36.385，Avg. =(36.385+43.03+56.28+56.01+4.61)/5=196.315/5\approx39.26，与表 4 一致。与表 9 对照：

得分普遍高于成功率，差值反映“部分完成”的程度。VPP2 长时程维度得分 56.28 而成功率 37.00，差约 19 分，说明很多长程任务完成了大部分子步骤，只是没有全部完成。
记忆维度 VPP2 得分 56.01 与成功率 55.56 几乎相等，说明这类任务多为“要么做对、要么做错”。
开放维度 VPP2 得分 4.61、成功率 4.08，都很低，说明不是“差一点”，而是基本没理解任务。这与 GPT-6-Astra 的 34.36 形成鲜明对比，再次说明开放指令理解是 VPP2 的明显短板。
排序结论与表 9 一致：VPP2 在 Std.、精度、长时程、记忆上第一，Rand. 和开放上第二或更低。