Embodied AI · Paper Notes

具身智能论文译读

具身智能与机器人学习论文的逐段精读。每一段都给出英文原文、中文译文和解释,图表逐张解读,公式保留 LaTeX,可一键复制成 Markdown。

原文译文解释图表解读
19篇论文
227幅图
192张表
72 万字译文与解释
WATCHNEW11/15 整理

从按任务配对的人类视频中学习可迁移的世界—动作模型

Learning Transferable World-Action Models from Task-Paired Human Videos

世界—动作模型(world-action model)从视频预训练中继承了广泛的视觉与物理先验。然而,标准的视频内(within-video)下一帧预测允许模型依赖上下文与未来之间共享的外观,而不必学习能够跨场景、跨本体(embodiment)迁移的交互。

世界动作模型上下文学习人类视频
arXiv 2610.14351v1发布 2026-10-0912 图 · 7 表 · 约 4.5 万字
LTMNEW11/15 整理

基于潜在转移的视觉—语言—动作模型上下文内记忆

Latent Transition Based In-Context Memory for Vision-Language-Action Models

机器人操作常常需要记住那些已经看不见的交互。我们提出潜在转移记忆(Latent Transition Memory,LTM),它把历史存储为相邻观测之间紧凑的潜在转移(latent transition)。我们在 π0.5 上将其实例化为 LTM-π:该方法使用一个冻结的潜在动作编码器、一个轻量级适配器,以及支持增量推理的因果 KV 缓存,既不需要针对记忆的语义标注,也不需要调用外部推理模型。使用 DreamDojo 的转移表示时,LTM-π 在 RoboMME 上取得 58.54% 的成功率,在 LIBERO…

VLA上下文学习记忆
arXiv 2610.21362v1发布 2026-10-154 图 · 10 表 · 约 3.7 万字
SLANEW11/09 整理

通过持续预训练扩展空间—语言—动作模型

Scaling Spatial-Language-Action Model via Continual Pre-training

可靠的机器人操作既需要语义理解,也需要在三维空间中的精确控制。然而,视觉—语言—动作(vision-language-action,VLA)基础模型的视觉表征大多继承自二维视觉—语言预训练,而空间监督往往只在面向具体任务的适配阶段才引入。因此,要把空间理解发展成一种可迁移的基础模型能力,就需要从更广泛的机器人经验中学习。我们提出 SLA,一个空间—语言—动作模型(Spatial-Language-Action Model):它把隐式空间对齐扩展到持续预训练(continual pre-training)阶段,并…

VLA三维空间
arXiv 2611.08373v1发布 2026-11-056 图 · 14 表 · 约 3.5 万字
Robota-Embed11/07 整理

面向机器人上下文学习与演化的统一 VLA 嵌入

Unified VLA Embeddings for Robot In-Context Learning and Evolution

要为机器人检索到有用的上下文,不仅要匹配它的任务,还要匹配它当前所处的执行阶段,以及接下来应当发生的后续过程(continuation)。我们提出 Robota-Embed。据我们所知,这是第一个在“当前状态查询”和“记录下来的未来后续片段”两端同时联合编码视觉、语言、动作三种模态的视觉—语言—动作(VLA)嵌入模型。预测式检索训练(predictive retrieval training)把这两端对齐,用于物理经验检索;训练得到的表示可以在推理时把历史上的后续片段检索出来,作为上下文使用。

VLA上下文学习
arXiv 2610.19495v1发布 2026-10-1414 图 · 33 表 · 约 5.7 万字
Liber-011/07 整理

从 220 万小时人类经验中涌现的多步操作零样本能力

Emergent Zero-Shot Capabilities in Multi-Step Manipulation from 2.2 Million-Hour Human Experience

Liber-0 从 220 万小时人类经验中涌现的多步操作零样本能力 [视频:Liber-0 总览]

人类视频
发布 2026-11-0412 图 · 3 表 · 约 2.9 万字
Imitator-Game11/07 整理

模仿者游戏:超越动作预测的机器人模仿能力基准

Benchmarking Robot Imitative Ability Beyond Action Prediction

人类在意图层面进行模仿:看到一次示范,我们会推断它的目标,再用手边现有的工具、物体和布局去完成它。当前的机器人策略则不同,它们从视觉输入和语言指令中学习“观测到动作”的映射,并不显式推断示范的是什么任务。因此,从人类视频中学习在很大程度上仍停留在轨迹层面:模型能在几乎相同的场景中重放动作,却仍难以模仿示范者想做什么,而只会模仿他们做了什么。我们提出模仿者游戏(The Imitator Game),这是一个四层级(L0–L3)的基准,它逐步拉大人类示范与机器人自身场景之间的差距,从而定位轨迹重放在哪一层开始失效…

人类视频基准评测
arXiv 2608.22301v1发布 2026-08-2313 图 · 11 表 · 约 7.6 万字
Ego2Robot11/07 整理

基于第一人称人类数据的可扩展机器人数据合成

Scalable Robot Data Synthesis from Egocentric Human Data

学习可泛化的机器人操作策略需要大规模、多样化的示范数据。第一人称(egocentric)的人类操作视频在场景和任务上都非常丰富;已有工作表明,把这类视频重定向(retarget)并渲染成机器人格式的数据,可以在小规模上训练出有效的单任务策略。然而,这种做法能否在大规模下为视觉—语言—动作(vision-language-action,VLA)模型带来预训练收益,目前尚无研究。

VLA人类视频
arXiv 2608.02580v1发布 2026-08-039 图 · 5 表 · 约 3.2 万字
AW-011/07 整理

智能体式世界动作模型

Agentic World Action Models

近来的世界动作模型(world action model, WAM)为机器人操作提供了视觉上的预见能力和对未来的预测,但缺少显式的机制来组合、复用技能。智能体式机器人(agentic robotics)把基于代码的规划与推理同可复用技能结合起来,却往往缺少以物理动力学为依据的预测能力(predictive grounding)。

世界动作模型
arXiv 2610.30136v1发布 2026-10-2138 图 · 12 表 · 约 5.6 万字
VPP211/05 整理

视频预测策略 2:预测得更好,动作得更好

Video Prediction Policy 2 - Predict Better, Act Better

世界动作模型(world action model,WAM)已经成为通用机器人策略中的一类重要方法,其目标是把视频预测先验迁移到动作学习中。然而我们发现,现有 WAM 在开放环境中经常给出错误的运动预测,进而导致错误的动作。我们将这一局限归因于两个因素:(1) 底座视频模型并非为操作任务优化;(2) 简单地往视频模型中加入动作组件,会大幅削弱其泛化能力。我们提出视频预测策略 2(Video Prediction Policy 2,VPP2),这是一个在视频预测和动作生成两方面都具备强零样本泛化能力的 WAM。首…

世界动作模型视频预测
arXiv 2610.10270v3发布 2026-10-1310 图 · 10 表 · 约 2.6 万字
VLM-as-Policy11/05 整理

前沿视觉-语言模型能否充当记忆依赖型操作任务的机器人策略?

Can a Frontier VLM Serve as a Robot Policy for Memory-Dependent Manipulation

我们将一个冻结的前沿视觉-语言模型(vision-language model, VLM)GPT-6-Astra 直接用作 RoboMME 上的机器人策略(robot policy)。RoboMME 是一个包含 16 个记忆依赖型操作(memory-dependent manipulation)任务的基准,涵盖时间记忆、空间记忆、物体记忆和程序记忆。该模型把整个回合(episode)保留在上下文中,输出每一个末端执行器路点(end-effector waypoint)和夹爪指令,且未进行任何针对 RoboMME…

上下文学习记忆VLM 策略基准评测
arXiv 2610.17350v2发布 2026-10-166 图 · 5 表 · 约 2.2 万字
Training-Time-RTC11/05 整理

面向高效实时分块的训练时动作条件化

Training-Time Action Conditioning for Efficient Real-Time Chunking

实时分块(real-time chunking,RTC)通过异步地预测动作块(action chunk),并借助推理时修补(inference-time inpainting)以先前已提交的动作为条件,使视觉-语言-动作模型(vision-language-action model,VLA)能够生成平滑且反应灵敏的机器人轨迹。然而,这种修补方法会引入额外的计算开销,从而增加推理延迟。在本工作中,我们提出一种简单的替代方案:在训练时模拟推理延迟,并直接以动作前缀(action prefix)为条件,从而消除任何推…

VLA实时控制
arXiv 2512.05964v2发布 2025-12-095 图 · 约 1.2 万字
SuperMimic11/05 整理

用一个可微世界模型扩展人形机器人全身控制

Scaling Humanoid Whole-Body Control with One Differentiable World Model

追踪大规模人类动作数据集,已成为实现通用、富有表现力的人形机器人全身控制的主流路线,但要扩展到大量动作,代价高昂。现有流水线使用无模型强化学习(model-free reinforcement learning):要么通过有损的蒸馏(distillation)合并针对单个动作的专家策略,要么用集群规模的算力硬训出单一策略。SuperMimic 用一个刻画所有动作共享动力学的可微世界模型(differentiable world model),把学习成本摊销(amortize)到所有动作上;该模型由标准刚体仿真器…

人形机器人
arXiv 2610.28480v1发布 2026-10-207 图 · 1 表 · 约 2.9 万字
OpenWAM11/05 整理

迈向系统化世界–动作模型预训练的开放、模块化探索

An Open, Modular Exploration Towards Systematic World-Action Model Pretraining

世界–动作模型(World–Action Model,WAM)从视频生成先验中继承世界知识,并通过具身经验把这些知识转化为可执行的控制信号。然而现有系统是一体化的(monolithic):生成骨干、视觉表征、架构、信息流、推理流程和训练数据紧密耦合,使人看不清哪些设计选择重要、为什么重要。我们提出 OpenWAM,一个开放的研究栈,把世界–动作预训练变成一项受控的实验计划。OpenWAM-Infra 把 WAM 的设计空间分解为可组合的模块,并提供统一的训练、推理、部署与评测。

世界动作模型视频预测
arXiv 2609.07398v1发布 2026-09-0721 图 · 20 表 · 约 5.0 万字
LingBot-VLA-2.011/05 整理

从基础模型到实际应用:在实践中改进 VLA 模型

From Foundation to Application - Improving VLA Models in Practice

尽管 VLA 基础模型近来取得了进展,实验室条件与真实世界应用之间的差距仍在阻碍其落地实施。为弥合这一差距,我们提出 LingBot-VLA 2.0,它在三个功能领域上对 LingBot-VLA 加以改进。

VLA
arXiv 2607.06403v1发布 2026-07-0713 图 · 7 表 · 约 3.0 万字
InternW0-Delta11/05 整理

以两万余小时开放数据桥接预测动力学与动作的世界动作模型

A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data

世界动作模型(World Action Model, WAM)通过对视觉动力学与动作生成进行联合建模,已成为通用机器人操作(generalist robot manipulation)的一种有前景的范式。其中的核心挑战在于:如何把大规模预训练模型所提供的互补先验——包括视觉动力学、场景语义以及几何与运动理解——有效地整合进一个统一的机器人动作生成框架。我们提出 InternW0-Δ,一个应对这一挑战的统一世界动作模型:它在大规模异构语料上预训练,在多种仿真基准和真实机器人平台上均优于已有方法。

世界动作模型
arXiv 2609.31394v1发布 2026-09-2512 图 · 18 表 · 约 6.0 万字
StarVLA11/04 整理

像乐高一样搭建视觉—语言—动作模型的代码库

A Lego-like Codebase for Vision-Language-Action Model Developing

构建通用具身智能体,需要把感知、语言理解和动作整合在一起。视觉—语言—动作(Vision-Language-Action,VLA)方法以多模态基础模型为基础(包括视觉语言模型和世界模型的最新进展),处理的正是这些核心能力。尽管进展迅速,VLA 方法仍分散在互不兼容的模型结构、代码库和评测协议中,妨碍了有原则的比较和结果复现。我们提出 StarVLA,一个面向 VLA 研究的开源代码库。StarVLA 从三个方面应对这些挑战。

VLA代码库
arXiv 2604.05014v1发布 2026-04-066 图 · 11 表 · 约 3.1 万字
RoboICL11/04 整理

基于 GPT-6 Astra 的具身上下文学习

Embodied In-Context Learning with GPT-6 Astra

通用视觉语言模型为零样本机器人控制提供了一条有前景的途径:GPT-6 Astra 在开放式以及以语言或图像为条件的操作任务上表现出色,但在高精度和长时程任务上仍明显偏弱。我们提出 RoboICL,一个基于上下文的机器人控制框架,无需针对机器人的参数更新,也无需学习得到的 VLA,就能缩小这些差距。RoboICL 把示范上下文与交互记忆分开:前者在有示范时提供记录下来的示例,后者累积模型自己的动作及观察到的结果。两者使用共享的“观测—动作—回执—观测”语法。为了在任务各阶段之间保留经验,RoboICL 把采样得到…

VLA上下文学习记忆VLM 策略
arXiv 2609.34261v1发布 2026-09-2811 图 · 7 表 · 约 2.8 万字
ODE-Policy11/04 整理

ODE 策略:通过学习动作动态而非动作本身来进行机器人学习

Robot Learning via Action Dynamics, Not Actions

大多数机器人策略,无论是通过模仿学习(imitation learning,IL)还是强化学习(reinforcement learning,RL)训练,都把观测映射为离散控制步上的动作值,而把物理运动的连续性留给模型隐式学习。我们提出 ODE 策略(ODE policy),它学习的是动作的动态,而不是动作本身。一个神经常微分方程(neural ordinary differential equation,ODE)学习动作的向量场:在 IL 中,它让短动作块上积分得到的动作与目标匹配;在 RL 中则是在单个控制…

arXiv 2611.01729v1发布 2026-11-0123 图 · 9 表 · 约 4.3 万字
StellaVLA11/01 整理

利用上下文中的结构化示范构建可泛化的视觉—语言—动作模型

In-Context Structured Demonstration for Generalizable Vision-Language-Action Models

视觉—语言—动作(Vision-Language-Action,VLA)模型能够遵循指令并操作物体,但当场景、视角或物体与训练时不同时,它们在分布外(out of distribution,OOD)的表现常常会崩溃。适应每一种新情况通常需要收集更多数据并微调。我们提出 StellaVLA:一个通过以单条检索到的示范为条件,在测试时完成适应的框架。核心思想是不仅模仿专家做了什么,还要传达为什么这样做:自动化离线流水线以零人工标注成本,把每条原始轨迹转换成结构化示范,例如任务计划、子目标描述及文字化的三维运动。作为…

VLA上下文学习
arXiv 2608.11671v1发布 2026-08-125 图 · 9 表 · 约 2.3 万字
没有匹配的论文