Daily Paper Feed

2026 年 10 月 14 日 星期三 · 共 141 篇相关论文 · 全部存档
1

ChunkAct: Action Chunking for Agentic Robotics

Bingxin Xu, Wenrui Bao, Xinxin Liu, Jiawei Zhou, Yuzhang Shang, Emilio Ferrara
任务设定 智能体机器人中用 LLM 控制机器人执行任务
痛点动机 每个动作都要 LLM 推理,开销随步骤数线性增长
解决方案 引入动作分块,一次调用执行一串预设动作链,大幅减少 LLM 调用次数
2

LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts

Wenxuan Guo, Yingping Liang, Zhaoguo Wang, Ziyuan Li, Angyuan Ma, Zhenyu Wu, Chengkun Wang, Bingyao Yu, Ze Chen, Borui Zhang, Xiuwei Xu, Meng Zhang, Erjin Zhou, Jiwen Lu
任务设定 机器人通用策略如何从部署数据中持续改进
痛点动机 真实部署数据混杂成功与失败,直接模仿或过滤都有缺陷
解决方案 提出闭环世界-动作模型 LoopWAM ,联合建模动作与世界模型,从混合质量数据中学习
3

EgoExplorer: A Vision-Motion-Touch Observatory for Human Loco-Manipulation In Situ

Yunsong Zhou, Xuekun Jiang, Haiqi Shen, Hangxu Liu, Chaojian Shi, Yujie Liu, Jingyuan Li, Haoran Yang, Jiafei Cao, Dongzhan Zhou, Dong Wang, Yao Mu, Chunhua Shen, Weinan Zhang
任务设定 采集人类全身动作-操作协同的大规模数据集
痛点动机 现有数据集只能提供人体动作与操作协同的局部视角
解决方案 用可穿戴设备采集 100 小时视觉-动作-触觉数据,并用标定-补全-约束流程还原全身动作
4

What Matters in Quality-Aware VLA Pretraining: A Benchmark and Empirical Study

Mingxuan Yan, Litian Gong, Dihong Huang, Zhixu Li, Tianyu Zhang, Wenqian Zhang, Hefeifei Jiang, Peihao Li, Jian Zhang, Mengfei Zhao, Yikai Tang, Hai Zhai, Zehao Wang, Ruijian Liang, Yanjia Huang, Lin Shao, Changliu Liu, Kaiyu Hang, Zhiwen Fan, Masayoshi Tomizuka, Jianfei Yang, Jiachen Li
任务设定 研究演示质量如何影响 VLA 预训练效果
痛点动机 现有方法对高低质量演示的处理方式缺乏系统比较
解决方案 构建 AXIS-Bench 基准,比较加权、过滤、条件化等策略对 VLA 预训练的影响
5

WorldRecon: Generative Multi-View Mesh Reconstruction for Large-Scale 3D World

Mengchen Zhang, Yang Li, Chunshi Wang, Tong Wu, Chunchao Guo
任务设定 从无位姿多视角图像重建大规模 3D 场景网格
痛点动机 场景中未观测或稀疏观测区域难以生成完整几何
解决方案 以粗略点云和相机位姿作全局脚手架,结合生成式 3D 模型 TRELLIS.2 分块补全几何与材质
6

LIBERO-RIG: A Hardware-Setup Robustness Benchmark for Vision-Language-Action Models

Andrea Yaoyun Cui, Hanyu Wang, Xinyi Wang, Bangzheng Li, Lin Zhang, Zhenggang Tang, Shyamal Buch, Dejia Xu, Matthew Tancik
任务设定 评测 VLA 模型对机器人硬件扰动的鲁棒性
痛点动机 摄像头位移、标定漂移等硬件变化会导致策略失效,缺乏专门基准
解决方案 构建 LIBERO-RIG 基准,在 11 个硬件维度上系统扰动并评测 9 个 VLA 模型
7

Who Improves the Robot? Toward Physical Recursive Self-Improvement

Hai Zhou, Fan Yang, Zeyi Chen, Lejun Zhang, Chenyang Fu, Jianping Li, Jiayi Zhu, Xianyang Liu, Yingxuan Yang, Lili Meng, Lu Wang, Xinyang Han, Jiankai Sun, Weirui Ye, Guanchu Wang, Wanhua Li, Ming Zhou, Boyi Li, Ming Jin, Kun Shao, Muhao Chen, Guang Chen, Lei Ma, Joey Tianyi Zhou, Costas Spanos, Xia Hu, Mac Schwager, Weinan Zhang, Qian Feng, Shangding Gu
任务设定 探讨机器人物理自我改进 (Physical RSI) 的现状
痛点动机 机器人能力提升仍主要依赖人工,缺乏自主改进框架
解决方案 提出 L0-L5 分级框架,分析现有自我改进方法并指出安全与反馈等研究方向
8

Plan-Bench: Can Existing VLMs Go Well Beyond Perception to Reason and Plan in Embodied Worlds?

Juntong Feng, Qingan Liu, Jingru Dong, Yue Zhu, Weiming Zheng, Yujie Cheng, Xinzhe Han, Shuai Hao, Yunzhi Zhuge, Haiwen Diao, Huchuan Lu
任务设定 评估 VLM 在具身环境中的规划推理能力
痛点动机 现有具身规划能力缺乏独立评测基准
解决方案 构建 Plan-Bench 基准,含 16 类共 699 个样本评测 28 个 VLM
9

RoboSimStudio: An Interactive Toolkit for Rapid Real2Sim of Robot Manipulation Tasks

Kaiyuan Chen, Shuangyu Xie, Uksang Yoo, Xinyue Zhu, Cael Magner, Alvin Zhu, Daehwa Kim, Eric Heiden, Erwin Coumans, Miles Macklin, Spencer Huang, Ken Goldberg
任务设定 快速构建机器人操作任务的 Real2Sim 仿真
痛点动机 接触力学与物理参数难以精确建模
解决方案 交互式工具可编辑求解器与接触模型,支持人机协同迭代优化
10

WorldOracle: Benchmarking Action-Conditioned World Models against Real-World Executions

Haoyi Duan, Liliang Chen, Nan Wang, Yang Zhang, Yuhang Lu, Xiaotong Chen, Wei-Cheng Tseng, Shenyuan Gao, Zhaoshuo Li, Jingyi Jin, Pooya Jannaty, Dhruv Shah, Yuke Zhu, Ming-Yu Liu, Maoqing Yao, Guanghui Ren
任务设定 评测动作条件世界模型预测与真实执行的一致性
痛点动机 现有世界模型评测缺乏与真实执行的配对验证
解决方案 构建 WorldOracle 基准,从物理状态等四维度评估世界模型
11

SEAR: Self-Evolving Agentic Robotics

Xinyi Wang, Bangzheng Li, Hanyu Wang, Lin Zhang, Andrea Yaoyun Cui, Zhenggang Tang, Shyamal Buch, Dejia Xu
任务设定 研究具身智能体能否自主进化提升操作能力
痛点动机 需区分智能体是真正学习还是仅靠多次尝试
解决方案 提出 SEAR 框架,覆盖代码策略、智能体策略与 VLA 微调三种模式
12

Steertuning Policies from a Few Human Videos

Billy Yan, Isaac Tu, Kelly Lee, Blake Chang, Kenny Ma, Kanad Patel, Dhawal Kabra, Neer Patel, Kevin Wu, Lerrel Pinto, Irmak Guzey
任务设定 用少量人类视频让机器人快速学会新环境任务
痛点动机 传统机器人策略学习依赖海量机器人示教,难以快速迁移
解决方案 在百小时第一视角人类交互数据上预训练扩散策略, 5 个示教 2 分钟微调并推理时引导动作
13

UniW(A)M: A Unified Mixture-of-Experts Framework for World and World-Action Models

Jingbo Xu, Jianjie Fang, Zhuohang Li, Zihao Song, Zhaolu Wang, Xvyuan Liu, Xin Zhang, Haisheng Su, Yinzhou Tang, Chen Gao, Wei Wu, Yong Li
任务设定 统一世界模型与世界-动作模型的训练框架
痛点动机 两类模型分开训练,无法共享物理动态知识
解决方案 基于扩散 Transformer 的混合专家架构,共享专家建模动态,插件式路由选接口
14

Model-Based Online Decision Making via Generative Trajectory Planning

Haldun Balim, Yilun Du, Na Li
任务设定 在线决策中兼顾高效推理与长程机器人操作规划
痛点动机 值函数短视引导与轨迹优化计算代价难以两全
解决方案 提出 GTP 框架,用扩散先验采样候选动作序列,再以学习的动力学和价值模型精炼
15

Perception Beyond the Visible: Incompleteness-Aware Scene Understanding for Robot Autonomy

Rohit Mohan
任务设定 面向机器人自主的不完整感知场景理解研究展望
痛点动机 遮挡、新物体和传感器退化使传统感知假设失效
解决方案 整合非模态感知、语义占据预测与开放世界理解,迈向信念中心 4D 场景表示
16

Grid or Nodes? Probing Object Memory in World Models Under Partial Observability

Justin McMillen, Yasin Yilmaz
任务设定 探究世界模型在部分可观测下的物体记忆机制
痛点动机 物体离开视野后应如何被记住尚不明确
解决方案 对比网格特征记忆(FloWM)与卡尔曼节点记忆在遮挡恢复、速度泛化上的差异
17

ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models

Changyeon Kim, Kimin Lee, Yashraj Narang, Yijie Guo
任务设定 机器人基础模型持续学习新任务并保留旧技能
痛点动机 现有持续强化学习方法在线更新难迁移,离线方法易遗忘旧任务
解决方案 提出 ACCRUE 框架,跨任务复用 actor-critic 网络并蒸馏保留旧行为,大幅缩短真实机器人训练时间
18

Order-Consistent Latent Geometry for Reliable Short-Horizon Planning in World Models

Junlin Wu, Wen Fan, Dandan Zhang
任务设定 研究世界模型中潜空间短程规划的可靠性问题
痛点动机 终点欧氏距离排序可能导致规划顺序反转、误判进展
解决方案 提出自逼近条件作为潜空间规划几何兼容性准则,分析维度与角度容量关系
19

EgoOmniWorld: Unifying Egocentric Understanding via Ego-Action-World Interactions

Songruo Chen, Yuqian Fu, Yu Li, Mingkang Dong, Sifan Zhou, Bin Ren, Xu Zheng, Tianwen Qian, Mohamed Elhoseiny, Yanwei Fu
任务设定 统一评估第一视角视频中感知-动作-环境的交互理解
痛点动机 现有研究割裂了多模态、能力与评测格式间的耦合关系
解决方案 提出 Ego-Action-World 交互循环,构建含 2.4 万问答的统一基准
20

MemoryVLN: From Ego-Aware Memory Representation to Cross-Context Memory Reuse in Vision-Language Navigation

Xueyao Wei, Yifei Wang, Delun Li, Shaoan Wang, Junzhi Yu, Wenjie Song, Xingyu Chen
任务设定 长时序视觉语言导航中的历史记忆压缩与复用
痛点动机 长轨迹导航受上下文长度限制,历史信息冗余且空间对齐不稳定
解决方案 构建分层记忆库,融合 2D/3D/6D 位姿信息,支持跨场景记忆检索增强
21

Thinker-WM: A Unified World Model with Shared Multimodal Representations for Embodied Intelligence

Thinker Team, Peng Gao, Jichao Jiao, Chen Liao, Daqin Luo, Yiming Ma, Baiyu Pan, Hailin Shi, Jiyuan Wang, Xiangming Xu, Xiongwei Zhao
任务设定 面向具身智能的统一多模态世界模型
痛点动机 现有世界模型中视觉、几何与动作建模相互割裂
解决方案 用共享的统一动态 Transformer 联合建模 RGB、深度与动作,支持策略推理等多任务
22

Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes

Yu Wang, Rui Dai, Wei Chen, Yi Wang, Bo Dang, Kaikui Liu, Xiangxiang Chu, Yansheng Li
任务设定 城市级 3D 场景中的智能体式空间定位
痛点动机 传统候选排序依赖预计算实例提议,大场景效率低
解决方案 用 VLM 智能体主动空间搜索,强化学习优化工具调用策略实现免候选定位
23

ABot-ER: Unified Embodied Reasoning through Agentic Data-Model Co-Evolution

Qiuyu Ding, Heng-Da Xu, Changda Xia, Jiajun Shen, Zihao Guan, Zhengchen Yuan, Jianfang Zhang, Di Yang, Jiayi Tian, Yuting Xu, Fei Wang, Shiao Liu, Wei Zhang, Xiaolong Wu, Wenbin Tang, Zedong Chu, Mu Xu
任务设定 统一具身推理基础模型,涵盖感知规划执行
痛点动机 具身智能需同时兼顾能力广度与各任务深度,难以两全
解决方案 用数据-模型协同进化引擎持续更新数据,结合任务条件化低秩残差训练
24

Let the Mind Conceive, Let the Hand Achieve: Following Multimodal Instructions for Long-Horizon Robotic Manipulation

Youpeng Wen, Gang Wang, Tianyu Huang, Weiwei Zhang, Zhijian Huang, Wei Chen, Xieyuanli Chen, Yunhui Liu
任务设定 长程多步机器人操作中的多模态指令跟随
痛点动机 机器人需按序操作正确物体并感知进度,场景会动态变化
解决方案 提出 Orchestra ,将任务规划与动作生成解耦,独立评估器判断子任务切换时机
25

CityCode: Building Agent-Operable 3D Cities from Sparse Aerial Observations

Jiahui Sun, Ran Bi, Yifei Liu, Xiaolong Zhou, Yishuo Xu, Yuanqi Li, Congcong Zhu, Lei Yang, Yanwen Guo, Zhihang Zhong, Hongjie Zhang
任务设定 由稀疏航拍图像构建可操作 3D 城市世界模型
痛点动机 维护大规模 3D 城市持久状态需轻量采集,避免重复密集重建
解决方案 提出 CityCode 表示与 Air2Code 方法,结合视觉结构提取与度量深度估计生成带版本控制的城市状态
26

AffectWorld: Benchmarking Emotion-Driven Future World Prediction

Changhao Song, Yacong Chen, Hui Gao, Yazhou Zhang, Peng Zhang
任务设定 评测世界模型对情绪驱动未来演化的预测能力
痛点动机 现有基准只看物理合理性,忽略情绪如何影响动作与场景
解决方案 构建 AffectWorld 基准,含情绪-动作-世界状态一致性及反事实干预测试
27

LongForcing: Scaling Temporal Manifold Matching for Long-Horizon World Rollout

Ziyu Zhu, Zhaoxu Sun, Fan Jiang, Mengchao Wang, Junfeng Ni, Ting-Bing Xu, Zhicheng Liu, Mu Xu
任务设定 解决自回归视频世界模型长时域滚动生成的漂移问题
痛点动机 短时域蒸馏监督不足,长时推演会质量退化、身份丢失
解决方案 提出 LongForcing,用长时域双向教师做时序流形匹配蒸馏监督学生自回归滚动
28

Benchmarking Multimodal Large Language Models for Zero-Shot Human-Object Interaction

Oriol Rabasseda, Zenjie Li, Kamal Nasrollahi, Sergio Escalera
任务设定 评估多模态大模型在零样本人物交互检测中的能力
痛点动机 传统 HOI 方法依赖标注数据和固定类别,难以泛化到真实场景
解决方案 结合物体检测器定位,用视觉提示策略引导 MLLM 零样本推理交互关系
29

Data-Free Continual Learning for World Action Model with Rectified Generative Replay

Kaipeng Fang, Hangxu Liu, Chaojian Shi, Yunsong Zhou, Hongzi Zhu, Minyi Guo, Jingkuan Song, Lianli Gao
任务设定 世界动作模型跨机器人任务的持续学习
痛点动机 策略部署常只给权重,历史训练数据不可复用,易遗忘旧任务
解决方案 让模型自回放生成的历史轨迹,并用任务完成截断和物理一致性过滤来纠正回放数据
30

GLST: Global-Local Spatio-Temporal Memory Decomposition Framework for Online Chained-Goal Navigation

Yousef Liang, Ryan Ardalan, Yarden Goraly, Chenhao Zhu, Yue Yin, Jonas Frey, Claire Tomlin, Marco Pavone, Shankar Sastry
任务设定 长时序链式目标导航,目标在执行中动态变化
痛点动机 现有导航方法假设目标固定,无法应对目标重定向/新目标出现
解决方案 提出全局-局部时空记忆分解框架 GLST ,结合目标条件奖励平衡探索与利用,并在 Spot 四足机器人上验证
31

DriveWLA: Unifying Future Dynamics and Scene Semantics through World-Language-Action Modeling for Autonomous Driving

Shuzheng Wang, Haoxuan Li, Shengzhen Li, Chenxi Wu, Yajing Sun, Lu Hou, Wenyu Liu, Xinggang Wang
任务设定 自动驾驶中统一场景理解与轨迹生成
痛点动机 语义理解和未来场景预测难以有效融合用于轨迹生成
解决方案 提出 World-Language-Action 统一模型,含世界、语言、动作三专家并用 Cross-Expert Attention 对齐,结合强化学习精调动作专家
32

Beyond the End-Effector: Learning Whole-Arm Contact Manipulation from Human Demonstrations

Bo-Ruei Huang, Daniel Seita, Erdem Bıyık
任务设定 让机器人学习全臂接触式操作,而非仅靠末端执行器
痛点动机 末端抓取局限大,人类常用整臂接触提升操作效率
解决方案 用语义关键点和接触轨迹描述任务,结合运动学优化器,仅需 10 次人类示范即可学习
33

DexStitch: Learning and Composing Dexterous Skills from Human Videos via Contact-Aware Robotic Inpainting

Byeonggyeol Choi, Seongmin Jung, Unghui Nam, Youngbo Song, Sunhong Min, MinHyung Lee, Byonghyo Shim, Yongseok Lee
任务设定 从人类视频中学习并拼接机器人灵巧操作技能
痛点动机 长时序操作标注成本高,需从人类视频迁移技能结构
解决方案 用接触感知修复转换视频为机器人数据,训练技能条件策略拼接执行
34

I3L: Iterative Interactive Imitation Learning for Whole-Body Mobile Manipulation

Wensi Ai, Christopher Luey, Karthik Dharmarajan, Evans Han, Yunfan Jiang, Stef Ren, Jianwen Xie, Jiajun Wu, Li Fei-Fei, Ruohan Zhang
任务设定 全身移动操作的迭代交互式模仿学习系统
痛点动机 离线示教策略分布外易失效,长时序全身操作误差累积严重
解决方案 全身纠错遥操作接口配合迭代策略微调,针对性纠正失败
35

Where Small Mistakes Matter: Quantifying State Criticality for Imitation Learning

Yusuf Umut Ciftci, Joonwon Kang, Ajay Suresha Sathya, Somil Bansal
任务设定 量化模仿学习中各状态对任务结果的关键程度
痛点动机 现有方法平等对待所有演示状态,忽略了关键错误敏感点
解决方案 训练对抗扰动策略和价值评论器估计状态关键性分数,用于重加权和数据筛选
36

A Differentiable 3D Scene Graph Metric via Contextual Hellinger Triplet Geometry

U-Chae Jun, Yoonhyuk Choi, Jiwoo Kang
任务设定 评估 3D 场景图预测结果与真值的语义结构差异
痛点动机 传统分类损失无法衡量场景图整体语义距离
解决方案 提出 Contextual Hellinger Triplet Geometry 度量,将分类输出转为概率场景图进行可微监督
37

HelpMeOut: A Neuropsychology-Grounded Benchmark for Error-Aware Monitoring of Household Task Execution

Haoran Wang, Jingwei Huang, Anqing Duan, Ho Seok Ahn, Bruce Macdonald
任务设定 监测家庭任务执行中人类操作是否出错的具身智能基准
痛点动机 现有基准假设人类操作正确,忽略认知障碍者常见的结构性错误
解决方案 构建 2 万组配对活动片段,覆盖 9 类神经心理学错误类别,评测多种错误监测基线
38

SWORD: Scene-Grounded Wasserstein Object-Relation Distance for 3D Scene Graph Prediction

U-Chae Jun, Jaeeun Ko, Yoonhyuk Choi, Jiwoo Kang
任务设定 评估 3D 场景图预测结果与真值的语义距离
痛点动机 现有分类损失无法区分语义相近与结构破坏性错误
解决方案 提出 SWORD 度量,基于 Wasserstein 距离 构建可对齐的物体-关系图级监督信号
39

Integrating 3D Posture Neutralization with Statistical Shape Modeling for Head-Neck-Shoulder Ergonomic Design

Jinbo Luo, Hang Ren, Yadie Yang, Jie Zhang
任务设定 研究头颈肩区域的 统计形状建模 用于人体工学设计
痛点动机 姿态会干扰解剖形状分析,需先消除姿态差异
解决方案 用 参数化头颈模型 做姿态中立化,再构建统计形状空间与模板
40

PrT-Flow: Probability-Tractable Flow Matching for Reinforcement Learning

Congzhong Sun, Ning Tan
任务设定 用于机器人策略学习的 概率可计算流匹配 方法
痛点动机 扩散/流策略灵活但 RL 算法常需动作概率密度支持
解决方案 设计 可逆变换网络 使每步可计算雅可比,结合新训练目标学习策略
41

Code2Worlds-2: Physically Plausible Agent Harness for Embodied World Simulation

Haoyu Zhang, Siming Li, Zeyu Zhang, Yi Zhang, Tat-Seng Chua, Hao Tang
任务设定 将生成的 4D 世界转化为 可物理模拟 的具身环境
痛点动机 现有 4D 生成场景只是视觉效果,缺乏碰撞、质量等物理语义
解决方案 用 SimReady 场景编译器 转为 MuJoCo 物理场景,并通过模拟器闭环精炼动力学
42

MemAct: Streaming Spatial Understanding with Memory and Active Exploration

Yuxi Wei, Wei Huang, Qirui Chen, Lu Hou, Xiaojuan Qi
任务设定 具身智能体的 流式空间理解 与主动探索任务
痛点动机 现有流式方法只处理新观测,缺少任务驱动的主动探索与记忆检索
解决方案 用 VLM 构建结构化记忆,按需检索并通过移动/转向主动获取证据
43

From Pixels to Executable Physics: Behavior-Grounded World Models for Embodied Action Consequence Prediction

Ruo Chen, Jiahua Pang, Yingjie Niu, Hongyi Lin, Jun Tian, Yang Zhu, Chao Li
任务设定 预测四足机器人在不同地形下的 动作结果
痛点动机 现有视频世界模型难以捕捉机器人与地形的物理接触,预测过于乐观
解决方案 构建 地形接触物理先验,结合几何重建指导视频世界模型预测未来
44

4LC: 4D Latent Cache for Efficient Conditioning in Dynamic World Modeling

Jianhui Zhang, Zuyao Lin, Pengxin Xu, Jingdong Wang, Xingyu Chen
任务设定 动态世界模型中高效复用时空观测以生成视频
痛点动机 不同时刻视角重复生成时逐帧渲染重编码效率低
解决方案 提出 4D 潜在缓存(4LC),融合多种视觉编码器特征,支持灵活时空读取,一套模型适配多种生成任务
45

Physical-Field-Bridged Material Parameter Inference from Multi-View Deformation Videos

Linrui Shou, Jie Li, Yu Liu, Tao Huang
任务设定 从多视角形变视频推断材料物理参数
痛点动机 材料属性仅能通过物理响应间接体现,传统方法需逐场景优化
解决方案 预测力/接触、运动流、应力等密集物理场,据此单次推断材料参数,无需逐场景模拟
46

TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency

Jack Lu, Yurong You, Boyi Li, Yulong Cao, Thomas Tian, Chaowei Xiao, Xiangyu Chen, Wenjie Luo, Boris Ivanovic, Marco Pavone, Yan Wang
任务设定 视觉-语言-动作模型推理延迟问题
痛点动机 显式文本推理提升效果但自回归解码拖慢动作输出
解决方案 提出 TacitVLA :动作专家不等待、不依赖生成的推理文本,仅从推理监督提升表征获益,推理可与动作并行执行
47

Box-WAM: Box Trajectories as Compact State Representations for World Action Models

Qinxi Yu, Wenzhou Ding, Gloria X. Wang, Albert J. Zhai, Shenlong Wang
任务设定 机器人操作中世界动作模型的状态表示
痛点动机 全帧视频未来预测计算开销大,需轻量替代
解决方案 用物体的定向框轨迹替代密集视频预测,兼顾效率与动作预测性能
48

YUBI-Real2Sim: 3DGS Scene Verification for Reliable Policy Evaluation

Hiroki Nishizawa, Takehiko Ohkawa, Nicola Scianca, Tatsuya Matsushima, Shigeo Morishima, Kei Ota
任务设定 基于 3DGS 的机器人策略 real2sim 评估
痛点动机 真机评测成本高,但 3DGS 重建质量对评估可靠性的影响尚未量化
解决方案 构建双鱼眼腕部相机的 3DGS 重建+MuJoCo 仿真框架,分析重建伪影对策略排序的影响
49

Gaussian Splatting for Real-Time Scene Reconstruction: Methods, Systems, and Trade-offs

Ashim Dahal, Rabab Abdelfattah, Nick Rahimi
任务设定 3D 高斯溅射场景重建方法综述
痛点动机 渲染与场景构建、更新、维护是不同问题,缺乏统一梳理
解决方案 将 3DGS 场景重建归纳为五类,比较质量、延迟、内存与更新成本的权衡
50

World-T3: Test-Time Training as Persistent Memory for Real-Time Video World Models

Junyi Wu, Zekun Li, Chenhongyi Yang, Chen Guo, Lingchen Yang, Yongan Zhang, Xinyi Zhang, Hongbing Hu, Bartek Rymkowski, Srinath Sridhar, Yan Yan, Xijie Huang
任务设定 相机可控的长时域视频世界模型一致生成
痛点动机 自回归生成会导致历史场景记忆逐渐衰减
解决方案 提出测试时训练记忆按相机位姿存储历史特征,并蒸馏为少步生成器实现实时交互
51

What Makes a Latent Space Shared? Direct and Recoverable Compatibility in Motion VAEs

Iago Brito, Walcy Rios, Lucas Fernandes, Kaiki de Oliveira, Arlindo Galvão Filho
任务设定 探究运动 VAE 共享潜空间是否真正直接兼容
痛点动机 共享骨干或先验不等于潜码可直接互换
解决方案 仅用少量成对数据校准即可大幅提升潜空间直接兼容性
52

Brain2Face: A Study on the Relation of EEG Signals and Spatio-temporal Head Avatars

Camilo Andrés Martínez Martínez, Olaf Dünkel, Kartik Teotia, Maurice Rekrut, Christian Theobalt, Marc Habermann
任务设定 用 EEG 脑电信号驱动 3D 头部虚拟形象表情
痛点动机 以往靠图像捕捉表情,脑电驱动头像研究和数据集均缺失
解决方案 构建 EEG 与高斯头像表情配对数据集,提出 EEG 到表情参数的回归模型
53

HairFlow: Modeling 3D Hair Strands with Multi-Modal Conditioned Diffusion

Yating Wang, Kui Wu, Ran Yi, Zixuan Lu, Tongtong Wang, Zhongtian Zheng, Lizhuang Ma, Yuefan Shen
任务设定 基于多模态条件扩散生成 3D 发丝
痛点动机 发型几何复杂、数据稀缺,现有方法需逐实例优化效率低
解决方案 用粗糙网格与多视角草图条件扩散模型生成体积场再追踪成发丝
54

Phase-Conditioned Affordance Fields for SE(3)-Equivariant Visuomotor Policies

Xinzhe Chen, Liqi Huang, Sihua Ren, Haowen Sun, Mingyang Li, Zeyang Liu, Xingyu Chen, Xuguang Lan
任务设定 学习 SE(3) 等变的机器人视觉运动操作策略
痛点动机 全局刚体等变假设在任务相关区域随物体变化时会失效
解决方案 学习相位条件可供性场定位活跃区域,作为局部等变锚点替代固定夹爪参考系
55

DexNinja: Learning Robust Dexterous Cutting Policy with a Real-to-Sim-to-Real Data Engine

Haozhe Lou, Runyi Yang, Wanqi Zhong, Caiyun Liu, Yicheng Liu, Wenhao Liu, Wenlong Ma, Jiawei Xia, Kanzhi Wu, Danda Pani Paudel, Luc Van Gool, Hang Zhao, Yiming Li
任务设定 机器人灵巧操作切割可变形食物的策略学习
痛点动机 真实数据采集成本高且会损耗食材,仿真又存在 sim-to-real 差距
解决方案 提出 real2sim2real 框架,重建物体并用可微分仿真器生成增强数据训练切割策略
56

Multics: Generative Multi-Player World Model with Hierarchical Communication

Kaiyi Huang, Wangbo Yu, Yukun Huang, Jiwen Yu, Kunhao Liu, Donglin Yang, Wenbo Hu, Ying Shan, Xihui Liu
任务设定 多人共享环境下的交互式视频世界模型生成
痛点动机 全连接通信的注意力开销随玩家数平方增长,集中式方法又会产生事件干扰
解决方案 提出分层通信机制,用组级 token 聚合局部玩家信息再与全局 token 交互
57

Generative Flow on Symbolic Abstractions for Embodiment Capability Discovery

Youwei Yu, Lantao Liu
任务设定 发现机器人具身特定能力以生成训练任务课程
痛点动机 现有任务分布靠人工或 LLM 设计,忽略机器人真实物理可行性
解决方案 用 GFlowNet 生成符号任务骨架,结合仿真策略学习奖励发现能力边界内可执行任务
58

Force-Modulated Dexterity: Unified Compliance for Contact-Rich Manipulation

Ying Yuan, David Held, Jitendra Malik, Haozhi Qi
任务设定 接触密集型灵巧操作的遥操作示教采集
痛点动机 操作者难感知机器人接触力,难复现人类的细微力调节
解决方案 提出力调制柔顺控制(FOMO-Dex),沿任务几何方向做力驱动动作修正,提升示教质量与策略学习效果
59

MARS: Systematic Multi-Level Acceleration for World Action Models

Zengyuan Zuo, Yongchang Zhang, Guangyu Zhao, Tianze Zhang, Biao Wu, Meng Fang, Yiwu Zhong
任务设定 加速世界动作模型(WAM)推理以支持高频闭环控制
痛点动机 WAM 视觉编码与迭代生成推理延迟高,现有单阶段加速效果有限
解决方案 提出 MARS 框架,对注意力计算、扩散去噪、跨查询视觉复用三层面做免训练加速
60

EgoProbe: Benchmarking Long-Range and Exact Memory in Streaming Egocentric Videos

Haokai Pang, Yuqian Fu, Yifei Wang, Yujiao Shen, Tianwen Qian, Mohamed Elhoseiny, Hongbo Fu
任务设定 评测流式第一视角视频的长程与精确记忆能力
痛点动机 已有方法只测能否跨长时间回忆,忽略细节归属的精确性
解决方案 提出 EgoProbe 基准,设长程召回与事件干扰两子集,采用由粗到细多轮探测
61

D-World: An Explicit World-Language-Action Model with Recursive Self-Improvement under Dual Control

Xuan Wen, Baichao Wang
任务设定 构建可解释、可修正的世界-语言-动作模型用于机器人控制
痛点动机 现有世界模型隐藏在网络权重或预测视频中,无法被检查或修正
解决方案 用感知规划智能体生成可执行数字孪生,依实测误差迭代修正实现递归自我改进
62

Interactive Navigation Beyond Reachability: Benchmark and Agentic Framework

Delun Li, Xueyao Wei, Rui Chen, Yifei Wang, Junzhi Yu, Wenjie Song, Xingyu Chen
任务设定 需交互改变可达性与目标可见性的具身导航任务
痛点动机 现有导航假设可通行性与物体状态不变,与真实场景不符
解决方案 提出 MultINav-Bench 基准及基于交互图的三阶段智能体框架,结合 VLM 决策与状态更新
63

AUGUstus: Autonomous Driving VLA Model with Unified Generation and Understanding

Yuqi Ye, Caigao Jiang, Zhuonan Wang, Congyuan Pei, Chao Qu, Changhao Peng, Junhong Lin, Qize Yu, Zetian Song, Guangzhao Fu, Chongruo Wu, Shiyu Huang, Shuchang Zhou, Honggou Yang, Wei Gao
任务设定 自动驾驶端到端 VLA 模型的动作生成
痛点动机 现有模型牺牲理解能力或推理延迟过高
解决方案 统一扩散动作生成与自回归 CoT 理解,动作先行保证低延迟
64

From Suboptimal to Optimal: One-Step Latent Flow Policies for Offline Reinforcement Learning

Shenghua Lu, Zixuan Yang, Rongxu Zhao, Bohao Qu, Jifeng Hu, Hechang Chen
任务设定 离线强化学习的策略生成优化问题
痛点动机 扩散/流模型多步采样导致计算成本高
解决方案 映射轨迹到潜在决策空间,单步流匹配把次优决策导向高价值决策
65

UniLAP: A Unified Latent Action Policy for Cross-Embodiment Manipulation

Lei Yao, Qiao Feng, Mutian Tong, Qihao Yun, Lap-Pui Chau, Lingjie Liu
任务设定 从无动作视频学习跨本体操作策略
痛点动机 离散隐动作粒度受限,连续隐动作又需额外规划
解决方案 用流匹配蒸馏隐动作教师,解耦运动与外观,直接推理出动作
66

Proactive Physical AI through Continuous Observation and Timely Intervention

Zhenhua Yang, Jiafeng Liang, Xingyu Zhou, Yi Jiang, Xiayu Cao, Zui Chen, Luqi Wang, Haiyang Sun, Yufei Xiang, Chang Li, Rongchuan Mu, Bowen Chi, Zihe Tong, Mingyu Li, Huijie Ma, Yiqiao Yang, Baoqi Ren, Zhiming Ma, Zhihao Zhu, Jiahao Ji, Zhuoyao Wang, Qianyu Wang, Xiangyu Liu, Wang Zixiang, Shunliang Zhang, Ming Liu, Xiaocheng Feng, Duyu Tang, Bing Qin
任务设定 主动物理 AI :持续观察环境并适时介入
痛点动机 现实任务常在用户明确提出前就已出现,需要主动判断介入时机
解决方案 提出 ProAgent 系统:用 StreamingJev 模型判断介入时机,并生成响应或操控设备执行
67

UniMetric: Universal Metric Scale Recovery for Visual Geometry Foundation Models

Lei Yang, Yuner Zhang, Ziyang Liu, Ziying Song, Kai WU, Yiyang Gao, Jiangtao Su, Yiming Li
任务设定 为视觉几何基础模型重建结果恢复真实度量尺度
痛点动机 几何基础模型重建的场景结构缺乏可靠的真实尺度
解决方案 利用 VLM 给出物体高度先验,结合几何对齐与凸优化恢复全局尺度,无需额外传感器
68

Observe, Share, or Predict? Disentangling Partner Information in Embodied Multi-Agent Collaboration

Adrián Szlatincsán, Filippo Ziliotto, Bruno Lepri, Luciano Serafini, Massimiliano Luca, Tommaso Campari
任务设定 具身多智能体协作中,拆解队友信息共享方式的影响
痛点动机 不清楚 LLM 作为高层控制器能否支持无对话的实时协作推理
解决方案 在 PARTNR 基准上比较观察队友状态、知识交换、预测动作三种机制的效果
69

ViewStruct: View-Grounded Articulation and Connectivity Inference

Wenjing Bian, Ranran Huang, Andreas Geiger
任务设定 从图像联合预测物体部件的连接与关节结构
痛点动机 理解物体可动结构是人机交互操作的前提
解决方案 适配视觉语言模型,预测视角关联的关节参数,无需运动观测,可用于生成机器人操作轨迹
70

LIBERO-Industry: Benchmarking Robotic Manipulation under Industrial Process Constraints

Ming Shin Cindy Sung, Duan Leijiahao, Haoxiang Wang, Boning Tan, Liangna Fu, Chao Tan, Yafu Li, Yulong Chen, Chaoqun Wan, Zhen Huang, Shuxian Liang, Xian-Sheng Hua
任务设定 工业场景下机器人操作策略的评测基准
痛点动机 现有基准未覆盖产线节拍、公差等工业约束
解决方案 基于 LIBERO 构建 216 个任务,测试 VLA 模型与世界动作模型在动态产线等场景的表现
71

Adaptive Interaction Network for Human Motion Prediction During Human-Robot Collaboration

Mengyuan Liu, Yangting Lin, Qiongjie Cui
任务设定 人机协作中预测人体未来运动与姿态
痛点动机 现有方法忽略机器人对人体动作的影响
解决方案 双分支网络建模人机运动,用局部-全局交互和自适应加权融合逐步精细预测
72

CineRecon: Benchmarking Frontier Models for Agentic Cinematic Reconstruction

Jialei Wang, Zehan Wang, XiaoYang Wu, Ziang Zhang, Siyu Chen, Jiaer Huang, Yujia Zhang, Tianyu Pang, Hengshuang Zhao
任务设定 评测智能体从视频重建可编辑动态 3D 场景的能力
痛点动机 难以验证重建场景与参考视频在相机、物体和动作上是否一致
解决方案 构建含 50 视频 360 片段的基准 CineRecon ,用 VLM 从多维度打分比对渲染帧与参考帧
73

VLA-GAUGE: Systematically Evaluating Generalization and Robustness in Vision-Language-Action Models

Jun Xiao, Rui Ye, Dong Cao, Jinyu Gu, Ying Wang, Zhiliang Zhu
任务设定 系统评测 VLA 模型在操作任务中的泛化与鲁棒性
痛点动机 现有评测难区分真实零样本泛化与场景记忆,缺乏组合扰动覆盖
解决方案 提出统一任务表示框架 VLA-GAUGE ,结合分布外任务对比与诊断驱动微调提升性能
74

G$^2$WAM: World Action Models for Efficient and Geometry Grounded Image-Goal Navigation

Ke Gui, Chenghao Shi, Ziyue Wang, Longwen Chen, Xieyuanli Chen, Huimin Lu
任务设定 面向图像目标导航的世界-动作模型
痛点动机 现有方法依赖微调或昂贵显式 3D 重建,部署成本高
解决方案 用场景坐标定位模块统一多帧空间参考,在潜空间联合预测未来状态与动作
75

GHOST: Geometry-Constrained Hybrid Diffusion for Open-Vocabulary 3D Scene Graph Generation

Changqun Feng, Wangxiandi Yin, Xin Hu, Ruiting Dai, Feiyang Yang, Jielei Wang, Tao He
任务设定 开放词汇 3D 场景图生成中的空间关系预测
痛点动机 语言相似度反映语义共现,难以体现真实几何关系
解决方案 提出几何约束扩散框架,联合建模节点几何与边谓词,实现真实空间关系预测
76

RAP-WAM: Learning World-Action Models through Predictive Rehearsal and Action Perturbations

Yuanpeng He, Ceyao Zhang, Fangjing Li, Kefei Zhu, Lijian Li, Yueheng Li, Tianjia He, Wenpin Jiao, Zhi Jin, Yaodong Yang, Yuanpei Chen
任务设定 基于世界-动作模型的机器人策略学习
痛点动机 如何用视频预测结果指导动作学习是关键难题
解决方案 提出预测排练与动作扰动,结合误差累积构建时空信号指导策略学习
77

Throwing4: Phase-Aware Pose Modeling for Throw-Distance Prediction in Elite Athletics

Bikash Kumar Badatya, Kartike Tiwari, Jyotirmoy Amin, Ravi Hegde
任务设定 从广播视频 2D 姿态预测投掷项目成绩
痛点动机 整段序列建模忽略技术阶段结构,预测不稳定
解决方案 将动作划分为四个技术阶段,分阶段融合姿态特征后回归距离
78

World Models Need a Physical Registry: Learning Internal Predictive States for Physically Plausible World Models

Shinseong Kim, Jaeseok Jeong, Jianlong Fu, Youngjung Uh
任务设定 让视频世界模型生成物理合理的未来帧
痛点动机 视频 token 混杂外观与动力学,缺乏显式预测状态
解决方案 在视频 DiT 中加入 Physical Registry 寄存槛位,显式建模场景演化并接受未来表征监督
79

RAR: Rate-Adaptive Rollout for Time-Consistent Interactive World Models

Yaoyang Liu, Dongyu Yan, Yihua Du, Shengju Qian, Zeke Xie, Xin Wang, Ying-Cong Chen, Long Chen
任务设定 交互式视频世界模型的多帧率可控生成
痛点动机 运行帧率与训练帧率耦合,限制时间粒度和物理时长覆盖
解决方案 提出 Stride-RoPE 将不同采样率的潜在帧对齐到统一物理时间坐标,实现多帧率一致回放与在线切换
80

ClothAtlas: Joint Garment Identification and State Estimation under Self-Occlusion

Jens Lundell, Alberta Longhini, Lei Shu, Hemal Arora, Evan Robert, Carlota Parés-Morlans, Marcel Büsching, Mårten Björkman, Jeannette Bohg
任务设定 从自遮挡部分点云联合识别服装并估计完整状态
痛点动机 补全观测需形变先验,而识别服装又依赖补全后的状态,二者互为因果
解决方案 提出 ClothAtlas ,用图条件流匹配模型为候选规范网格采样配置并按观测拟合度排序
81

FlowAvatar: Real-Time Full-Body Avatars from Sparse Egocentric Inputs on Consumer XR Devices

Chenfeng Gao, Taeyoung Yeon, Sungheon Park, Vasco Xu, Anish Prabhu, Mar Gonzalez-Franco, Karan Ahuja
任务设定 消费级 XR 头显上实时重建全身个性化化身
痛点动机 单一自我中心视角难兼顾追踪完整性与个性化外观
解决方案 提出 FlowAvatar,用稀疏自我中心相机联合预测全身姿态、手部与面部表情
82

Graph3R: Unifying View Graph Initialization with Feed-Forward Reconstruction

Jingwen Yu, Hengli Wang, Jianhao Jiao, Zhonghang Liu, Ping Tan, Hong Zhang
任务设定 从混合场景图像集合中前馈重建相机位姿与几何
痛点动机 非单一场景图像联合重建会破坏位姿与几何精度
解决方案 提出 Graph3R,用共享几何特征统一视图图初始化与前馈重建
83

EgoWholeView: Camera-Only Head-Mounted Capture of Body and Bimanual Hand Motion for Embodied Demonstrations

Yaoqing Hu, Xuguo He, Daohan Cui, Yukun Shi, Kai Chen
任务设定 纯相机头戴设备采集全身与双手动作
痛点动机 单目自我中心相机视野有限、易被手物遮挡
解决方案 用六个鱼眼相机预测 SMPL-X 体型与 MANO 手部并融合优化
84

MFlowHOI: Whole-Body Human-Object Interaction Generation via Part-Aware MeanFlow

Qiang He, Yonghao Zhang, Yinda Zhang, Chenyu Meng, Liufei Ouyang, Haoxiang Hu, Cangjun Gao, Xiaoming Deng, Cuixia Ma, Hongan Wang
任务设定 生成全身人-物交互动作
痛点动机 扩散式迭代生成推理成本高,各部件尺度差异大难统一
解决方案 提出 MFlowHOI,用 Part-Aware MeanFlow 单步生成身体、手、物体与接触
85

VGGA: Geometry-Grounded Autoencoder for Video Generation

Chaofan Gan, Yian Zhao, Shijie Li, Tieyuan Chen, Zicheng Zhao, Mehrtash Harandi, Weiyao Lin
任务设定 为视频生成设计几何感知的潜空间自编码器
痛点动机 现有自编码器仅重建像素,忽略 3D 几何结构
解决方案 引入深度/运动/投影几何约束监督潜表示,显著提升人体运动等视频生成质量
86

DIGS: Distribution-Informed Gaussian Splatting for Training-Free Open-Vocabulary 3D Segmentation

Zhifan Zeng, Wenbo Xiao, Arcot Sowmya, Changming Sun
任务设定 免训练的开放词汇 3D 高斯场景分割
痛点动机 边界高斯被迫绑定单一语义标签,导致分割不稳定
解决方案 维护多峰标签分布替代单一标签,解耦实例发现与语言命名并用 CLIP 消歧
87

EgoAlign: Situated 3D Understanding without Situation Descriptions

Yiyang Li, Tianyi Ma, Zehong Wang, Yanfang Ye
任务设定 基于 agent 姿态的 3D 场景问答任务
痛点动机 现有方法依赖语言描述姿态,数值姿态实际作用有限
解决方案 用 agent 中心坐标系表示场景,设计自我中心对齐预训练任务
88

Esports World Model Dataset

Weiyu Ma, Zeyuan Gong, Xuhui Liu, Wenxuan Zhang, Jian Ding, Xinyu Cui, Jian Zhao, Mohamed Elhoseiny
任务设定 多人电竞游戏的世界模型数据集构建
痛点动机 现有数据缺乏连接个体观察与共享状态/事件的信息
解决方案 发布覆盖 StarCraft II/Dota2/CS2 的大规模多视角对局数据支持世界模型研究
89

Unravel: Recovering an Interactive 3D Scene from a Single Image

Hui Shan, Keyang Luo, Binjia Zhou, Ming Li, Kai Li, Xin Wang, Zhenyang Li, Zesong Yang, Weikai Chen, Runze Zhang, Xin Wang, Yanwei Fu, Zhen Chen, Xiangru Huang
任务设定 单张图像恢复可交互的 3D 场景,物体可独立移动
痛点动机 现有方法几何纠缠或无法修正错误的物体猜测
解决方案 用 VLM+图像编辑逐层剥离遮挡物体,逆序重建并物理校正场景
90

All-St3R SLAM: Real-time RGB Dynamic SLAM with Pixel-wise Motion Masking

Yewon Kim, Paul Hongsuck Seo, Sang Chul Ahn
任务设定 动态场景下的实时 RGB 动态 SLAM
痛点动机 现有动态 SLAM 存在过度移除和高计算成本问题
解决方案 结合 DUSt3R 运动估计与点跟踪,像素级剔除动态区域实现实时建图
91

ProMoDD: Dataset Distillation for 3D Human Motion via Prototype-Conditioned Diffusion Models

Yijin Wei, Yawen Zou, Wenqi Cai, Guang Li, Hangli Ge, Katsuya Hotta, Chunzhi Gu, Chao Zhang
任务设定 基于骨骼的 3D 人体动作数据蒸馏
痛点动机 直接优化关节坐标会破坏人体几何与时序连续性
解决方案 用原型条件扩散模型生成动作,结合特征空间筛选构建紧凑训练集
92

Geometry-Guided Semantic Reconstruction for 3D Instance Segmentation

Yuanhao Su, Shaofeng Zhang
任务设定 3D 场景实例分割任务
痛点动机 2D 语义直接拼接难以与 3D 几何结构对齐
解决方案 提出掩码语义重建蒸馏 2D 先验至 3D 编码器,并用几何调制注入语义
93

ADAPT: Audio-Depth Action Planning with Transition-Aware Rewards for Lights-Out Industrial Navigation

Wenjun Huang, Shenghao Fu, Yian Jin, Yang Ni, Yifan Li, Lichi Li, Xingjian Diao, Pengfei Zhang, Yutong Song, Hanning Chen, Jiarui Cui, Tianyu Yang, Shilong Li, Yu Kong, Mohsen Imani
任务设定 研究无光照工业场景下的具身导航任务
痛点动机 RGB 视觉导航模型在无光照环境中完全失效
解决方案 提出 ADAPT 框架,用空间音频定位目标、深度感知障碍物,配合转换感知奖励(TARS)做强化学习训练
94

Sharper Frames, Worse Rooms: Viewpoint Coverage Dominates Image Quality in Feed-Forward 3D Reconstruction

Alibek Dadajonov, Hikmatillo Umarhojiyev
任务设定 研究室内场景前馈式多视图 3D 重建的帧选择问题
痛点动机 固定帧预算下,清晰度优先选帧策略反而严重损害重建精度
解决方案 发现视角覆盖范围比图像清晰度更关键,均匀时序采样优于选最清晰帧
95

Totem: Object-Centric 3D Memory for World-Consistent Video Generation

Zichen Wan, Tianyu Huang, Fan Li, Kai Wang, Hongzhi Zhang, Wangmeng Zuo
任务设定 研究大视角变化下的世界一致性视频生成
痛点动机 现有方法在大视角变化时难以保持物体稳定的统一表示
解决方案 提出物体中心 3D 记忆框架,配合双流 3D 条件架构保持物体与场景几何一致
96

Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping

Songze Li, Haoming Gu, Ziyang Gong, Zhitong Wang, Gengze Zhou, Zun Wang, Yuhan Zhu, Tianxiang Jiang, Juanzi Li, Qi Wu, Weinan Zhang, Yu Qiao, Wenwei Zhang, Yi Wang
任务设定 研究视觉语言导航的数据合成与指令生成问题
痛点动机 固定模型预标注的监督信号易与不断演进的策略脱节
解决方案 提出策略同步的语言-动作双向自举框架,在共享模型中分片滚动生成指令与动作
97

Hand2Robot: Object-Centric 4D Hand Reconstruction from Human Demonstrations for Robotics

Zetao Du, Weiqing Wang, Hanbing Zhang, Yimiao Zhou, Ye Shi, Liang Wang, Jingya Wang
任务设定 研究从人类演示视频生成机器人操作监督信号
痛点动机 人手动作无法直接当作机器人动作监督,且需保证手物交互物理一致
解决方案 提出物体中心 4D 手部重建框架,结合物体位姿优化与运动重定向生成动作监督
98

SurgiCLAW: An Interpretable Atomic-Skill Agent for Precision Robotic Micromanipulation

Angen Ye, junjie xie, Yujia Song, Junkai Huang, Dapeng Zhang
任务设定 研究高精度手术机器人微操作的技能级控制
痛点动机 端到端低层动作预测精度不足、决策不透明且数据稀缺
解决方案 用 MLLM 负责视觉理解与原子技能选择,具体执行交由确定性控制程序完成
99

Recovering Low-Bit Failures in Vision-Language-Action Policies via Quantization-Conditioned Reinforcement Learning

Seongmin Park, Jaewon Lee, Yujun Heo, Yoonsik Kim, Seheon Choi, Hyoung-rock Kim, Jungwook Choi
任务设定 恢复量化 VLA 机器人操作策略的性能损失
痛点动机 量化感知训练仍落后全精度,且模仿学习未利用成功信号
解决方案 提出量化条件强化学习(QCRL),用进度奖励与全精度参考经验指导量化策略训练
100

A Persian Vision-Language-Action Dataset and Benchmark for Ambiguity- and Infeasibility-Aware Instruction-to-Plan Grounding

Abdollah Pourasghari, Saeedeh Sadat Sadidpour, Mohammad Roustaei
任务设定 波斯语场景下指令到机器人动作计划的语言落地
痛点动机 现有基准多为英语且假设指令清晰,忽略歧义与不可行性
解决方案 构建波斯语 VLA 数据集,标注歧义/不可行标签,提出 PGOS-FA 评测指标
101

SurgCast: Action-Conditioned Future Skeletons for Controllable Surgical World Models

Wanhao Liu, Rulin Zhou, Liangjing Shao, Zhaocheng Lin, Dongyue Li, Jinsong Lin, Guoheng Ma, Hangheng Yang, Zhiqing Tang, Jing Chen, Panshuo Li, Hongliang Ren
任务设定 基于动作预测手术器械骨骼以控制视频生成
痛点动机 手术世界模型需把机器人动作转化为结构一致的器械运动
解决方案 用骨骼几何与运动描述子双路径注入可控手术视频生成模型
102

1Step-WAM: Your World Action Model but Faster using 1-Step Action Generation

Rundong Su, Pengtao Chen, Haohan Geng, Sha Zhang, Zhihang Yuan, Yicheng Rong, Chong Yu, Hao Huang, Tao Chen
任务设定 加速世界动作模型(WAM)的动作生成推理
痛点动机 多步动作去噪与视觉-动作串行执行严重拖慢机器人部署
解决方案 利用去噪轨迹近似直线特性,轻量校准器实现单步动作生成并与视觉并行
103

FireNav: Decision-Oriented Reconstruction Evidence Routing for Vision-Language Navigation in Indoor Fire Environments

Hongbo Ding, Xiang Chen, Jiangxin Dong, Jinshan Pan
任务设定 室内火灾场景下的视觉语言导航(VLN)
痛点动机 视觉退化干扰指令理解,图像复原未必提升导航决策
解决方案 提出决策导向的重建证据路由,轻量路由器判断何时采用复原特征
104

A Plausible Future Is Not a Causal Future: Can Video Models Generate How the World Unfolds?

Jialiang Li, Zhengning Xu, Zongyang Ma, Shaobo Cui
任务设定 评估视频生成模型能否模拟因果物理演化
痛点动机 现有评测只看画面质量,忽略因果链是否成立
解决方案 构建含反事实变体的仿真基准,诊断事件级因果一致性
105

GNFormer: Gaussian Neural Field Transformer for Efficient Camera-based Occupancy Prediction

Guangcheng Chen, Li He, Hong Zhang
任务设定 基于相机图像预测 3D 占据,用于机器人场景理解
痛点动机 高斯基元利用率低,难以建模复杂形状
解决方案 提出高斯神经场,结合神经网络提升占据预测表达力
106

World Modeling through Spectral Alignment

Holger Molin, William Peng, Marco Bagatella, Randall Balestriero
任务设定 研究世界模型该保留哪些信息以支持规划控制
痛点动机 表征几何直接决定可控信息,需显式指定而非隐式学习
解决方案 提出 SpecWM,用目标相似核训练编码器复现关系,时序频谱对齐显著提升 CALVIN 等规划成功率
107

LeHami: Symplectic Latent Dynamics for World Models

Romina Yalovetzky, Randall Balestriero, Yann LeCun
任务设定 在潜空间中建模世界模型的长时程动力学
痛点动机 无约束 JEPA 预测器长回合会潜分布收缩,预测失真
解决方案 提出 LeHami ,用辛哈密顿流替代预测器,保持相空间体积守恒
108

Words to World: Benchmarking LLMs in Interactive Physical Environments

Xinnan Dai, Kaiqi Yang, Yaxin Li, Cheng Luo, Wanli Li, Mingqing Xiao, Xinyang Jiang, Daoan Zhang, Kaitao Song, Fengze Liu, Zefan Cai, Caihua Shan
任务设定 评测 LLM 闭环控制真实机械臂等物理设备的能力
痛点动机 现有基准多为静态文本/仿真,缺真实物理反馈闭环评测
解决方案 搭建含机械臂、相机、传感器的物理交互基准,测试指令-感知-纠错能力
109

ExeWorldBench: Benchmarking Code-Based Executable 3D World Modeling

Xinge Peng, Zhen Fang, Ruibing Wang, Yongxuan Lv, Haodong Li, Guohui Zhang, Xiaoxiao Ma, Yiting Lu, Lin Chen, Zehui Che, Feng Zhao
任务设定 评测代码生成可执行 3D 世界的能力
痛点动机 现有基准割裂评估物理推理、视觉还原与行为正确性
解决方案 设计三级任务,从单一机制到意图驱动,综合考察世界理解与代码实现能力
110

Scalable Multi-Human Cooperative Manipulation via Commander-Executor Coordination

Buzhen Huang, Xingchen Wu, Yuanwang Yang, Chenyi Xie, Kun Li
任务设定 多人形机器人协同搬运与操作物体任务
痛点动机 现有方法难应对角色分工、长时序的协作操作
解决方案 提出指挥官-执行者分层框架:指挥官做语义几何规划并分配子任务,执行者通过单到协作课程学习底层物理控制策略
111

MORE: Learning Motion-Oriented Registers for Driving World Models and Planning

Yingdong Gu, Haoyu Wang, Shaocheng Yan, Zhenjun Zhao, Hao Han, Pengcheng Shi, Xianfei Li, Qinghua Tan, Wenlong Liao, Tao He, Jiayuan Li, Pai Peng
任务设定 为自动驾驶世界模型学习运动导向的状态表征
痛点动机 预训练视觉特征信息密集但与下游运动规划适配不匹配
解决方案 提出 MORE 框架,用少量运动寄存器压缩状态,作为预测与规划的共享接口
112

CAST: Real-Time Motion Capture for Any Skeleton Topology

Pu Pang, Zhongfei Qing, Ling-Hao Chen, Songnan Li, Hua Huang, Bo Hu
任务设定 单目视频下跨骨骼拓扑的实时动作捕捉
痛点动机 关节旋转误差会沿运动学链传播,骨骼结构不同时更严重
解决方案 结合学习旋转与全局骨骼方向引导的几何校正,按父子顺序逐步修正姿态
113

BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries

Jiaxin Fang, Ruitong Liu, Zeyu Lai, Xingyu Wang, Mingyuan Jia, Pingyue Sheng, Weikang Wan, Mengdi Xu, Yuxiang Gao
任务设定 世界动作模型中连接视频与动作专家做机器人操作
痛点动机 稠密层级耦合让动作预测混入无关视觉信息且计算冗余
解决方案 用 32 个 Latent Bridge Queries 聚合多模态先验到共享潜空间,解耦视频与动作专家深度,兼顾精度与速度
114

MHWA: Multi-timescale Hierarchical World-Action Model

Pengcheng Pan, Guoqing Ma, Yuhan Zhang, Yang Chen, Yichen Liu, Ziheng Li, Shan Yu
任务设定 自回归世界模型长时域规划中的误差累积问题
痛点动机 现有层级化方案结构复杂、难控制,增益有限
解决方案 提出 MHWA ,用低频高层上下文通道抑制漂移,并以上下文感知路由动态组合专家
115

PURE: Refining Feed-forward 3D Reconstruction with Unlabeled Post-training

Yaolong Zhu, Peng Li, Jiahao Lu, Chengfeng Zhao, Mengfei Li, Chao Wang, Wenyue Chen, Zekai Gu, Chengwei Ren, Ronggang Wang, Yuan Liu
任务设定 无标注优化前馈式 3D 重建模型在动态视频中的表现
痛点动机 依赖昂贵深度/相机位姿标注,难以泛化到真实动态场景
解决方案 从 2D 先验蒸馏几何结构知识,结合相对深度约束稳定 4D 几何预测
116

DexCast: Learning Real-World Dexterous Control from Human Videos

Zihan Gao, Yuhong Zhang, Mengzhe Wang, Kaisheng Liu, Shengpeng Li, Siyao Xiao, Runqing Cheng, Xiao Lin, Zhifang Liu, Haoqian Wang
任务设定 从人类视频中学习机器人灵巧手的真实操控
痛点动机 传统遥操作演示采集成本高,人力消耗大
解决方案 基于手物交互重建提取运动,用扩散策略生成灵巧手动作
117

Demiurge: Forging Navigable 4D Worlds via Autoregressive Video Rerendering

Hanxin Zhu, Jianqi Ma, Cong Wang, Zhihao Hu, Junyao Gao, Tianyu He, Junyan Lin, Jiayin Xiao, Jiateng Shou, Sen Liang, Weidong Zhang, Zhibo Chen, Jun Zhang
任务设定 由单段视频生成可自由导航的 4D 世界
痛点动机 现有方法各相机轨迹独立处理,缺乏跨轨迹一致性
解决方案 基于 4D 点云记忆缓存自回归重渲染视频,结合深度补全与几何优化
118

HumanPhys: A Human-Centric Physical-World Perception Benchmark for Real-World Visual Reasoning

Yiming Zhang, Enzhi Zhou, Junan Lin, Dulan Zhou, Weiqiang Wang, Yuge Huang, Jian Liu
任务设定 评测模型对人体物理属性(深度、速度、注视等)的感知能力
痛点动机 现有 MLLM 基准缺少对人体物理量的直接、可靠监督
解决方案 基于传感器/渲染器标定构建六维度人体物理感知基准
119

Attribute-Centric Vision-Language Alignment for Fine-Grained Gait Understanding

Saihui Hou, Chenye Wang, Wenpeng Lang, Qiannan Guo, Zhengxiang Lan, Chao Fan, Shiqi Yu, Yongzhen Huang
任务设定 细粒度步态属性识别与视觉语言对齐
痛点动机 现有步态标注稀疏,分类器方式难以对齐细粒度视觉证据
解决方案 提出 RA-GAR 大规模标注数据集,并用 Gait-VL 框架将属性视觉证据与 LLM 扩展的文本原型匹配
120

Flow-Support-Weighted Proposals for Test-Time Verified VLA Policies

Chen Zhao, Zipeng Ye, Haitao Shen, Guanlin Li, Yuchen Xie, Jing Zhang
任务设定 提升 VLA 策略测试时采样的候选多样性
痛点动机 微调后 flow-matching 解码器采样坍缩,候选动作高度冗余, verifier 难以筛选
解决方案 提出 ADS ,训练时用 Hutchinson 迹估计度量 flow 支撑度,修正策略分布增加候选多样性
121

Remembering What Matters for Long-Horizon Robotic World Models

Hao Wu, Tianyu Shao, Shengju Qian, Yizhou Zhao, Fan Zhang, Penghao Zhao, Weiyan Wang, Yufei Huang, Fan Xu, Kun Wang, Xin Wang, Ming-Hsuan Yang, Yuxuan Liang
任务设定 长时域机器人视频世界模型的自回归推理
痛点动机 保留全部历史上下文导致记忆角色冲突,长程预测质量反而下降
解决方案 提出 ReCAP ,无需训练,仅保留场景锚点与近期连续视觉-动作块,剔除陈旧历史
122

GG-Nav: Goal-oriented Grounding Chain-of-Thought Elicits Reasoning in Navigation Foundation Models

Shaohao Zhu, Wensi Huang, Siqi Zhang, Yuqiang Yang, Meng Wei, Chenyang Wan, Tianle Liu, Tai Wang, Jinming Xu
任务设定 目标导向的视觉语言具身导航任务
痛点动机 现有 VLM 导航模型难以利用历史观测、目标定位不精准
解决方案 设计结构化思维链,分阶段积累定位证据辅助决策,部署于四足机器人验证
123

DSR-Net: Learning Dynamic Skeletal Relations for 3D Human Pose Estimation

Fan Li, Jian Xiang, LinLin Xue, Yuwei Gao
任务设定 3D 人体姿态估计中的骨骼结构建模
痛点动机 固定骨骼拓扑难以适应多样化运动模式
解决方案 提出动态骨骼关系模块学习自适应关节依赖,结合层次化融合与轻量级重校准提升姿态精度
124

Memory Without Curation: Learning Multi-Stream Latent Memory for Robot Policies

Yilin Wu, Rutav Shah, Shuaiyi Huang, Sumedh A. Sontakke, Homanga Bharadhwaj, Andrea Bajcsy, Max Simchowitz, Guanya Shi
任务设定 为机器人 VLA 策略学习长程记忆机制
痛点动机 直接拼接历史观测易致捷径学习且推理延迟大
解决方案 用多流隐式记忆增量压缩观测、动作与本体感觉,两阶段训练避免捷径
125

RealityBench: Simulated Environments to Evaluate a Vision Language Model's Ability to Document Human Physical Work

Andrew Perrault, Anmol Takiar, Dominik Wienecki, Arnab Nandi
任务设定 评估视觉语言模型记录人类体力劳动的能力
痛点动机 真实物理作业数据稀缺且场景多变,难以系统评测
解决方案 用 Blender 仿真构建 11 种场景,测试 VLM 对任务状态的理解
126

DexFLEX: Contact-Aware Foundation Controller for Command-Guided Dexterity

Weikang Wan, Zeyu Lai, Jianyu Hou, Yuchen Zhou, Jiawei Fu, Henrik I Christensen, Hao Su
任务设定 灵巧手在指令引导下的接触感知控制
痛点动机 上游运动指令常未指定接触细节,直接执行易失败
解决方案 基于触觉本体感觉提出候选动作并预测接触后果,选取接触一致的指令
127

Learning Transferable World-Action Models from Task-Paired Human Videos

Jeongeun Park, Taekyung Kim, Dongyoon Han, Sangdoo Yun
任务设定 从配对人类视频中学习可迁移的世界-动作模型
痛点动机 单视频预测易依赖外观捷径,难以跨场景跨本体迁移
解决方案 跨视频预训练,用一个演示预测另一演示的动作与未来帧
128

Image Diffusion Models Are Good 3D Human Motion Generators

Siyuan Yang, Chong Wang, Hao Cheng, Jun Liu, Bihan Wen, Alex Kot, Hedvig Kjellstrom
任务设定 将 3D 人体动作生成转化为图像扩散任务
痛点动机 不同动作数据集骨架结构各异,难以共享模型
解决方案 把关节轨迹编码为拓扑联合时间图像,用扩散 Transformer 联合生成根运动与局部动作,实现跨骨架共享训练。
129

Latent World Action Model for GUI Agents

Seungjun Yu, Hojun Choi, Seojeong Park, Jaeyo Shin, Hyunjung Shim
任务设定 GUI 智能体中基于世界模型做动作预测与决策
痛点动机 像素级世界模型重建代价高,还易产生身份捷径问题
解决方案 用多模态大模型构建潜空间世界模型,设计动作头和转移头,并用对比目标抑制恒等捷径。
130

ClothCode: Generative Modeling for Garment State Estimation and Dynamics Prediction

Yingdong Ru, Lipeng Zhuang, Shiyu Fan, Zhuo He, Florent P. Audonnet, Gerardo Aragon Camarasa
任务设定 统一生成模型完成衣物状态估计与动力学预测
痛点动机 衣物高维可变形,现有方法精度与速度难兼顾
解决方案 用残差向量量化编码衣物配置,掩码生成式 Transformer 并行预测,提升折叠成功率
131

Visualizing the World Model in an Agent's Value Function

Shawheen Naderi, Fatemeh Akherati, Yubei Chen
任务设定 探究强化学习智能体的价值函数是否隐含世界模型
痛点动机 仅靠奖励训练的智能体能否自发学到环境规律尚不明确
解决方案 用反事实干预固定状态仅改变目标量,发现价值函数学到了物品规则等环境概念
132

Disentangling Task-Relevant Latent Dynamics for Reward Modeling

Dayou Li, Jionghao Wang, Peihao Wang, Jiuzhou Lei, Hao Wang, Jichen Chai, Hezhen Hu, Minghui Zheng, Zhangyang Wang, Xin Li, Wenping Wang, Zhiwen Fan
任务设定 从异构视频中学习机器人操作的密集奖励
痛点动机 视频奖励易被无关视觉变化干扰,难以聚焦任务本身
解决方案 两阶段方法解耦任务相关动态表征,用修正流模型建模动态生成方向性奖励
133

Video-Arena: A Scalable Agentic Video Benchmark for Spatiotemporal Capability

Kuan Zhang, Yukun Chen, Zhihao Yang, Yue Su, Xiangnan Wu, Zirong Chen, Run Luo, Tao Tan, Yinhe Zheng, Yiming Li
任务设定 评测视频模型对动态世界状态的理解与追踪能力
痛点动机 真实视频世界状态难标注,现有基准难验证追踪能力
解决方案 用竞技游戏录像自动生成可验证的时空推理测试集,评估事件感知与状态追踪
134

Axiom-0: Hierarchical Self-Refinement for Vision-Language-Action Policies

Renbin Shu, Jing Yang, Xiangyuan You, Guolin Qiu, Yufei Xia, Yiming Zhu, Nanjun Dai, Fei Zhang, Feng Wu, Keke Tang
任务设定 提升 VLA 策略在陌生任务组合上的操作泛化能力
痛点动机 现有视觉-语言-动作模型对未见任务组合表现有限
解决方案 用分层自我精炼优化中间特征与动作接口,联合训练提升操作成功率
135

Embodied Zero-Shot Task Planning via Hardware-Aware LLM-VLM Integration for Grounded Robotic Manipulation

Lonnie Tankersley, Noorbakhsh Amiri Golilarz, Soroush Korivand
任务设定 零样本规划机器人抓取/操作任务
痛点动机 LLM 生成的计划常忽略机器人本体与几何可行性
解决方案 LLM 做符号推理,VLM 语义校验,几何/碰撞/抓取由确定性模块执行
136

Human Pose Estimation by Probabilistic Mixtures of Gaussian and Uniform Distributions

Santiago Reina Alguacil, Ezequiel López Rubio
任务设定 人体姿态估计中热力图坐标解码
痛点动机 确定性坐标提取在遮挡和 OOD 场景下易失败
解决方案 用高斯混合模型叠加均匀分布建模热力图,提升精度与不确定性量化
137

Two-Stage Multi-modal Learning for Dynamic Audio-Visual Navigation: From Physical Alignment to Scene Aggregation

Jia Li, Yinfeng Yu
任务设定 动态声源下的视听导航(目标会移动)
痛点动机 现有方法依赖语义听觉特征,难泛化到未知声音类别
解决方案 两阶段:物理对齐匹配声强与几何,再用跨模态聚合做决策
138

Reinforcement Learning from Real-Robot Interaction without High-Quality State Estimates

Ryan Gao, Ashvin Anilkumar, Nicholas Corrado, William Cong, Josiah Hanna
任务设定 无高精度状态估计下的真实机器人强化学习
痛点动机 真实环境状态不可观测,传感器误差会污染策略与奖励
解决方案 结合 UKF 与 RSSM ,仅在球可见时校正潜状态,训练双足机器人( NAO )踢球策略
139

RAIN: Robotic Task Generalization with Region-Aware Interaction Networks

Seunghun Lee, Kyuhwan Shim, Yeogyeong Song, Seung Hwan Kim, Sihaeng Lee, Byoung-Tak Zhang, Sunghoon Im, Gunhee Lee
任务设定 视觉-语言-动作模型的机器人任务泛化
痛点动机 现有 VLA 模型记忆训练轨迹,难迁移到新场景和物体
解决方案 提出区域感知交互网络(RAIN),以目标区域掩码分解子任务,并用参考轨迹重定向合成新演示
140

LabInstruct: Benchmarking Situated Instructional Video Generation for Lab Procedures

Yuming Fu, Weijia Wu, Jing Chen, Jiahao Tang, Feifei Chen, Hongyu Zhu, Xin Jin, Alex Jinpeng Wang
任务设定 评测真实实验室操作的情境化指令视频生成
痛点动机 实验流程复杂动态, AI 生成视频能否可靠传达操作尚不明确
解决方案 构建 LabInstruct 基准,含 204 个任务及物体/动作/接触标注,评测 8 个前沿图生视频模型
141

RoboHarness: A Simple Harness Outperforms VLA and World Actions Models

Bince Qu, Wei Chen, Bo Zhang
任务设定 让 LLM 编码智能体直接执行具身机器人操作任务
痛点动机 训练专用 VLA 模型成本高,能否用编码智能体替代?
解决方案 提出 RoboHarness 视觉几何控制面板,使 LLM 智能体直接调用具身操作,性能超过 VLA 与世界动作模型