1
Zhixu Li, Keqian Tang, Litian Gong, Jingyu Yao, Wenqian Zhang, Tianze Xu, Zehao Wang, Yuping Wang, Junge Zhang, Jiachen Li
任务设定
评测机器人个性化操纵中偏好学习的基准
痛点动机
现有基准未区分任务完成与偏好满足,难以评估
解决方案
基于 LIBERO 构建 5 类 312 个任务,系统测试 VLA 策略的零样本、学习与偏好泛化能力
2
Yitong Xia, Zeren Jiang, Chuanxia Zheng
任务设定
从单目视频中恢复 4D 几何与运动
痛点动机
现有方法依赖迭代去噪,效率低且难统一多任务
解决方案
复用预训练视频生成模型作为前馈 4D 感知器,结合按需查询解码深度、位姿与轨迹
3
Chenyuan Zhou, Yining Hong, Huang Huang, Yunfan Jiang, Wenlong Huang, David Held, Vitor Campagnolo Guizilini, Yue Wang, Li Fei-Fei, Jiajun Wu, Leonidas Guibas, Yejin Choi
任务设定
机器人世界模型测试时适配未知环境因素
痛点动机
摩擦、质量等环境参数不可观测,模型难泛化到新环境
解决方案
训练环境隐变量并在测试时用少量交互在线优化,无需监督环境定义
4
Zirui Wu, Chen Guo, Tianjian Jiang, Zeren Jiang, Zeming Li, Lingchen Yang, Longteng Duan, Ying Xue, Handi Yin, Shenyuan Gao, Martin R. Oswald, Jun Zhang, Ping Tan, Jie Song
任务设定
统一手部操作感知、预测与规划的世界动作模型
痛点动机
现有方法分离处理手部重建、视频预测与规划,难以协同
解决方案
用混合 Transformer 架构融合 3D 手部动作与视频扩散模型,统一训练感知-预测-规划三模式
5
Tianjiao Yu, Zhilin Ou, Yifan Shen, Xinzhuo Li, Yuanzhe Liu, Onkar Kishor Susladkar, Fan Wang, Ismini Lourentzou
任务设定
机器人操纵中仿真数据引擎与策略协同进化
痛点动机
生成的仿真环境物理合理但未必能针对性改善策略短板
解决方案
用共享记忆连接失败诊断与环境生成,并提出 Text2potential 提供密集奖励监督
6
Han Su, Meng Tian, Tianyu Huang, Mingyu Gao, Lennox Wei, Dongxu Li, Jianhua Han, Hang Xu, Xiaohe Wu, Wangmeng Zuo
任务设定
提升视觉语言模型的跨视角 3D 空间推理能力
痛点动机
融合 3D 重建特征与预训练语义表示难以对齐
解决方案
提出双核注意力,将几何位置直接调制注意力而非融合特征,并用参考帧监督更新空间判断
7
Hongchang Liu, Jian Liu, Yujuan Ding, Liang Peng, Xun Jiang, Fei Ma, Xing Xu, Yi Bin
任务设定
3D 世界模型中视角解耦的场景状态建模
痛点动机
几何特征的视角依赖性使场景动态与相机变化相互纠缠,难以预测
解决方案
用场景分词器聚合多视角几何特征为视角无关状态,解耦相机运动单独建模,支持跨视角一致查询
8
Botao He, Yiming Dou, Yiannis Aloimonos, Jitendra Malik, Akash Sharma, Ruoshi Liu
任务设定
机器人自主采集灵巧操作数据训练世界模型
痛点动机
灵巧操作需要大量接触丰富的交互数据,难以人工采集
解决方案
用少量人类 play 演示训练策略自主收集数据,再用学到的世界模型做模型预测控制
9
Rıza Alp Güler
任务设定
从单目视频恢复人体稠密 4D 对应关系
痛点动机
身体关节、衣物形变与遮挡让稠密对应很难建立
解决方案
提出无模板前馈模型 Dense4D ,预测人体点图与深度,跨帧匹配实现稠密跟踪
10
Qiuhong Shen, Shizun Wang, Xinchao Wang
任务设定
提升视频世界模型交互式生成的效率
痛点动机
分块视频扩散的 KV 缓存随长度增长而变慢
解决方案
提出 Velox ,用流式几何的视锥体对应关系做无训练注意力路由加速
11
Conor Mc Gartoll, An Dang, Pranay Thangeda, Arjun Gupta, Carolina Higuera, Nima Fazeli, Mustafa Mukadam, Manikantan Nambi
任务设定
人形机器人全身接触抓取搬运大件物体
痛点动机
现有灵巧操作仅限末端抓取,难处理笨重物体
解决方案
先生成全身抓取数据集,训练强化学习专家后蒸馏为单一策略,实现仿真到真实迁移
12
Juliette Marrie, Paul Pacaud, Adrien Ramanana Rahary, Shizhe Chen, Moritz Böhle
任务设定
小参数量 VLA 模型完成机器人操控任务
痛点动机
大模型效果好但参数多,需兼顾性能与规模
解决方案
融合公开机器人与人类数据预训练,加入记忆 token ,提升稳定性和成功率
13
Shiyao Qian, Yuan Ren, Dongfeng Bai
任务设定
多视角前馈式 3D 重建,聚焦动态场景
痛点动机
纯外观注意力机制在动态场景中几何线索弱,效果不佳
解决方案
训练时引入光流和重力方向作为特权信息,推理时仅用普通视觉输入
14
Zhuoming Liu, Jinhong Lin, Lin Zhang, Yiwu Zhong, Yin Li
任务设定
流式视频理解中长期历史记忆的管理
痛点动机
历史记忆与当前观测会竞争有限上下文窗口
解决方案
用超网络把历史视频增量压缩进 LoRA 权重存储,而非塞进上下文,还能提升机器人操作策略成功率
15
Xiuhui Zhang, Ning Gao, Xingyu Jiang, Yihui Chen, Yuheng Pan, Mohan Zhang, Yue Deng
任务设定
长时序稀疏奖励任务下的强化学习策略优化
痛点动机
传统 RL 难处理长程稀疏奖励,纯规划方法又难优化底层控制
解决方案
用 LLM 拆解任务并构建进度奖励模型生成稠密奖励,指导机器人控制策略优化
16
Caelan Garrett, Neel Jawale, Fabio Ramos
任务设定
自动化生成机器人模仿学习所需的示教数据
痛点动机
人工遥操作采集示教成本高, TAMP 示教存在多模态难学习问题
解决方案
提出 DemoStream ,批量化 TAMP 采样与约束满足并行求解,提升行为克隆成功率
17
Yijie Su, Yakun Zhu, Yi Bin, Pengpeng Zeng, Liang Chen, Guoqing Wang, Jingkuan Song, Heng Tao Shen
任务设定
根据语言指令定位 3D 物体的可交互功能区域
痛点动机
查询特征与目标区域特征存在语义差距,难以泛化到新物体
解决方案
跨物体交互区域对齐,并用 2D 可供性模型聚合视觉证据修正注意力
18
Dongjie Cheng, Ruifeng Yuan, Ran Wei, Ning Song, Yongqi Li, Wenjie Li
任务设定
让 VLM 借助视频世界模型做时空推理想象
痛点动机
现有方法固定调用视频世界模型,想象形式不够灵活
解决方案
提出智能体框架动态选择想象操作,并让工具与模型协同进化
19
Weilin Ruan, Bohan Zhou, Jinghao Li, Yangkai Wei, Wenqian Li, Peiran Dong, Yingjie Xu, Leyi Wu, Haojian Huang, Binghui Xie, Han Yang, Kaiwen Zhou, Yinchuan Li, Ying-Cong Chen, James Cheng
任务设定
构建具身空间智能的数据生成、训练与评测框架
痛点动机
不同任务监督割裂,联合训练易混淆各阶段所需知识
解决方案
用数据飞轮生成多形式标注,蒸馏出统一的 9B 空间智能模型
20
Xingyu Zhang, Yingchao Li, Peizheng Guo, Jie Hu, Changwen Zheng, Wenwen Qiang
任务设定
把人类操作视频中的知识迁移给机器人操作策略
痛点动机
人机形态与动作空间不同,视频难以直接监督机器人动作
解决方案
用因果束筛选可迁移语义,驱动世界-动作模型生成机器人动作
21
Yijiang Li, Bingyang Wang, Nuno Vasconcelos
任务设定
让 VLM 在 3D 环境中主动探索并回答视觉问题
痛点动机
现有方法依赖多视角/3D 输入,缺乏主动探索与推理能力
解决方案
仅用单张图像和移动动作,结合强化学习自主学习探索策略,提出 ACT3D
22
Chanwoo Kim, Tackgeun You, Hwasup Lim
任务设定
文本驱动生成可编辑的 4D 动态场景
痛点动机
背景与角色耦合导致难以物体级编辑和自由镜头控制
解决方案
分阶段生成背景高斯场景与角色 4D 网格,再接触感知优化合成
23
Saket Maganti, Shreyank N Gowda
任务设定
对已蒸馏的 3D 高斯语言地图做目标感知精细化
痛点动机
语言地图常漏检指定目标,又要保留开放词汇查询能力
解决方案
免训练地将目标文本嵌入与区域特征凸组合混合,闭式求最优系数,支持腿式机器人导航
24
Jiamin Shi, Yuanhong Zhang, Zhiyang Liu, Jiawei Sun, Jingwen Fu
任务设定
潜在世界模型中学习动作与结果的内在动态
痛点动机
无关视觉变化会掩盖动作与其后果间的真实因果关系
解决方案
提出 Concat IDM ,用动作可预测性约束编码器以保留控制相关信息
25
Jing Xia, Changyan Li, Yuduo Wang, Guiyin Tian, Bo Wang, Yifan Liao, Mingjun Li, Shiyan Hu
任务设定
面向未知室内环境的零样本拓扑导航
痛点动机
机器人无先验建图/训练,如何利用人类已有的空间知识
解决方案
构建人类种子化拓扑记忆,结合节点验证执行与人机记忆协同更新完成导航
26
Zhaorui Lin, Haohan Liu, Zhen Chen, Xiangru Huang
任务设定
将实拍视频转换为可编辑、可仿真的 3D 场景
痛点动机
传统流水线误差单向传递,难保跨视角一致性
解决方案
用 智能体框架 将渲染结果与实拍视频反复比对,迭代修正几何与资产摆放
27
Zixuan Wang, Yuqi Liu, Yuxin Chen, Sengqiao Yang, Jinhui Ye, Pengguang Chen, Changsheng Lu, Shu Liu, Bei Yu, Jiaya Jia
任务设定
让冻结的 VLA 策略具备个性化和可靠执行能力
痛点动机
通用机器人策略缺乏用户偏好理解和失败恢复机制
解决方案
双循环机制:规划循环维护用户偏好上下文,执行循环监督并触发恢复技能
28
Siyin Wang, Wenyi Yu, Terumi Chiba, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Chao Zhang
任务设定
全双工对话中联合生成语音、手势与表情
痛点动机
现有模型难以在听说切换时持续生成自然非语言动作
解决方案
自回归合成器融合听说隐藏状态,用语义手势模板控制手势调用与呈现
29
Qixin Sun, WenLong Gao, Xiansheng Chen, Zhongyuan Wang, Si Liu, Pengwei Wang
任务设定
为 VLA 机器人操作模型构建长期记忆机制
痛点动机
操作任务常需记住已超出视野的历史交互信息
解决方案
提出潜在转移记忆存储观测间隐变换,配合因果 KV 缓存做增量推理
30
Raz Shmueli, Shahaf S. Shperberg
任务设定
多智能体约束强化学习中的策略训练
痛点动机
真实环境交互成本高,约束策略更新代价大
解决方案
提出 CA-MAMBA ,用多智能体世界模型预测代价,把约束更新搬到想象空间训练
31
Qi Lu, Jiarun Li, Ce Zhang, Miao Pan, Yi Pan, Xu Wang, Wenqi Zhang, Xuhong Zhang
任务设定
VLA 模型机器人动作生成,缺少中间物理状态监督
痛点动机
直接映射观测到动作易过拟合,泛化能力差
解决方案
用当前到未来的物理状态变化作为显式监督目标,构建大规模标注数据训练
32
Xuanyi Liu, Ruiqi Li, Siwei Ma
任务设定
用文本构建、操控和记忆世界模型的系统
痛点动机
协调物体表示、行为修改与视觉记忆三者关系困难
解决方案
用编码智能体规划物体结构与规则,结合纹理记忆与生成式渲染器保持状态一致
33
Yuchen Deng, Shunkai Zhou, Ruixuan Zhu, Haibin Ling, Bingyao Huang
任务设定
移动空间增强现实中语言指令驱动的投影动作生成
痛点动机
现有 SAR 系统假设投影位姿预先设定,缺乏具身决策
解决方案
用底盘与可转向镜构成具身动作空间,训练指令条件化动作模型实现自主投影控制
34
Sangwu Park, Wonjoong Kim, Yeonjun In, Chanyoung Park
任务设定
诊断 VLA 模型对操作方式级指令的遵循能力
痛点动机
现有 VLA 仅关注任务目标指令,忽视如何执行的指令
解决方案
提出 SIMPLER-IN 基准,发现分段级指令增强训练仍难泛化到新指令
35
Yue Su, Bokai Lin, Xinkai Wang, Chubin Zhang, Xiangnan Wu, Kuan Zhang, Weiyang Jin, Jiwen Yu, Yiming Li, Cewu Lu, Lixin Yang, Xihui Liu
任务设定
研究世界模型与动作策略能否统一因果训练
痛点动机
二者能否相互促进此前尚不明确
解决方案
提出 OneWM 框架,动作兼作预测条件与学习目标,证实二者互利
36
Liangjing Shao, Wanhao Liu, Zhiwei Fang, Rulin Zhou, Quanlu Zhang, Changjing Liu, Beilei Cui, Yiming Huang, Hongliang Ren
任务设定
基于单目图像估计相机到机器人位姿
痛点动机
现有方法存在投影歧义与远端关节误差累积
解决方案
提出 RoPE-Flow ,结合流匹配与图结构条件,从 2D 关键点恢复 3D 位姿
37
Yifei Liu, Xiaolong Zhou, Ziyang Gong, Yifan Zhou, Yuanyuan Gao, Yuning Gong, Yuchen Yang, Hongjie Zhang, Xue Yang, Xiao Sun, Zhihang Zhong
任务设定
空间推理智能体依赖 3D 重建分割工具理解场景
痛点动机
工具预测不一致,导致 3D 场景信息碎片化不可靠
解决方案
提出统一 3D 感知模块,融合分割-深度优化与跨视角实例融合
38
Stergios E. Bachoumas, Panagiotis Artemiadis
任务设定
四足机器人无操作臂搬运多物体堆叠
痛点动机
传统方法限于 2D 推送,难处理重型复杂堆叠
解决方案
提出分层强化学习框架,结合全身高度控制实现 3D 推送策略
39
Meng Cao, Can Zhao, Jinjie Wei, Haonan Zhao, Yulong Zhang, Duo Han, Xiaofan Li, Ziwu Song, Rongtao Xu, Ruyi Gan, Hao Wang, Qian Wang, Daolin Ma, Ian Reid, Xiaodan Liang
任务设定
从第一人称人类视频中学习机器人灵巧操作
痛点动机
传统几何重定向需逐具身校准,且易传播跟踪误差
解决方案
用 JEPA 式视觉预测学习与具身无关的潜在动作,再以轻量适配器迁移到不同机器人
40
Manav Kulshrestha, Apoorva Vashisth, Damon Conover, Aniket Bera
任务设定
零样本生成任务导向的 6DoF 抓取姿态
痛点动机
任务相关抓取数据难以穷举标注,现有方法难泛化
解决方案
用视觉语言先验推理语义抓取部位,再做 6DoF 位姿优化避免碰撞
41
Mengfei Li, Yi Zhang, Xingtong Ge, Lunjie Zhu, Fangyu Lin, Peng Li, Guanglu Song, Yu Liu, Wei Xue, Wenhan Luo, Yike Guo
任务设定
构建具有持久状态的交互式游戏生成世界模型
痛点动机
现有视频生成只响应即时动作,缺乏长期一致的因果反馈
解决方案
结合持久状态与规则、情境交互推理及动作条件视听生成
42
Feize Wu, Zhiyuan Yan, Yuhuan Hong, Yuwei Niu, Zongjian Li, Zheyuan Liu, Bin Lin, Jinbo Yan, Jie Qin, Xudong Mao, Limeng Qiao, Guanglu Wan, Li Yuan
任务设定
统一多模态模型中图像编辑的推理增强后训练
痛点动机
现有重建式后训练只关注感知,缺乏结构化推理监督
解决方案
先推理编辑意图再生成图像,用 TreeGRPO 联合强化理解与生成模块
43
Wenhao Yan, Haodong Li, Xiaotong Li, Yaxin Luo, Zhengrong Yue, Jialv Zou, Xu Huang, Haojin Yang, Nan Jia, Yan Feng, Peng Pei, Xunliang Cai
任务设定
评测多模态生成模型预测世界状态演变的能力
痛点动机
高层级的世界状态预测任务目前仍缺乏系统评测
解决方案
提出 WorldCast 基准,覆盖 8 大类 320 个场景评测 12 个生成模型
44
Dongyue Lu, Guian Fang, Hur Lim, Yonggang Wu, Yanrong Wang, Hongshan Chen, Shengju Qian, Yue Liao, Wei Chow, Lingdong Kong, Tianxin Huang, Yu Yang, Hongji Yang, Junchao Huang, Ao Liang, Yihao Wang, Zihan Wang, Rong Li, Hanlin Chen, Xin Wang, Wei Tsang Ooi, Mike Zheng Shou, Shuicheng Yan
任务设定
评测视频生成模型构建一致 3D 世界的能力
痛点动机
画面逼真不代表生成的 3D 场景几何一致
解决方案
提出 Orbia 基准,从输入保真、内容持久性、3D 自洽性三维度系统评测
45
Baekseung Kim, Junhoo Lee, Sohyeon Hong, Suhyun Jeon, Minkyu Kim, Seungyeon Kim, Donghoon Han, Nojun Kwak
任务设定
世界动作模型中剪枝未来帧 token 以加速推理
痛点动机
未来视觉预测无需保留全部细节,但密集 token 计算致延迟高
解决方案
提出 CF-Prune 免训练剪枝框架,用指令-动作注意力识别关键 token ,按熵分阶段保精度