1
Noam Rotstein, Yoad Tewel, Chen Tessler, Haggai Maron, Gal Chechik, Or Litany, Yoni Kasten, Yuval Atzmon
任务设定
为任意骨骼绑定共同生成 3D 运动与配套视频
痛点动机
现有方法仅支持人体骨骼,或需从 2D 姿态图三角化出运动
解决方案
用交叉注意力连接预训练视频模型与独立的 3D 运动模型,联合生成视频、运动与相机位姿
2
Weiqi Zhang, Wenyuan Zhang, Yu-Shen Liu, Junsheng Zhou
任务设定
统一视频生成模型与 3D 世界模型
痛点动机
视频模型缺乏 3D 一致性, 3D 模型场景又欠真实感
解决方案
在视频潜空间中生成可渲染的 4D 高斯作为显式 4D 世界表示
3
Yuxuan Kuang, Jiashun Wang, Yixuan Sun, Yufei Ye, Sungjae Park, Umar Iqbal, Katerina Fragkiadaki, Shubham Tulsiani
任务设定
从单段人手-物体轨迹学习可泛化的灵巧操作技能
痛点动机
纯强化学习缺人类先验、纯动作模仿又无法泛化到新位姿
解决方案
提出混合灵巧模仿,用动作跟踪与带噪声目标的泛化环境共同训练同一策略
4
Rahul Sajnani, Diego Romeres, Mingyuan Zhang, Kai Gao, Carl Qi, Baichuan Huang, Srinath Sridhar, Dylan Randle, Lillian J. Ratliff, Jose Barreiros, Manikantan Nambi, Jeroen Vanbaar
任务设定
统一视频、动作与语言的世界-动作-语言模型用于机器人控制
痛点动机
现有方法将语言/推理模块与动作模型分阶段拼接,难以支持记忆性行为
解决方案
单一混合专家 Transformer 同步联合去噪生成语言与动作,语言结果回传作记忆
5
Yanbo Wang, Siqi Luo, Siyu Zhang, Chenming Zhu, Wenzhao Zheng, Qian Yu, Juncheng Yan, Bin Fu, Tai Wang, Yu Qiao, Yihao Liu, Jiwen Lu
任务设定
评测语言引导下的多视角空间一致新视角生成能力
痛点动机
现有生成式空间智能评测缺少局部观察下按语义推断目标视角的任务
解决方案
构建覆盖几何与语义任务的多视角基准,微调 BAGEL 验证可同步提升空间理解
6
Byungwoo Jeon, Sunghwan Hong, Dohyeon Kim, Jonghoon Lee, Jungwoo Park, Inhee Lee, Doosan Baek, Jinil Kim, Taehyun Lim, Hanbyul Joo, Marc Pollefeys, Saining Xie, Jinwoo Shin
任务设定
多视角视频与 3D 点轨迹联合预测的世界模型
痛点动机
多视角预测需保证不同相机视角描述同一个演化的 3D 场景
解决方案
给世界模型加轨迹预测头追踪持久场景点,并引入动作 token 实现机器人控制
7
Rundong Luo, Yunong Liu, Di Cao, Matthew Tancik, Shyamal Buch, Colton Stearns, Wenqi Xian
任务设定
从单张图像重建可用于仿真的 3D 场景
痛点动机
纯视觉重建的物体易错位,物理行为不真实
解决方案
用智能体系统整合几何视觉物理工具重建场景,在物理仿真器中做编辑-验证循环确保稳定
8
Runjia Li, Kam Woh Ng, Minghao Chen, Junlin Han, Jianyuan Wang, Zhaochong An, Juan-Manuel Perez-Rua, Andrea Vedaldi, Shikun Liu
任务设定
多智能体世界模型生成一致的自我视角视频
痛点动机
各智能体视角独立变化,难保持时空与跨体一致性
解决方案
引入固定辅助相机视角作为世界中心代理,并用 delta-VAE 压缩冗余信息
9
Om Shivam Verma, Shaya Farahmand, Lingjun Zhao, Lu Gan
任务设定
开放词汇的多智能体协作 3D 场景理解
痛点动机
现有协作语义占据方法依赖密集体素标注且类别受限
解决方案
用 3D 高斯表示场景并对齐基础模型特征,实现开放词汇的跨智能体感知融合
10
Yuto Shibata, Kotaro Amaya, Kashu Yamazaki, Lalit Jayanti, Yoshimitsu Aoki, Mariko Isogawa, Katerina Fragkiadaki
任务设定
学习人形机器人与人类紧密接触交互的策略
痛点动机
接触时人体严重遮挡,姿态估计常失效
解决方案
用 VLM 引导的接触重定向结合生成式伙伴状态预测,蒸馏为仅靠机载深度的可部署策略
11
Minseong Kweon, Qiao Feng, Yiming Huang, Lingjie Liu
任务设定
从手物交互视频中学习触觉表征
痛点动机
触觉数据采集成本高、覆盖范围有限
解决方案
用自监督掩码预测从视频学接触动态,少量触觉标签联合训练即可提升效果
12
Trong-Thang Pham, Anh Nguyen, Hien Van Nguyen, Ngan Le
任务设定
面向智能眼镜的第一视角视频问答加速
痛点动机
小模型算力有限,冗余帧与过度压缩都会丢信息
解决方案
用注视引导的自适应 token 压缩结合帧筛选,每帧仅保留两个 token
13
Yilei Man, Yang Chen, Jingcai Guo
任务设定
基于 JEPA 的隐空间世界模型用于机器人规划
痛点动机
现有 JEPA 世界模型缺时序物理对齐,动作采样过于通用
解决方案
加入因果时序模块做物理状态监督,并用先验引导的动作规划提升操作任务表现
14
Pengying Wu, Mingye Jiang, Yunze Hu, Zhejia Wen, Kangjie Zhou, Zongru Yang, Zhe Peng, Chang Liu
任务设定
具身物体目标导航中的候选目标验证
痛点动机
检测器易误判相似物体,贸然停止会致导航失败
解决方案
用 VLM 主动验证多视角证据,配合扩散策略主动观察直至判断确定
15
Zhuohao Li, Jiawei He, Yuxuan Yan, Lang Zhou, Yinghao Li, Yanrui Li, Tianyu Zhang, Yi-Yang Song, Xirui Wu andYi-Lin Wei, Fating Hong, Qing Zhang, Zhilin Zhao, Jingdong Wang, Wei-Shi Zheng
任务设定
长程机器人操作中引导世界-动作模型生成正确阶段的未来
痛点动机
相似观察-动作片段易让模型生成看似合理却错误的阶段混淆未来
解决方案
提出 TaskWAM,用模式令牌与状态令牌构建任务状态,闭环引导生成走向预期未来
16
Yuanxiang Ni, Xianliang Huang, Ruihan Hou, Feng Xie, Hao Zhang
任务设定
单目视频的 4D 动态场景重建
痛点动机
长程轨迹观测稀疏断续,难以融合为连续运动
解决方案
提出射线条件运动模型,用 SE(3)隐状态插值融合观测并驱动高斯渲染
17
Chucheng Xiang, Runze Wang, Zhi Deng, Ruchao Bao, Yuanwei Zhang, Yuxuan Xie, Hanliu Wang, Liangzhen Fei, Wenzheng Wu, Cheng Wan, Peifeng Li, Zhongyuan Liu, Ligang Liu
任务设定
可控 3D 物体摆放的场景生成任务
痛点动机
现有方法用包围盒粗粒度表示,忽略支撑/包含等精细几何约束
解决方案
提出几何感知语言模型,结合点云感知自回归预测物体 6D 摆放位姿
18
Runmin Zhang, Binglin Ren, Zhu Yu, Fudong Wang, Jiangke Lin, Yichun Shentu, Si-Yuan Cao, Yi Yuan, Hui-Liang Shen
任务设定
统一 4D 场景的前馈式重建与生成任务
痛点动机
现有方法难以兼顾真实视频重建与条件生成
解决方案
提出静态-动态解耦的 4D 高斯表示,直接从视频隐空间前馈解码为 4D 场景
19
Jianan Li, Jiawei Zhao, Yangtao Zhou, Zhifu Zhao, Shaoxin Wu, Yutao Wang, Dezhen Wang, Hua Chu, Fu Li
任务设定
支持多轮对话式的文本到动作生成与局部编辑
痛点动机
单次生成无法针对细节反馈局部修改,需整体重新生成
解决方案
提出多智能体自演化框架,通过语义引导掩码编辑仅修改对应时空区域
20
Zijian Wu, Jinliang Wang, Mingfeng Jiang, Zidian Lin, Ying Song, Ziqian Lu
任务设定
无需 SfM 位姿、从无序图像重建 3D 高斯场景
痛点动机
位姿误差会累积漂移,导致重建质量下降
解决方案
用双子图交叉校正位姿,再用验证后位姿从零训练最终 3DGS
21
Matteo Cercola, Katie Z Luo, Simone Formentin, Marco Pavone
任务设定
研究 VLA 自动驾驶模型感知到行动的失效
痛点动机
模型能感知危险却无法转化为刹车动作,存在感知-动作绑定缺口
解决方案
在冻结的流匹配采样器中注入危险条件能量,无需重训练即可恢复安全刹车
22
Yousef Rajeh, Alejandra Esparza Pelcastre, Ivan Viola, Dominik Engel
任务设定
开放词汇 3D 场景分割中的语义特征提升问题
痛点动机
高斯基元重叠导致反投影特征分配效果欠佳
解决方案
提出 OV-Foam ,用无重叠幂图表示场景,实现接近最优的特征提升
23
Shaoyi Zheng, Zhongtao Jiang, Yue Peng, Wenbo Lu, Shunchi Zhang, Xi Wang, Shengji Wan
任务设定
将级联世界-动作模型蒸馏为单步机器人控制
痛点动机
扩散式世界-动作模型推理慢,直接截断单步会降低成功率
解决方案
提出 DirectWAM ,通过动作充分蒸馏将视频与动作专家转为单步预测器
24
Peisong Wen, Qianqian Xu, Minye Lei, Siran Dai, Yang Liu, Qingming Huang
任务设定
为 JEPA 世界模型构建物体级预测接口
痛点动机
稠密 patch 表征缺乏物体结构与时序对应
解决方案
分解为语义槽与空间掩码,用转移记忆预测器复用历史交互信息
25
Anna-Maria Halacheva, Jan-Nico Zaech, Sombit Dey, Luc Van Gool, Danda Pani Paudel
任务设定
3D 视觉语言模型的点级空间定位
痛点动机
现有基准依赖边界框导致模型走捷径忽略视觉信息
解决方案
提出 P3-VLM ,用单个 3D 点替代边界框做定位提示,三路径架构达到 SOTA
26
Jihai Zhang, Runjia Qian, Kaiqin Kong, Biao Jiang, Puyi Wang, Siru Chen, Tianle Li, Guanjie Chen, Junyi Wu, Chubin Chen, Yuanhang Li, Kaichen Huang, Haobo Zhang, Yangguang Li, Wei Yu, Guibin Chen, Yu Cheng, Yahui Zhou
任务设定
构建实时可玩的游戏世界生成系统
痛点动机
可控视频生成难以具备持久状态与可执行规则
解决方案
分离游戏引擎与视觉生成,用自回归视频模型渲染低模代理,实现 480p 60FPS 实时画面
27
Yeonguk Yu, Jaehong Kim, Byungok Han
任务设定
从人类手物交互数据学习触觉感知表征
痛点动机
机器人触觉数据采集成本高,难以跨手跨传感器扩展
解决方案
提出 HuTact ,无需真实触觉信号即可预训练,再用少量机器人数据微调迁移
28
Yue Ma, Pengjie Song, Xinyu Wang, Yi He, Zeqian Long, Fangneng Zhan, Kaichen Zhou, Hongyu Liu, Hongfa Wang, Peihao Li, Haoyang Huang, Nan Duan, Qifeng Chen
任务设定
将第一视角观察中的动作解耦并迁移到新场景
痛点动机
几何估计误差会导致迁移时手部结构崩塌、接触失真
解决方案
基于视频扩散模型去噪过程,用结构锚定和稀疏对应校准保持手物交互真实性
29
Zhiyuan Liu, Sicheng Liu, Haiyu Wu
任务设定
用量子先验建模世界模型中多种可能的未来
痛点动机
单一观测可能对应多个合理未来,需建模这种不确定性
解决方案
提出 Quantum-JEPA ,用量子玻恩先验生成潜在动作,在机器人演示数据上验证多样轨迹预测
30
Yijun Shen, Delong Chen, Xianming Hu, Kai Zhang, Pascale Fung
任务设定
让世界模型依据任务按需过滤无关感知信息
痛点动机
现有世界模型编码器不可配置,易被任务无关干扰影响
解决方案
提出 ConfigWM ,用语言任务描述作配置信号,映射出任务专属状态空间供规划使用
31
Chuanyang Ma, Chenye Wang, Yixuan Wang, Huiling Zhou, Xingqun Qi, Muyi Sun, Man Zhang, Caifeng Shan, Zhenan Sun
任务设定
第一视角预测未来手物交互动作与接触
痛点动机
相同历史观察可能对应不同意图,存在语义/几何歧义
解决方案
用注视线索调制视觉语言模型推断意图,再用扩散模型生成双手与物体运动
32
Junha Song, Geonmo Gu, Jeongeun Park, Heejeong Nam, Lucas Maes, Byeongho Heo, Dongyoon Han, Sangdoo Yun
任务设定
用自然语言统一描述动作,训练跨领域潜在世界模型
痛点动机
不同领域数值动作与视觉变化难统一,各自训练难迁移
解决方案
将动作与视觉变化都转为语言,基于语言模型构建预测器,支持规划与策略微调
33
Siyuan Ma, Yu Qi, Cheng Ye, Ruotian Peng, Xinyi Xu, Zitiantao Lin, Zedong Cai, Yijian Huang, Weiyang Liu, Siyuan Wang, Yandong Wen
任务设定
评估多模态大模型作为具身视频生成的评判器
痛点动机
现有评判模型与人类对物理合理性的判断不一致
解决方案
构建人工标注基准,微调 9B 模型得到 RoboJudge-9B 评判器
34
Woo-Jin Jung, Chan-Bin Lim, Seung-Hyun Kong
任务设定
基于毫米波雷达的室内 3D 人体姿态估计
痛点动机
雷达观测信息不足、身体部位反射重叠导致关节定位不准
解决方案
提出两阶段框架 I2R-Pose:运动感知初始化+观测引导细化
35
Jiushu Li, Haoran Wang, Yumeng Liu, Zhiyang Dou, Yuan Liu, Yuexin Ma, Cheng Lin
任务设定
生成长时序人-物体-场景交互动作序列
痛点动机
单一模型难覆盖多技能交互,数据稀缺难训统一模型
解决方案
提出多专家编排框架,基于 3DGS 场景状态协调调用各专家并物理优化保证真实性
36
Ruoyu Wang, Jiahan Li, Yong Liu, Kexin Zhang
任务设定
具身场景在线语义占据建图与离线优化
痛点动机
探索时需实时建图,探索后需更精细场景理解
解决方案
构建持久稀疏体素特征图统一在线构建与离线多尺度精化
37
Borui Xu, Han Chen, Bingsheng He, Ming Wu, Jason Zeng, Michael Heinrich
任务设定
评测视觉语言动作模型视觉微调的跨维度影响
痛点动机
微调提升目标场景表现,却可能损害其他方向鲁棒性
解决方案
提出 VLA-Retain 基准,对比五个开源 VLA 微调前后多扰动维度表现
38
Jinghan Gao, Siyu Wang, Dongyu Feng, Yiyuan Pan, Rong Xiong
任务设定
统一全景分割与层级 3D 场景图构建
痛点动机
多视角下难保持语义与实例一致性,阻碍场景理解
解决方案
基于高斯 splatting 学习全景特征,构建楼层-房间-物体层级场景图
39
Eachen Soong, Zijian Niu, Haoran Xu, Yihong Dong, Yunbo Wang, Xiaokang Yang
任务设定
从视觉观测重建可执行的交互式物理世界
痛点动机
现有 3D 生成缺乏物理交互性,难支撑真实机器人操作
解决方案
用编码智能体生成可调执行程序描述场景,双臂机器人可零样本执行规划轨迹
40
Pengying Wu, Zhejia Wen, Kang Ding, Kangjie Zhou, Chunxuan Jiao, Wei Pan, Xiangli Nie, Chang Liu
任务设定
物体目标导航中快慢推理模式的自适应切换
痛点动机
云端 LLM 延迟高,端侧小模型易产生空间幻觉判断
解决方案
用置信度预测量化不确定性,仅在必要时切换慢速链式推理
41
Zhan Yi, Yuchen Wang, Chao Li, Lei Hong, Boyuan Yang
任务设定
VLA 机器人操作中预测环境未来变化以辅助动作生成
痛点动机
完整未来图像预测开销大,高压缩隐变量丢失局部变化信息
解决方案
提出 patch 级未来隐变化预测,结合变化感知监督与未来-动作接口
42
Yosub Shin, Yuan Liu, Igor Molybog
任务设定
用单个头戴相机采集机器人操作演示数据
痛点动机
传统手持装置需腕部相机和位姿追踪器,多传感器同步标定繁琐
解决方案
相机读取电子器件手套上的基准标记获取手部位姿,部署时机械臂模拟头部视角
43
Yunzhe Hu, Dong Xu
任务设定
离线目标条件强化学习中的世界模型规划
痛点动机
现有方法依赖精确状态预测,但其常无必要
解决方案
用蒙特卡洛回报训练潜在世界模型预测价值,搭配流策略进化搜索做规划
44
Aidan Sirbu, Charles Y. Zhang, Yuanjia Yang, Bence P. Ölveczky, Talmo D. Pereira, Blake A. Richards
任务设定
训练逼真虚拟大鼠的运动控制模型
痛点动机
现有方法难兼顾目标导向行为与自然探索运动
解决方案
用变分架构结合运动先验与行为先验,支持稀疏奖励任务学习
45
Wonjung Woo, Hyeonwoo Kim, Hanbyul Joo
任务设定
文本驱动的多物体人物交互动作生成
痛点动机
被动物体运动是碰撞后果,直接学习轨迹难以泛化
解决方案
先预测人体与驱动物体运动,再用物理仿真推算被动物体响应
46
Weinan Zhang, Chunhua Shen, Tianfan Xue, Bin Zhao, Bingqi Jiang, Zihan Guo, Zicai Cui, Yang Li, Ming Zhou, Xinyuan Chen, Lihe Ding, Xiao Chen, Yujin Wang, Shi Guo, Junting Dong, Tao Lu, Xing Shen, Haoyu Guo, Yao Mu, Haiyong Yu, Haoxiang Ma, Fuxian Huang, Qiaojun Yu, Yunsong Zhou, Kailin Li, Zirui Wang, Yufei Xue, Weishuai Zeng, Tao Huang, Zhigang Wang, Junli Liu, Pengyuan Wu, Pingrui Zhang, Haotian Wang, Dongzhan Zhou, Jiafei Cao, Feng Yuan, Xinyi Ye, Quanli Xuan, Mulin Yu, Shangding Gu, Kaiwen Song, Dong Wang, Jiarui Li, Kehui Liu, Zhongjie Jia, Dongjiang Li, Jiacheng Bao, Haoran Yang, Zhaoqing Chen, Yiming Sun, Bowen Zhou et al. (22 additional authors not shown)
任务设定
系统梳理物理 AI 的概念、技术与挑战
痛点动机
物理 AI 领域尚无统一定义和技术框架
解决方案
提出感知-建模-行动闭环框架,涵盖世界模型、具身基础模型与运动控制
47
Adam Lee, Shobhit Agarwal, June Pyo Suh
任务设定
动作条件下预测未来视频帧,用于机器人规划和策略评估
痛点动机
传统一步预测依赖预训练生成教师,训练计算成本很高
解决方案
提出 Beckmann World Models ,用终端图守恒律直接学习噪声到未来帧的映射,无需教师模型
48
Pilseo Park, Andrew Hou, Michel Sarkis, Ning Bi, Yiying Tong, Xiaoming Liu
任务设定
从单张图像生成可泛化的 3D 高斯头像
痛点动机
现有方法难以兼顾表现力、渲染效率和泛化能力
解决方案
提出 EGGHead ,用新的高斯分配算法按头部语义区域分配高斯点,单次前向推理完成重建
49
Zhiting Mei, Tenny Yin, Ola Shorinwa, Apurva Badithela, Zhonghe Zheng, Joseph Bruno, Madison Bland, Lihan Zha, Asher Hancock, Jaime Fernández Fisac, Philip Dames, Anirudha Majumdar
任务设定
综述视频生成模型在机器人中作为世界模型的应用
痛点动机
物理仿真器存在局限,纯语言描述难表达复杂物理交互
解决方案
系统梳理视频世界模型在数据生成、策略评估、视觉规划等任务中的应用与挑战