1
Gene Chou, Guandao Yang, Fujun Luan, Lars Mescheder, Wei Dong, Stephan Richter, Vladlen Koltun
任务设定
实现交互式延迟的自回归视频扩散生成
痛点动机
VAE 解码与 KV 缓存更新占推理延迟一半以上
解决方案
用轻量模块替换这些环节, 1.3B 模型仅 36ms/帧,画质媲美慢 8 倍的现有模型
2
Yifan Wang, Weiguang Zhao, Ni Yang, Haoyu Guo, Junting Dong, Weinan Zhang, Chunhua Shen
任务设定
统一基础模型从任意 RGB 输入恢复 4D 场景几何与运动
痛点动机
现有方法难以统一处理单图、多图、视频等多种输入且模型臃肿
解决方案
几何分支与运动分支联合预测稠密几何、相机位姿、2D/3D 点轨迹及运动物体掩码,仅 0.5B 参数单次前向完成联合重建
3
Haosong Peng, Xiangyang Liu, Zhengshen Zhang, Yunfeng Fan, Tianyu Qi, Xin Xia, Yufeng Zhan, Wenchao Xu
任务设定
统一追踪并生成机器人工具中心点(TCP)位姿轨迹
痛点动机
从 RGB 视频恢复机器人动作标注困难,跨本体数据稀缺
解决方案
共享 4D 场景表示同时追踪已观测 TCP 运动并生成未来轨迹,支持跨本体数据增强以零动作标注完成策略训练
4
Weiguang Zhao, Yifan Wang, Ni Yang, Yating Wang, Xingyu Miao, Yankai Jiang, Mulin Yu, Tao Lu, Haoyu Guo, Junting Dong, Weinan Zhang, Chunhua Shen
任务设定
构建游戏场景大规模多模态视觉学习数据集
痛点动机
现有视觉基础模型训练数据碎片化、标注不一致、监督模态单一
解决方案
提供 1.2 亿帧游戏画面及深度、相机参数、3D 点轨迹等同步多模态标注,提升视觉生成与几何学习能力
5
Jiarui Guo, Saining Zhang, Jiaying Wan, Jiawei Weng, Junhao Chen, Rui Zhang, Yuanbo Lyu, Zhiheng Lee, Peishuo Li, Jingrun Du, Weiqing Xiao, Weiyi Lin, Zenan Meng, Hu Wei, Lin Qu, Zongzheng Zhang, Hao Zhao, Chaojian Li
任务设定
构建大规模可变形物体仿真资产数据集
痛点动机
现有 3D 资产缺乏可扩展的物理属性验证
解决方案
自动化流程生成物理验证的可变形资产,支持机器人抓取仿真到真实迁移
6
Jongmin Lee, Jaeyeong Kim, Seungryong Kim
任务设定
前馈式多视角图像 3D 点云重建
痛点动机
缺少几何约束导致跨视角不一致、精度低
解决方案
引入 SfM 几何先验,双分支网络双向交互精细化点云
7
Jiaqi Wu, Yongqi Dong, Yijie Zhong, Maple Shao, Yide Tao, Linsen Cai, Weize Cai, Hai L. Vu, Alvaro Garcia Hernandez
任务设定
自动驾驶中基于世界模型预测选择驾驶轨迹
痛点动机
固定选择规则难以适应场景相关的风险权衡
解决方案
用强化学习微调候选选择与轨迹残差,冻结世界模型保持轻量部署
8
Shuhan Ye, Hongbin Yu, Chong Wang, Hui Lu, Jiaming He, Yi Yu, Jiangbo Qian, Xudong Jiang
任务设定
面向图像目标的视觉规划任务,构建脉冲世界模型
痛点动机
单步脉冲易丢失运动线索,难区分不同动作后果
解决方案
提出脉冲潜在世界模型 SpikWM ,结合区域编码与因果膜电位预测,兼顾精度与低能耗
9
Ruoyu Wang, Hao Zhong, Yanming Yang, Jiahao Tian, Lin Liu, Biao Gong, Guoshan Lu, Yiding Tian, Chunhua Shen, Zhenzhong Lan, Chi Zhang
任务设定
基于结构化代理实现可控无限长视频生成的统一渲染器
痛点动机
流式推理易产生误差漂移,几何控制粒度在不同场景下难统一
解决方案
提出 Invoker-Render ,用渐进式强制训练衔接双向生成模型与因果流式模型,实现稳定长时流式渲染
10
Yuanshuo Tan, Licheng Zhong
任务设定
稀疏惯性动捕中免标定恢复传感器身份与朝向配置
痛点动机
传统方法依赖已知的传感器解剖位置与安装朝向,标定流程繁琐
解决方案
提出 MOSAIC ,用时序-跨传感器注意力从日常运动中在线累积证据估计配置,再接入预训练姿态模型
11
Guoqing Wang, Pin Tang, Xiangxuan Ren, Chao Ma
任务设定
面向自动驾驶规划的智能体中心化世界模型
痛点动机
像素级未来帧预测含大量无关外观细节,规划相关信息占比低
解决方案
提出 AgentWorld ,用离散智能体 token 编码几何、运动与交互,联合推理与轨迹规划
12
Yuhan Wang, Ruiyang Wang, Jiaguan Zhu
任务设定
基于强化学习对流式 VLA 策略进行后训练优化
痛点动机
策略更新会破坏速度场几何,稀疏多任务奖励使学习信号不均衡
解决方案
提出结果平衡 PPO 与策略诱导的流矫正机制,提升流式 VLA 在操作任务上的成功率
13
Joonwoo Kwon, Yufei Zhang, Xiaoming Liu, Zijun Cui
任务设定
构建带力矩标注的参数化人体运动数据集
痛点动机
现有数据集缺力标注且与参数化人体模型不兼容
解决方案
提出 ForceBody,将 SKEL 人体模型与地面反力、关节力矩及逐帧不确定性配对标注
14
Shaozhen Liu, Zhiwei Li, Jiayang Sun, Shuangjun Du, Yi Zhong, Shenrui Ma, Yaozu Liu, Qi Li, Zhenan Sun
任务设定
研究对 VLA 操作策略的可迁移物理对抗攻击
痛点动机
现有攻击需重训且依赖 2D 贴片,难以零样本迁移
解决方案
优化一块持久对抗桌布纹理,跨任务、跨策略零样本迁移,大幅降低操作成功率
15
Longtao Jiang, Mingfei Han, Jianmin Bao, Tingjun Dai, Jinjie Wei, Zhiran Zhang, Xin Tao, Zhihui Li, Salman Khan, Xiaojun Chang
任务设定
构建能持续演化未观测区域的视频世界模型
痛点动机
镜头转开再转回时,现有模型常冻结或丢失未观测场景
解决方案
用全景扩散模型在隐空间演化世界状态,再用透视渲染器生成清晰视角
16
Jia Hu, Yang Chang, Panqu Wang, Zhijun Fu, Chang Liu, Changjian Yu, Jintao Lai
任务设定
构建自动驾驶闭环交互式世界模型
痛点动机
现有世界模型难以兼顾行为真实性与视觉保真度
解决方案
用多智能体强化学习微调背景车策略,结合 3D 高斯补全渲染车辆外观与信号灯
17
Kailai Zhou, Ziqi Chen, Xiaoning Xu, Yuefeng Wu, Zixuan Fu, Zijun Lin, Zhihao Li, Youwei Pang, Xiaoqi Zhao, Xun Cao, Bihan Wen
任务设定
改进 JEPA 预训练中退化的 3D 几何表征
痛点动机
I-JEPA 语义学习提升的同时几何表征会退化
解决方案
提出级联预测框架,全网格上下文编码+跨阶段交叉注意力,助力世界模型规划
18
Faysal Mehrab Chowdhury, Md. Mahfuzur Rahman, Ahmed Rafi Hasan, Kishor Datta Gupta, Mohd Ariful Haque, Savannah Shannon
任务设定
驾驶场景下联合预测 RGB、热成像、LiDAR 三模态未来帧
痛点动机
恶劣天气中现有世界模型很少同时预测三种传感器
解决方案
对预训练视频世界模型分传感器后训练并联合建模,提升 LiDAR 预测精度
19
Suho Yoo, Youngjoon Jang, Hyebin Cho, Taeyeop Lee, Jaewook Jeong, Joon Son Chung
任务设定
加速自回归 VLA 模型生成机器人动作 token
痛点动机
逐 token 解码慢,且相近动作 token 易被投机解码错误拒绝
解决方案
用特征对齐训练草稿模型并复用被拒续写,实现 1.28-2.10 倍无损加速
20
Enhan Li, Jinghao Zhou, Jiaze Zhang, Hongyang Du
任务设定
用投影阴影评估多模态大模型的 3D 场景空间推理
痛点动机
现有基准少系统评估模型能否关联物理场景条件与视觉观测
解决方案
构建含 21000 题的阴影基准,测场景投影一致性与物理变化推断
21
Jialong Liu, Junjie He, Yandu Chen, Bin Zhou, Heng Su, Peijun Tang, Jianan Wang, Changhao Chen
任务设定
双臂机器人操作中蒸馏世界动作模型以加速推理
痛点动机
少步蒸馏易使学生偏离教师轨迹,动作质量下降
解决方案
提出锚点路径匹配监督终点与中间状态,结合锚点优先梯度消除模态间梯度冲突
22
Raphael C. Kim, Michele Santacatterina, Jingsen Zhu, Ramin Zabih
任务设定
判断动作条件世界模型何时可信以用于机器人规划
痛点动机
逼真视频生成的世界模型也可能做出糟糕决策,视觉质量≠决策质量
解决方案
提出 CURE 框架,用置信证书评估可信度,并据此选择数据加权/多次采样/主动探索三种应对策略
23
Tian Lyu, Yichen Jiang, Ziyuan Cheng, Yunda Yan, Xiangyu Pan, Junjie Jiang, Jialin Yu, Boyu Ning, Pietro Liò, Fan Mo
任务设定
长时域视觉世界模型预测中用场景图动态修正位姿漂移
痛点动机
视觉世界模型长程预测易累积实体位姿和空间关系误差
解决方案
提出 JointGV,并行预测任务相关场景图并耦合图-视觉变化量,计算有界残差修正视觉状态
24
Jiachun Li, Zhuoran Jin, Kang Liu, Jun Zhao
任务设定
评测并提升 MLLM 在无视觉反馈下的动态空间模拟能力
痛点动机
现有模型静态空间感知尚可,但动态空间模拟能力明显不足
解决方案
提出 MentalGrid 基准和三阶段课程学习框架,训练出 SpatialWalker,显著提升空间模拟与泛化能力
25
Raluca Stevenson, David Bignell, Jennifer C. White, Tabish Rashid, Emanuele Aiello, Mariya Hendriksen, Junha Hyung, Sadegh Aliakbarian, Abdelhak Lemkhenter, Marko Tot, Katja Hofmann, Sarah Parisot
任务设定
游戏场景下实时交互式世界模型生成
痛点动机
高质量世界模型推理慢、训练数据需求大,难以实时交互
解决方案
用两阶段离散扩散替代自回归预测,轻量精调 Transformer 迭代掩码预测,推理提速 79 倍
26
Wenbo Zhu, Paul Yi-Chia Chen, Yuanhan Li, Zishen Wan, Christopher Torng
任务设定
JEPA 世界模型规划的硬件加速
痛点动机
采样式 MPC 反复推理导致单步规划耗时过长,难以实时具身控制
解决方案
规划器-硬件协同设计,利用动作间潜变量局部性制造差分位稀疏,大幅提速降耗
27
Yifan Chang, Jian Yang, Jiangnan Shao, Xiaofeng Wang, Zhaoxin Fan, Renjing Xu, Ming Lu, Xingang Wang, Zheng Zhu
任务设定
从电影镜头重建可编辑的 3D 分镜场景
痛点动机
人工重建动画分镜成本高,限制创作与配对训练数据生成
解决方案
先恢复相机、人体动作与几何证据,再由智能体结合证据验证构建可编辑 Blender 场景
28
Shibin Zhao, Hao Tan, Fan Yang, Haixin Wang, Feilong Chen, Yidong Ma, Chaoyang Zhao, Ming Tang, Jinqiao Wang
任务设定
多模态大模型中的三维空间推理任务
痛点动机
不同空间任务所需几何粒度不同,固定融合方式难以兼顾
解决方案
提出自适应多层几何融合框架,用门控网络动态调节浅、中、深层几何特征在推理中的权重
29
Mehul Arora, Dhruv Agarwal, Ambuj Agrawal
任务设定
机器人操作中视觉-语言-动作模型对指令复述敏感的问题
痛点动机
语言理解与动作生成联合学习,失败时难以定位是理解错还是执行错
解决方案
用离散编码本解耦语言、规划与控制,文本映射为共享步骤码再转为与语言无关的动作序列
30
Kangjie Huang, Yucheng Xin, Xinchun Wang, Dong Liu, Yan Fan, Shuming Liu
任务设定
评估机器人抓取失败后视觉恢复方法的表现
痛点动机
等待时长内保持参考系不同会颠倒恢复方法排名
解决方案
提出 AuditEmbodied 成对评估框架,独立控制保持参考与等待时长,对比 CAD 反馈与地标恢复方法
31
Akul Santhosh, Chaitra Sathe, Aastha Jhunjhunwala
任务设定
生成带时序事件标注的机器人失败视频数据
痛点动机
真实机器人失败数据难以大规模采集,限制失败学习研究
解决方案
基于 Cosmos 世界模型微调,将失败片段迁移到成功轨迹中合成新的失败视频
32
Yuan Gao, Fan Xu, Yu Guo, Yuxu Lu, Zhengru Fang, Hao Wu, Xiaomeng Huang
任务设定
视频世界模型的自回归场景状态预测
痛点动机
现有视频世界模型缺乏惯性机制,自回归生成易累积误差
解决方案
提出 InertialWorld,用惯性记忆结合欧拉网格与拉格朗日载体传递场景证据
33
Xianyao Li, Ruitong Tian, Rui Min, Fang Xu, Jing Du
任务设定
为世界模型引入可执行的感知记忆机制
痛点动机
物体离开视野后,智能体仍需记住其状态来决策
解决方案
提出可执行感知记忆(EPM),在想象推演中显式维护感知状态,驱动奖励预测与策略学习
34
Kaixin Li, Meng Luo, Yanlin Li, Yuchen Tian, Xiang Liu, Xiangru Jian, Yan Yang, Zhiheng Xi, Yang Zhang, Ziyang Luo, Mingfei Cheng, Hongzhan Lin
任务设定
探讨面向物理世界的智能体编程与测试范式
痛点动机
物理任务没有现成测试用例,正确性需靠真实运行验证
解决方案
系统梳理机器人策略生成、物理试验/仿真测试及经验学习的方法框架
35
Ting-Hsuan Chen, Siheng Zhao, Han Jiang, Qi Pan, Louison Lu, Jiaheng Luo, Henghui Bao, Yiyu Chen, Quan Nguyen, Yue Wang
任务设定
多台人形机器人长时程协作搬运与操作任务
痛点动机
全身耦合交互、长时程规划与多机同步协调难度大
解决方案
提出去中心化框架:底层多智能体后训练实现耦合全身控制,上层视觉语言规划器配合语音领导-跟随机制协调
36
Qi Shao, Zhihao Cao, Shuhao Zhai, Anh Nguyen, Hong Liang, Baoru Huang, Liang Li
任务设定
单目视频前馈式重建关节物体的部件、关节与运动
痛点动机
逐场景优化慢且依赖深度/位姿,现有前馈模型分不清可动部件
解决方案
基于冻结的 3D 基础模型,解耦部件分割与闭式关节估计,实现单次前向重建
37
Jianjin Xu, Soham Dasgupta, Fernando De la Torre
任务设定
从少量图像前馈重建可动画 3D 人体 Avatar
痛点动机
现有方法靠堆参数堆数据,训练代价高昂
解决方案
利用 FACRoPE 注意力与中间 Token 渲染对齐几何,仅 68M 参数达 SOTA
38
Daehee Lee, Dongsu Lee, Sanghyun Ahn, Minjong Yoo, Honguk Woo
任务设定
组合复用已有技能以适配新机器人任务
痛点动机
新任务多是重组已有能力,而非从零学习
解决方案
提出 RecPo 框架,用多视角程序知识库存储技能转移并组合生成可执行序列
39
Zhekai Wang, Luqing Luo, Wenhao Yao, Junjie Lu, Huanan Zhu, Feifei Gao, Yuhua Jiang
任务设定
提升第一人称 3D 手部姿态估计的鲁棒性
痛点动机
手部在边缘/遮挡处易丢失且人工调优繁琐
解决方案
用编码代理递归优化推理流程,再以选择性蒸馏微调估计器迭代提升
40
Kailin Wang, Haoxiang Jie, Yaoyuan Yan, Zhiyou Heng, Zhaosong Li
任务设定
探究手部运动对预测第一人称未来视觉的作用
痛点动机
缺少对手部动作预测未来视觉信号的量化研究
解决方案
用手腕/指尖轨迹预测未来视觉特征,基于 DINOv2 编码器训练验证
41
Changxuan Fan, Zhongwei Xie, Boyi Zhang, Shaoli Hu, Chang Xu, Xiyu Ren, Yufei Li, Qiao Xiao, Huihao Jing, Kawai Chung, Wenbin Hu, Hongyu Luo, Lingyun Xie, Yisen Gao, Chunyang Li, Haoyu Huang, Wuganjing Song, Yuxuan Liu, Chiu Yeung Tang, Fangneng Zhan, Xi Yang
任务设定
评测多机械臂仅凭视觉实时协同控制能力
痛点动机
现有基准臂少、任务短,且依赖真值坐标和暂停式决策
解决方案
提出 RoboTeam 基准, 4 到 16 个机械臂仅凭相机图像实时协作完成长任务,对比多种智能体架构
42
Javad Amirian, Armin Kiani, Loïc Schaeffer, Tim Sprecher, Mohamed Taha, Karthik Yadati
任务设定
构建大规模第一视角技能工作视频数据集,助力机器人模仿学习
痛点动机
现有第一视角数据多为日常生活场景,场景多样性不足限制机器人泛化能力
解决方案
采集万小时级头戴式视频及 IMU 数据,覆盖多场景多任务并提供动作语言标注
43
John Hua Yao. Qi Wu, Yihuai Gao, Chelsea Finn, Zipeng Fu
任务设定
学习快速精确的双臂机器人操作
痛点动机
学习型策略执行远慢于人类,缺高速示教接口
解决方案
用可反向驱动双臂平台做触觉示教采集近人速数据,配合测试时动作平滑实现高速执行
44
Elly Akhoundi, Mathieu Lamarre, Thibault Goyallon, Patrick Anderson, Étienne Danvoye
任务设定
文本驱动生成统一 UV 空间的 3D 人脸资产
痛点动机
高质量人脸扫描数据稀缺,现有方法速度慢且单模态
解决方案
用 LoRA 适配预训练 SDXL,以 UV 法线图为几何条件联合生成网格、反照率与位移贴图
45
Baiting Luo, Shatadal Mishra, Ahmadreza Moradipari, Nejib Ammar
任务设定
自动驾驶中的世界-动作联合建模与轨迹预测
痛点动机
视频基础模型历史编码与迭代生成代价高,难以实时部署
解决方案
提出自回归流式世界-动作模型,单次前向获取未来特征,并用强化学习优化驾驶策略
46
Pradip Gupta, Shubham Mandloi, Ravi Kumar Satzoda, Sujeeth Bharadwaj, Yassine Benajiba, Dan Roth
任务设定
利用视频世界模型预测误差检测深度伪造视频
痛点动机
现有检测器依赖生成器特定伪影,跨数据集泛化差
解决方案
冻结 V-JEPA 编码器并用 LoRA 微调预测器,以预测残差作为一致性先验判别真伪
47
Sheng Lu, Guangpin Tao, Tong Lu, Ying Tai
任务设定
评估交互式视频世界模型是否保持相机高度稳定
痛点动机
模型受人类视角训练数据影响,会把非人高度相机拉回人眼高度
解决方案
提出 EyeHeight 基准,用多视角高度估计量化相机高度回归现象
48
Renhe Sun, Yueying Feng, Bohan Yu, Tong Niu, Yunqi Liu, Zitong Wang, Haolin He, Kexin Shi, Hualei Wang, Qiuqiang Kong, Chang Yao, Yuge Huang, Weiqiang Wang, Jingyuan Chen, Jian Liu
任务设定
面向第一视角视频的社交推理与交互式智能体挑战基准
痛点动机
现有基准只关注可见物体动作,忽视情感社交线索与闭环执行能力
解决方案
提出 EgoLink 双赛道基准,涵盖社交推理问答及工具调用交互任务,并给出多阶段数据构建流程