1
Derong Jin, Xiyi Chen, Ming C. Lin, Ruohan Gao
任务设定
从单段视频生成可探索的 4D 音视频场景
痛点动机
已有 4D 场景生成忽略了与动态物体耦合的声音建模
解决方案
用扩散同步重建运动轨迹,合成与几何一致的空间音频场
2
Baiqiao Yin, Zhongang Cai, Ruisi Wang, Qiwei Liang, Lei Yang, Ziwei Liu
任务设定
探测视觉基础模型是否具备持久的空间状态表征
痛点动机
单帧识别不足以支持自运动下的空间感知与决策
解决方案
用冻结特征探针在第一视角流式观测下测试空间结构、物体持久性等能力
3
Fnu Aryan, Yaqi Xie, Joseph Campbell, Woojun Kim, Kwonjoon Lee, Hossein Nourkhiz Mahjoub, Ehsan Moradi-Pari, Katia Sycara, Simon Stepputtis
任务设定
从短视频观测预测长时序的未来动作序列
痛点动机
纯神经网络方法需长观测,且难解释、难调整预测
解决方案
结合场景图与知识图构建符号先验,迭代 refine 动作预测
4
Jinhyeok Choi, JoungBin Lee, Jongmin Lee, Minkyeong Jeon, Jiyoung Kim, Kaeun Han, Yoonjin Yoon, Seungryong Kim
任务设定
实时生成空间一致、可长程探索的无限世界
痛点动机
现有 3D 记忆方案随时长增长且需重编码 RGB,难以实时
解决方案
提出潜在 3D 高斯记忆,与视频扩散 Transformer 自回归交替生成
5
Jiahua Li, Zixu John, Tom Zhong, Fuping Wu, Tianhao Xu, Ruicheng Zhang, Jun Zhou, Zunnan Xu
任务设定
生成规则一致、可定制的格斗游戏视频世界
痛点动机
现有视频世界模型难保持打击反馈、血量等游戏规则一致性
解决方案
用可执行引擎维护状态,经交互代理对齐规则结果与渲染
6
Yuze He, Yixiang Wei, Wang Zhao, Chuhao Chen, Yanning Zhou, Yong-Jin Liu
任务设定
从单张图像生成可动画化的风格化毛发卡片资产
痛点动机
已有方法逐点自回归生成效率低,非真正卡片资产
解决方案
用集合扩散 Transformer 整体生成发卡 token 及弹簧骨骼链
7
Pranjal Aggarwal, Sean Welleck
任务设定
让编码智能体自动生成机器人仿真环境
痛点动机
手工搭建仿真场景耗费专家精力,难以规模化
解决方案
用编码智能体完成生成-审核循环,产出含 25 个场景的 RoboWorld 基准
8
Xiangyu Xu, Bangshuai Peng, Ziyi Liu, Mengjie Zhao, Chenhao Lu, Zhengyang Fan, Huazhe Xu, Kaizhe Hu
任务设定
构建语言条件机器人绘画基准评测 VLA 模型
痛点动机
真实机器人数据收集成本高,难以规模化训练验证
解决方案
用提示驱动仿真流程生成连续绘画轨迹,覆盖 282 个任务评测 VLA 泛化
9
Aadith Warrier, Gnana Prakash Punnavajhala, Siddharth Tourani, Muhammad Haris Khan, Avinash Sharma, Madhava Krishna
任务设定
跨模态检索对应的 3D 场景或物体实例
痛点动机
现有方法只做整体对齐,缺乏局部细粒度监督
解决方案
仅用稀疏 2D-3D 对应点监督,单一模型同时完成场景级和实例级检索
10
Oliver Hahn, Rodrigo Marcuzzi, Sangeetha Grama Srinivasan, Alessandro Burzio, Sherwin Bahmani, Jiahui Huang, Stefan Roth, Shengyu Huang, Qunjie Zhou, Laura Leal-Taixé
任务设定
单图前馈式生成 3D 场景并同步理解语义与实例
痛点动机
现有 3D 理解方法依赖多视角采集或昂贵逐场景优化
解决方案
将视频扩散模型与 2D 视觉基础模型知识蒸馏进统一 3D 高斯表示,支持开放词汇分割
11
Zhipeng Hui, Jiahao Wang, Xun Dong, Guofeng Zhang, Xingrui Wang, Jiawei Peng, Qihao Liu, Xiaoding Yuan, Yi Zhang, Junjie Oscar Yin, Wufei Ma, Qinfan Lyu, Sara N. Lupolt, Keeve Edward Nachman, Adam Kortylewski, Alan Yuille
任务设定
构建婴儿 3D 姿态与形状估计数据集
痛点动机
成人姿态模型难以泛化到婴儿体型与自遮挡
解决方案
发布 10 万+图像的 InfantNet ,含 2D 关键点与 SMIL 三维标注
12
Liangyu Li, Qingwen Liu
任务设定
学习跨本体机器人动作的世界模型先验
痛点动机
不同机器人形态与控制频率难以统一建模
解决方案
用共享隐函数空间预训练动态先验,解码任意时刻动作
13
Rongxing Ding, Hongyu Qu, Kehong Wu, Xudong Wang, Fan Zhang, Xinguang Xiang, Xiangbo Shu
任务设定
VLA 模型中融合未来预测以指导动作生成
痛点动机
短期动态与长期目标割裂,未来预测与当前动作关联不足
解决方案
提出分层预见框架,配合动作引导的世界检索机制
14
Yuzhe Wu, Zijun Lin, Yeying Jin
任务设定
构建可实时控制角色动作的游戏世界模型
痛点动机
现有方法难泛化到新场景角色,交互性受限
解决方案
以骨骼几何作为代理条件化视频生成,并用智能体框架维护游戏状态
15
Yuanbo Lyu, Changjian Pan, Saining Zhang, Yi Yang, Peishuo Li, Zhiheng Li, Jialu Liu, Junhao Chen, Jiawei Weng, Yupeng Gao, Weiqing Xiao, Wenyi Li, Jiarui Guo, Rui Zhang, Jingrun Du, Weiyi Lin, Zenan Meng, Hu Wei, Lin Qu, Zongzheng Zhang, Hao Zhao, Chaojian Li
任务设定
大规模自动生成可动关节资产用于仿真
痛点动机
逐个智能体构建成本高,难以规模化
解决方案
智能体构建类别级生成器,之后无需调用模型即可程序化批量产出 40 万资产
16
Guangzhi Wang, Junfu Pu, Yiran Wang, Xingyilang Yin, Honghao Chen, Cheng Cheng, Lingen Li, Yinan Zhou, Jiarui Wu, Yinuo Jiang, Hongbo Jin, Xiaodong Cun, Ying Shan
任务设定
连接任务级规划与帧级控制的游戏智能体框架
痛点动机
高层推理与低延迟控制对模型要求差异大,难兼顾
解决方案
用视觉语言规划器拆解目标,因果 Transformer 控制器逐帧预测键鼠动作
17
Liaoyuan Fan, Yuhao Zheng, Dongxing Mao, Hangyu Ran, Siyuan Hu, Weijia Mao, Rui Zhao, Weijia Wu, Guian Fang, Yanzhe Chen, Zeyu Zhu, Yuxin Jiang, Yiren Song, Yuchao Gu, Junchao Yi, Qi Hu, Dan Kong, Alex Jinpeng Wang, Kevin Qinghong Lin, Mike Zheng Shou, Wei Liu
任务设定
综述 Agent Harness 对视频生成与世界建模的协调
痛点动机
纯视频生成缺乏规划、工具调用与反馈闭环能力
解决方案
用智能体框架统一管理视频世界模型的观测与递归自我改进
18
Jianming Ma, Rongjun Jin, Yizhi Chen, Yue Gao
任务设定
为流匹配机器人策略增加物理可行性保障
痛点动机
黑盒可行域下难保证关节限制与避障约束
解决方案
用二值可行性预言机在线纠正动作,提取边界信号指导流匹配训练
19
Bi'an Du, Fanpeng Meng, Jiemin Fang, Chen Yang, Pufan Li, Daizong Liu, Qi Tian, Wei Hu
任务设定
从单张图片生成具有物理交互能力的 3D 资产
痛点动机
几何生成模型不决定物体应如何运动或形变
解决方案
用视觉语言智能体推断物理先验与交互部件,结合 3D 生成模型构建关节与可形变资产
20
Fang Yu, Xiaoxue Wu, Haiyu Zhang, Yangfu Li, Botong Zhao, Yu Qiao, Tianfan Xue, Yue Lu, Xinyuan Chen
任务设定
让视频世界模型在长时程生成中保持场景与动态一致
痛点动机
现有记忆机制受限于上下文容量,且易累积几何误差
解决方案
提出 GROME,将历史拆分为静态场景与动态实体记忆,用局部检索和免训练注入方式接入模型
21
Minqi Wang, Jie Peng, Hejun Dong, Ruchang Yao, Puyi Wang, Siyuan Huang, Jihai Zhang, Yafu Li, Qi Dou, Xiaoye Qu, Yu Cheng
任务设定
评测视频世界模型在长时程空间探索下的表现
痛点动机
现有基准只测短时交互或固定相机轨迹,难以暴露长程缺陷
解决方案
提出 WorldProbe 诊断基准,用目标驱动的多模态智能体在线调整相机动作,测试长达 180 秒的生成一致性
22
Guangyuan Li, Kelu Yao, Shuolin Xu, Xinlei Yu, Wei Xing, Lei Zhao, Peng-Tao Jiang, Xiaogang Xu, Xiaobin Hu
任务设定
交互式视频世界模型中维持长时序场景一致性
痛点动机
历史帧反复复用导致误差累积,场景逐渐漂移失真
解决方案
提出即插即用的因果预测模块,提前预测未来场景状态指导下一步生成,减少误差传播
23
Ziheng Xi, Weibo Li, Jiayi Yu, Sipeng Zheng, Wanpeng Zhang, Haiweng Xu, Hao Luo, Chuan Mao, Zongqing Lu
任务设定
从单目视频预测手部表面的接触/距离/力场
痛点动机
触觉数据依赖专用硬件采集,难以大规模获取
解决方案
用时序 Transformer 聚合视频证据,结合可微物理层约束力预测,摆脱真实触觉传感器
24
Akila Ayanthi, Darshana Priyasad, Tharindu Fernando, Dimity Miller, Sridha Sridharan, Clinton Fookes, Peyman Moghadam
任务设定
用 VLM 预测机器人抓取位置与运动轨迹
痛点动机
自回归逐 token 生成坐标割裂空间结构、误差累积
解决方案
冻结 VLM 主干,用轻量几何预测头读取中间层特征,交叉注意力直接回归连续坐标,无需自回归解码
25
Govind Velamoor, Adrian Lin, Sam Jung, Spencer Mateega, Brandon Y. Yang, Amish Sethi
任务设定
野外环境下双臂机器人示教数据采集系统
痛点动机
现有 UMI 设备依赖固定硬件和外部标定,难以野外部署
解决方案
自研集成相机与 LiDAR-惯性传感的便携硬件,配合异步 SLAM 重建自动生成训练数据,支持 VLA 策略训练
26
Yuhao Lu, Jiongxu Chen, Hexiang Wei, Jiajin Wu, Juelin Li, Mingjian Liang, Fan Yang, Zhuowei Liang, Zihao Liu, Zhennan Wang, Sheng Wang, Lin Shao
任务设定
联合预测未来视频与 3D 运动轨迹
痛点动机
现有世界模型 3D 动态隐式,监督信号有限
解决方案
用 MoT 主干联合去噪视频与 3D 位移 token ,基于 rectified-flow 建模
27
Haitang Feng, Zhuoman Liu, Zhennan Wang, Sheng Wang, Juelin Li, Chengzhi Zhao, Hexiang Wei, Lin Shao
任务设定
统一视频生成与 4D 稠密感知的具身世界模型
痛点动机
几何、语义、运动分离建模,缺乏跨模态一致性
解决方案
共享 DiT 骨干+轻量任务调制,在统一速度预测空间联合建模多模态
28
Zhifeng Gu, Ying Chen, Rui Jiang, Lei Yi, Bing Wang
任务设定
构建可跨任务迁移的具身智能体经验并在线组合
痛点动机
成功策略可能不适用新状态,经验难以复用
解决方案
用子目标经验(适用条件+可验证结果)支持在线组合与失败利用
29
Adam Deryło, Alexey Gavryushin, Daniel Cremers, Marc Pollefeys, Xi Wang
任务设定
评估第一视角视频学习到的操作先验的接触预测能力
痛点动机
现有方法难以精确预测接触点,甚至无法定位目标物体
解决方案
构建 2.25 万条标注交互数据集 EgoContact,作为检索记忆库提升抓取策略成功率
30
Eli A. Underwood, Nicolas Rondan, Angel V. Peterchev, J. Matias Di Martino
任务设定
从残缺 3D 人脸扫描联合估计刚性姿态并补全形状
痛点动机
传统流程将配准与补全割裂为两阶段,误差易累积
解决方案
基于 GeoTransformer 单次前向预测姿态与 3D 可变形人脸模型系数,几何对齐自监督无需人工标注
31
Jorge de Freitas, Christos Ziakas, Alessandra Russo
任务设定
离线强化学习中如何用世界模型生成合成经验辅助策略学习
痛点动机
真实环境交互成本高,而潜空间想象轨迹存在误差累积问题
解决方案
提出 CGSE,用评论家引导动作在冻结潜空间世界模型中优化并想象未来状态生成合成转移
32
Li Guan, Rachael Granberry, Sahar Aseeri, Sahar Rostami, Taylor Niehues, Sai Dhanooshi Marri, Mia Huang, Dingtian Zhang, Ziyi Kou, Jason Pursel, Eric Whitmire, Vatsal Mehta, Ashish Deshpande, Tristan Trutna, Reed Belcher, Emelia Black, Julian Blake, Roger Boldu, Sean Bonaventure, Einar Boyovich, Jordan Brennan, Elizabeth Casillas, David Christensen, Tyler Christensen, Nicholas Colonnese, Stuart Dealey, Gaige DeHaven, Katie Doran, Chris Doughty, Robert Drury, Silvia Espino, Gabriel Geyne, Beth Goodrich, Kyra Gould, Joe Grisso, Susana Guerrero, Andrew Gwozdziowski, Monica Ha, Ehsan Hajiesmaili, Kate Healy, Rose Hope, Michael Hurst, Claire Ikemiya, Daisy Isibor, Rick James, Yashasvi Joginapally, Samuel Johnson, Tyler Jorgensen, Kristy Jost, Ben Kamath, Slava Karulin, Alexander Keener, Woo Kim, Alison Krauskopf, Ankit Kumar, Joshua Lang, Lizzy Li, Cameron Lynch, Daniel Ma, Hector Martinon, Christina Matos, Keagan McCurdy, Lee Mincey, Stuart Nezlek, Tiffany Nguyen, James O'Hara, Jason Osborne, Jacky Pai, Roham Pardakhtim, David Perek, Alexandre Poulin, Nick Raines, Salwa Rasheed, Leah Resneck, Kevin Rhodes, Ergys Ristani, Douglas Roberts, Anik Sarker, Harrison Scarborough, Jonas Schmidtler, Brian Shieh, Benjamin Shuman, Garrett Simard, Forrest Smith, Udara Somarathna, Eliot Sosin, Jonathan Stewart, Kristine Strom, Adam Swett, Hal Talbot-Mantooth, Julia Tanner, Sai Sharan Thirunagari, Curtis Torrey, Simge Uzun, Eileen Wachs, Rylan Wasson, Henry Wei, Jesse White, Beau Woodbyrne, Antonio Woods, Noah Young, Chandler Yount, Joseph Zhang, Sean Keller et al. (74 additional authors not shown)
任务设定
采集带精确接触力与手部姿态的自然操作演示数据
痛点动机
现有可穿戴设备难以同时提供校准力觉与抗遮挡的手部追踪
解决方案
提出织物传感手套 Tactus,融合触觉传感器与 IMU 的手部姿态追踪,服务于机器人操作策略与世界模型学习
33
Hayder Tirmazi
任务设定
评测并改进世界模型重访场景时的一致性问题
痛点动机
现有模型重访区域时常生成不一致的结果
解决方案
提出智能体式上下文压缩机制,使世界模型记忆扩展 4 倍而无需重新训练
34
Jacob Levy, Arthur Bouton, Tristan D. Hassler, Hari Nayar, David Fridovich-Keil
任务设定
行星车在可变形地形上的在线自适应控制
痛点动机
仿真与真实地形有差异,现场试错代价极高
解决方案
用奖励加权误差训练世界模型,定位薄弱区域重点探索,再结合 MPC 规划
35
Ziyang Liu, Kieren Yu, Xiao Yang, Xin Yang, Kaishun Wu
任务设定
面向 mmWave 雷达人体点云的自监督预训练
痛点动机
稀疏检测和多径效应使观测不稳定,预训练困难
解决方案
提出原型引导自监督框架,自回归建模时序演化,支持姿态估计等多任务
36
Rufeng Xiao, Ruihao Xiao, Wei Chen, Xinhai Sun
任务设定
评估 JEPA 特征预测对 VLA 策略控制的影响
痛点动机
未来表征预测能否真正提升机器人闭环控制效果尚不明确
解决方案
结合冻结 V-JEPA 编码器与 VLA 策略,辅助头仅训练时预测未来特征,推理时省略
37
Chenglong Shi, Zekai Yuan, Yue Song, Jon Pu, Will Wu
任务设定
评测多模态大模型闭环动作与主动感知的 3D 空间推理
痛点动机
以往基准多是被动视觉问答,忽略碰撞、物理与执行精度约束
解决方案
提出 SpaceAct 基准与 SAPA 主动探测智能体框架,用积木拼接等任务测试 6DoF 操作与闭环自纠错
38
Noâm Boussouf, Adrien Maglo, Mohamed Chaouch, Hideo Saito
任务设定
从单目排球转播视频重建完整 3D 比赛序列
痛点动机
高空跳跃与多次触球打破传统平面投影假设,难以标定与重建
解决方案
设计物理约束重建流程,用跳跃时序修正球员位置,并以 3D 手部顶点锚定球的物理轨迹
39
Yuhang Peng, Zhikai Wang, Ziyi Wang, Jiaru Zhong, Xiaoji Zheng, Jingzhi Huang, Yi Wang, Jiangtao Gong
任务设定
零样本 VLN 场景下导航记忆应如何组织
痛点动机
无导航专用训练时如何有效保留并利用历史信息
解决方案
构建任务/时间/空间三类记忆,由 8B 观察者-推理器选取路径点,并在 Unitree Go2 真机验证
40
Rikuhei Umemoto, Kenjiro Ide, Soham Majumder, Ulf Brefeld, Keisuke Fujii
任务设定
探讨 3D 姿态能否提升足球动作价值评估
痛点动机
现有模型仅用 2D 位置速度,忽略姿态信息
解决方案
在 SARSA 模型中加入躯干朝向等姿态特征对比效果,发现训练目标比姿态表示更关键
41
Seoyoung Hwang, Tae-Kyun Kim
任务设定
跨骨骼拓扑的运动生成任务
痛点动机
密集全关节建模计算量大且难迁移
解决方案
仅用稀疏关节子集训练模型,结合语义关节嵌入实现拓扑无关生成,推理时输出全骨骼动作
42
Laura McDaniel, Ryan Roemmich, Crystal Szczesny, Peter Abadir, Rama Chellappa, Basudha Pal
任务设定
用步态轮廓特征评估老年人衰弱程度
痛点动机
步态分析缺乏可解释的身体构型特征
解决方案
提取轮廓/步态能量图特征,结合特征选择与 SHAP 解释进行衰弱分类
43
Jiuyi Xu, Meida Chen, Yang Ye, Yangming Shi
任务设定
评估机器人示教数据筛选方法有效性
痛点动机
现有筛选方法缺乏与简单基线的公平比较
解决方案
对比 PSD 评分等多种方法与随机/长度基线,发现复杂方法常不及简单的长度筛选
44
Hojun Jang, Jinseok Bae, Donggeun Lim, Taesun Kim, Seungbin Jeong, Younghwan Lee, Yong Seok Kim, Young Min Kim
任务设定
仅用双脚接触时序控制全身人体动作生成
痛点动机
以往控制方法依赖目标位姿或语义描述,缺乏时间维度接口
解决方案
提出 StepControl ,用自回归扩散模型以交叉注意力注入脚步接触时间表,实现长时序动作生成
45
Chen Tessler, Yifeng Jiang, Alec Otto, Yi Shi, Umar Iqbal, Gal Chechik, Xue Bin Peng
任务设定
为人形机器人设计通用可提示的全身控制执行层
痛点动机
传统人形控制器需针对每个任务单独训练,缺乏通用性
解决方案
生成式基础策略接收目标提示生成全身动作,配合可编程技能层用代码表达任务意图,无需再训练策略
46
Ruben Hammele, Samira Huber, Mohammad Nazeri, Amirreza Payandeh, Alexandyr T. Card, Aaron Nguyen, Anuj Pokhrel, Daeun Song, Xuesu Xiao, Sören Pirk
任务设定
评估 VLA 模型π_0.5 在 100 个家庭任务上的推理策略
痛点动机
小规模场景验证的策略未必能泛化到大规模多样任务
解决方案
对多种推理与数据采集策略做系统配对评测,发现迁移效果不一致
47
Josef Chen
任务设定
研究世界模型规划中动作更新器与规划器的效果
痛点动机
通常认为规划步数越多越好,但原因与边界尚不清楚
解决方案
对比固定动作更新器与 iCEM 等规划器,发现多规划反而降低成功率
48
Gagan Khandate
任务设定
扩展视觉强化学习用于运动控制与灵巧操作任务
痛点动机
视觉策略渲染推理昂贵,蒸馏方法存在模仿差距
解决方案
用逆向蒸馏让状态策略模仿视觉策略,收集低成本经验做离策略训练
49
Jean-Michel Fortin, William Larrivée-Hardy, Gabriel Jeanson, Olivier Gamache, Daniele De Martini, François Pomerleau, Philippe Giguère
任务设定
面向足式机器人的视觉足步规划与地形稳定性预测
痛点动机
自监督信号凭直觉设计,缺乏系统验证其效果好坏
解决方案
提出 TACOS :用状态估计中的因子图残差构建地形感知接触稳定性分数监督视觉预测器
50
Jialei Chen, Kai Wang, Kang Chen, Shuaihang Chen, Feng Gao, Wenhao Tang, Zhiyuan Li, Weilin Liu, Zhuyu Yao, Boxun Li, Yuanbo Xu, Chao Yu
任务设定
机器人策略如何预判动作带来的场景变化
痛点动机
现有世界动作模型依赖昂贵的像素级视频生成
解决方案
提出 LaWAM ,用潜空间视觉子目标代替视频预测来指导动作生成