1
Ramazan Fazylov, Stamatis Lefkimmiatis, Ivan Laptev
任务设定
加速 3D 高斯虚拟人 的实时动画渲染
痛点动机
逐帧神经解码计算开销过大,难以实时
解决方案
用线性混合形状近似动画,浅层 MLP 预测系数达 60fps
2
Zheng-Hui Huang, Guixu Lin, Yu-Ju Tsai, Jian-Kai Zhu, Fengbo Lan, Yu-Lun Liu, Yung-Yu Chuang, Kaipeng Zhang, Zhixiang Wang
任务设定
评测视频生成模型是否遵循程序设定的世界事件
痛点动机
现有基准缺乏对细粒度程序事件保真度的评测
解决方案
构建 PROWBench 基准,记录实体状态与事件时间线对比生成视频
3
Yen-Jen Wang, Haozhe Jiang, Shuying Deng, Haoru Xue, Weirui Ye, Rocky Duan, Nika Haghtalab, S. Shankar Sastry, Pieter Abbeel, Haozhi Qi
任务设定
无需更新权重的机器人操作自我提升框架
痛点动机
人工设计技能、奖励与感知控制集成成本高
解决方案
仿真练习诊断失败,自动生成/优化符号技能与系统提示
4
Tahira Kazimi, Shubhankar Borse, Munawar Hayat, Fatih Porikli, Pinar Yanardag
任务设定
让视频生成同时遵循多种物理规律
痛点动机
现有方法仅支持单一物理规则,多物理共存易失真
解决方案
分层物理对齐强化学习,局部约束动力学+全局保持语义一致
5
Zhuo Lin, Sirui Xu, Liuyu Bian, Yu-Xiong Wang, Liang-Yan Gui
任务设定
测试时让人形机器人适应新的移动操作任务
痛点动机
新任务常无训练数据,重新训练成本高
解决方案
用奖励程序+LLM 在线修改结构,复用已有运动技能完成接触交互
6
Suyu Ye, Zheyuan Zhang, Vaishnav Tadiparthi, Hossein Nourkhiz Mahjoub, Ehsan Moradi Pari, Tianmin Shu, Homanga Bharadhwaj, Nakul Agarwal
任务设定
从观察中推断机器人伙伴的物理约束以协作
痛点动机
伙伴硬件故障等限制未知,影响零样本协作
解决方案
通过联合行为推断受限机器人能力,再据此协调新任务
7
Hyunwook Choi, Dahyun Chung, Hyunsung Kim, Siyoon Jin, Jinhyeok Choi, Junyoung Seo, Seungryong Kim
任务设定
视频世界模型中解耦观察者与执行者视角建模
痛点动机
物体离开视野后状态和动态难以保持一致
解决方案
联合生成全景观察者与执行者视角,用共享全景源做几何对齐,并用高分辨率参考缓存恢复重现细节
8
Hanchu Zhou, Dechen Gao, Hang Wang, Brendan Lynch, Boqi Zhao, Qiyao Ma, Raman Goyal, Junshan Zhang
任务设定
多机器人协同完成长时序操作任务
痛点动机
多机器人协同难以兼顾长时序推理与精细执行
解决方案
每个机器人用 VLM 负责高层语义通信协调, VLA 负责底层动作执行的分层框架
9
Wei Cao, Hao Zhang, Vikram Voleti, Yuqun Wu, Mallikarjun B R, Shimon Vainer, Mark Boss, Yaoyao Liu
任务设定
用显式 3D 刚体几何控制视频世界模型中的物体运动
痛点动机
现有控制方式粗糙,深度与旋转信息容易产生歧义
解决方案
将物体重建为规范网格并按刚体变换逐帧移动,经运动适配器渲染成最终视频
10
Kyochul Jang, Seohyeon Park, Ohchul Kwon, Sangjun Park, Junhyeok Choi, Seungyeop Yi, Chaeyun Kim, Sangkyu Lee, Idan Szpektor, Avi Caciularu, Jongmin Park, Youngjae Yu
任务设定
评测人形机器人从工具选择到移动执行的综合能力
痛点动机
现有基准未联合评估工具选择、操作与移动协调能力
解决方案
提出 18 项任务基准 HumanoidToolBench 及示范数据集 ToolBook ,在仿真与真实 Unitree G1 上评测
11
Efstathios Karypidis, Spyros Gidaris, Nikos Komodakis
任务设定
在视觉基础模型特征空间中预测场景未来演化
痛点动机
两阶段先压缩再预测,潜空间未必利于时序预测
解决方案
端到端联合训练潜在 tokenizer 与 flow 生成动力学模型,使潜空间天然可预测
12
Ruiyang Si, Jianxin Bi, Shunyu Yang, Rui Ni, Wenbo Huang, Qiang Wang, Shulong Jiang, Duomin Wang, Xiuyu Li, Haiwen Feng, Zhen Dong, Daquan Zhou
任务设定
VLM 智能体通过视觉反馈控制机器人执行任务
痛点动机
重复调用大模型与冗余观测导致 token 开销过高
解决方案
提出 PyRUA-Lean 框架,将机器人基元与 VLA 策略组合成可条件重试的代码单元,按需返回观测
13
Zhuoran Li, Yunzhan Li, Xun Wang, Yihan Du, Longbo Huang
任务设定
多智能体强化学习中的协同策略生成
痛点动机
扩散策略表达力强但迭代采样慢,难以在线训练
解决方案
提出单步流策略,结合联合 Q 值优化实现高效协同学习
14
Zhening Huang, Yueyan Li, Johnathan Chiu, Xiaoyang Lyu, Matt Zhou, Yuxin Yao, Joan Lasenby, Shangzhe Wu
任务设定
将 RGB-D 扫描重建为可仿真的交互式 3D 室内场景
痛点动机
现有方法难保证重建的几何精度与仿真可用性
解决方案
用编码智能体迭代编写场景脚本,经观察-编辑-验证闭环生成高质量数字孪生
15
Edward W. Staley, Connor O. Pyles, Rahul Hingorani, Frank Camargo, Griffin Milsap, Jared Markowitz, Matthew S. Fifer, Michael Wolmetz
任务设定
为 VLA 机器人策略增加额外任务条件
痛点动机
纯语言描述在杂乱、歧义场景中条件信息不足
解决方案
引入肌电信号 (EMG)和视觉分割标注做连续条件,提升杂乱场景泛化能力
16
Jian Liu, Wei Sun, Zhenqi Dai, Hui Yang, Jian Xiao, Nicu Sebe, Na Zhao
任务设定
面向机器人抓取的类别级物体位姿估计
痛点动机
真实数据采集成本高,合成到真实存在 domain gap
解决方案
用 2D/3D 语义一致性约束学习域不变特征,实现 Syn2Real 泛化
17
Wonguen Cho, Junhoo Lee, Nojun Kwak
任务设定
构建面向机器人操作的可渲染 3D 高斯数据集
痛点动机
2D 观测与 3D 操作存在差距,外参不可靠影响重建精度
解决方案
提出标定感知流水线,将 3DGS 场景锚定到机器人度量空间
18
Jiahui Lei, Qianqian Wang, Trevor Darrell, Angjoo Kanazawa
任务设定
统一建模动态 3D 世界中物体/人体/机器人运动
痛点动机
现有方法难以统一表示多实体的时空运动先验
解决方案
用稀疏 SE(3) 轨迹统一表示,结合 flow-matching 序列建模支持灵活条件生成
19
Yijie Zhu, Rui Shao, Jie He, Wei Li, Bo Zhao, Yelin Wang, Xiaochen Yuan, Tao Tan, Miao Zhang, Xiaojiang Peng, Zitong Yu
任务设定
预测式视觉-语言-动作模型用于机器人操作
痛点动机
预测观测与动作模态不对齐,联合优化拖累动作预测
解决方案
用共享码本对齐两模态表示,再自适应注入预测先验指导动作解码
20
Liwei Liao, Yingkui Zhang, Qianqian Tong, Ronggang Wang
任务设定
从 3D 高斯泼溅场景中提取物体级网格
痛点动机
现有方法只做场景级提取,物体网格常非封闭难用于交互
解决方案
分割再建网框架,以空间视觉蒸馏用高斯渲染图监督网格重建
21
Feiyu Gavin Zhu, Qi Xu, Zhifei Deng, Zhigang Hua, Luke Simon, Jean Oh, Reid Simmons
任务设定
模仿学习中结构化策略的自动优化
痛点动机
结构生成依赖人工或静态 LLM 知识,易与示范脱节
解决方案
用 LLM 分析策略 rollout 数据,闭环迭代修正策略结构
22
Aryan Goyal
任务设定
研究动作分块( action chunking )策略的误差稳定性
痛点动机
动作分块有效的机制未经直接验证,误差传播不明
解决方案
注入动作误差,测量开/闭环下的误差传播速率并建模预测
23
Xindi Yang, Baolu Li, Liam Lee, Zhenfei Yin, Songxin Zhang, Zhuoyang Song, Xu Jia, Jianfei Cai, Tien-Tsin Wong, Bingyi Jing, Mengyue Yang
任务设定
视频世界模型中实现开放世界交互与持久状态
痛点动机
生成内容增多后代理行动缺乏可扩展性与持久性
解决方案
引入编码代理读写显式世界状态表,让新物体可交互、状态变化持久保留
24
Akira-Miranda Adeyomi Adeniran-Lowe, Binod Singh, Lars Arnold Dethlefsen, Lazaros Nalpantidis, Theodora Kontogianni
任务设定
让预训练 3D 场景编码器适配局部视角观测
痛点动机
全局重建特征与局部相机坐标观测存在严重错位
解决方案
用几何对齐和关系蒸馏,将局部特征对齐到冻结的全局 3D 语义空间
25
Seungyeon Kim, Junhoo Lee, Baekseung Kim, Minkyu Kim, Nojun Kwak
任务设定
世界动作模型常出现“任务未完成”的想象预测
痛点动机
短时序控制下模型偏好局部合理但未完成任务的续写
解决方案
提出免训练的完成感知引导采样方法,引导生成朝任务完成方向
26
Ilya Fradlin, Christian Schmidt, Jens Piekenbrinck, Karim Knaebel, Gonzalo Martin Garcia, Bastian Leibe
任务设定
从任意图像集合统一做 4D 重建与 3D 点跟踪
痛点动机
多视角、多时刻观测难以建立跨源对应关系
解决方案
提出顺序无关的查询机制,前馈式关联任意输入间的观测,训练输入越多样泛化越强
27
Xinhao Xiang, Weiyang Li, Zhijie Zheng, Abhijeet Rastogi, Jiawei Zhang
任务设定
免训练的单目视频 4D 动态场景重建
痛点动机
深度基础模型假设静态场景,难处理动态物体
解决方案
借助 DA3 跨帧特征隐含的运动信号定位动态区域,结合 VLM 语义提示分割物体,分离静态背景与动态点云重建。
28
Amr Mousa, Rifny Rachman, Neil Karavis, Michele Caprio, Richard Allmendinger
任务设定
偏好条件下的四足机器人多目标运动控制
痛点动机
传统 RL 把能耗、稳定性等目标写死,无法实时权衡
解决方案
提出 PROMO ,把偏好向量作为运行时输入,单一策略即可调节步态, Go2 实机零样本验证。
29
Di Yang, Zhihao Li, Yanhai Xiong, Yufei Wang
任务设定
单目视频的紧凑 4D 动态场景表示
痛点动机
现有 4D 表示难兼顾存储紧凑与新视角渲染质量
解决方案
提出 Sparc4D 前馈自编码器,用稀疏时间槽压缩动态特征,配合 2D 高斯 surfel 解码重建画面。
30
Cheng Yang, Yifan Wu, Yutao Huang, Zhaohua Zhang, Beiduo Chen, Muxi Chen, Chenchen Zhao, Hexuan Deng, Haolin Yang, Geyuan Zhu, Sa Zhu, Jianhuan Zhuo, Qiuyong Xiao, Jianhao Ruan, Yiran Peng, Jiayi Zhang, Tian Ye, Xinlei Yu, Tianwen Jiang, Jihong Zhang, Yuyu Luo
任务设定
用图像生成器合成 GUI 智能体交互轨迹数据
痛点动机
真实 GUI 环境部署复杂、场景多样性受限,数据难扩展
解决方案
将图像生成器当作视觉世界模型,配合任务规划器迭代编辑截图生成动作轨迹,训练 GUI agent。
31
Hongming Fu, Jingcheng Shi, Wenjia Wang, Binhua Zuo, Bo Zhao
任务设定
从第一视角视频端到端恢复世界坐标系手部几何及交互属性
痛点动机
现有方法分离手部与场景估计,多模型导致吞吐效率低
解决方案
用结构化手部提示迁移几何先验,单次预测手部几何与逐点交互属性
32
Isaiah Milkey, Som Sagar, Aditya Taparia, Xinyuan Liu, Jiqing Wen, Ransalu Senanayake
任务设定
评估视频生成模型对隐藏物理属性的理解是否真实
痛点动机
生成视频表面合理但常违背真实物理,影响机器人世界模型可靠性
解决方案
构建配对场景基准,覆盖碰撞、摩擦、流体等七类物理属性评测视频模型
33
Jiho Jang, Jinyoung Kim, Nojun Kwak, Kyungjune Kim
任务设定
视频生成中合理呈现物理交互的状态转变
痛点动机
现有模型难呈现真实物理交互,缺乏可控训练数据
解决方案
用起止状态图像构建合成数据集,提出 SGS 采样生成连贯交互视频
34
Hao Wu, Shengju Qian, Weiyan Wang, Fan Xu, Fan Zhang, Yuanpeng He, Qingsong Wen, Yuxuan Liang
任务设定
学习机器人世界模型预测动作条件下的未来场景
痛点动机
候选预测相似难比较,发散轨迹的历史维护也很难
解决方案
用多模态自回归模型做束搜索生成候选未来,以 MemSPO 强化学习优化
35
Xuehui Yu, Eason Yu, Meiyi Wang, Haozhe Du, Stefano V. Albrecht, Harold Soh
任务设定
长时序机器人操作任务中设计动作相关记忆
痛点动机
现有记忆方法凭经验选帧,效果不稳定缺乏理论依据
解决方案
用条件互信息衡量记忆价值,提出递归分治选择器压缩长历史
36
Shota Kobayashi, Koki Seno, Daichi Yashima, Komei Sugiura
任务设定
语言条件下的跨机器人平台操作任务统一建模
痛点动机
现有方法用稀疏关键点近似动作,难以处理语言条件操作
解决方案
用流匹配建模连续的机器人速度场,实现与本体无关的语言条件操作
37
Minsu Kim, Jaesung Choe, Jiwoo Lee, Yu-Chiang Frank Wang, Seon Joo Kim
任务设定
多视角前馈式 3D 场景中的空间关系分割
痛点动机
现有 3D 场景理解只关注物体本身,忽略物体间空间关系
解决方案
融合视觉基础模型的语义特征与 3D 几何基础模型的几何特征,通过关系 Transformer 实现跨视角关系定位
38
Aly Magassouba
任务设定
机器人操作策略中建模刚体间的几何关系
痛点动机
数据学习几何关系耗数据且场景几何变化下易失效
解决方案
提出 Screw Attention 层,用相对位姿和关节螺旋传递等变消息,编码刚体力学先验
39
Keisuke Shirai, Tomohiro Motoda, Hanbit Oh, Ryoichi Nakajo, Roman Mykhailyshyn, Ryo Hanai, Shotaro Miwa, Yukiyasu Domae
任务设定
自回归 VLA 模型中机器人动作的 token 化表示
痛点动机
FAST 对同一动作序列只给单一确定 token 化,数据少时学习效率受限
解决方案
提出 TOAST ,训练时对同一动作序列随机采样多种等价 token 化,无需新增示教数据
40
Pengfei Qi, Haoran Lin, Sizhuang Chen, Kai Luo, Sirui Zhang, Xinqi Liu, Fei Cheng, Wenrui Chen, Liming Yin, Kailun Yang
任务设定
统一全景-语言模型实现导航与动态人员跟踪
痛点动机
现有方法依赖前视视角,导航与跟踪需割裂的策略
解决方案
用全景感知编码处理全向观测,结合世界-动作一致性在线校验路径点
41
Jiawei Fan, Sifeng Wang, Yuqing Hou, Anbang Yao
任务设定
机器人基础模型中的单步动作生成策略
痛点动机
多步流匹配推理延迟高,直接单步化会导致性能崩溃
解决方案
提出 Kinematic MeanFlow ,依据运动学恒等式将时间导数拆分为两段降低误差累积
42
Chensheng Peng, Wenhao Ding, Ran Tian, Zewei Zhou, Jef Packer, Maximilian Igl, Peter Karkus, Yan Wang, Masayoshi Tomizuka, Boris Ivanovic, Marco Pavone, Yuxiao Chen
任务设定
可控的世界动作模型,联合预测动作与未来视觉
痛点动机
传统联合加噪训练使动作与视频产生错位
解决方案
在模拟器中执行扰动动作并配对对应噪声视觉,设计扭曲噪声调度支持多智能体可控预测
43
Pedro Robles Dutenhefner, Dikshant Shehmar, Wagner Meira, Marlos C. Machado
任务设定
离线目标条件强化学习的长程任务策略学习
痛点动机
固定时序抽象尺度 k 难以兼顾远近目标的价值分辨率
解决方案
提出 GITA ,用单一价值函数条件化多尺度 k ,聚合优势加权监督信号
44
Mikhail Dereviannykh, Vikram Voleti, Simon Donne, Mallikarjun Byrasandra Ramalinga Reddy, Shimon Vainer, Mark Boss
任务设定
为自回归视频世界模型设计语义分词器
痛点动机
现有粗到细分词器的语义对齐损失效果有限
解决方案
提出 SemanTok,用冻结 DINO 特征监督各级 token 前缀重建,提升语义对齐与生成效率
45
Egor Cherepanov, Nikita Kachaev, Aleksandr I. Panov, Alexey K. Kovalev
任务设定
评测 VLA 模型在长程操作任务中的记忆能力
痛点动机
现有 VLA 只看近几帧,难评估对消失线索的利用
解决方案
构建 90 个任务基准,隐藏关键线索,发布 2.25 万条 oracle 轨迹数据集
46
Sathwik Karnik, Joseph JR. Lee, Aryaman Gupta, Somil Bansal
任务设定
监测并纠正 VLA 策略中思维链推理的可靠性
痛点动机
推理链看似能解释动作,但可能不可靠,需运行时纠偏
解决方案
提出 TRUST 价值模型,预测推理正确性并实时引导生成
47
Tingting Liao, Xuezhi Liang, Hao Li, Guangyi Liu
任务设定
流式世界模型重访同一场景时保持渲染一致
痛点动机
长跨度监督需全量注意力,计算代价随长度二次增长
解决方案
按相机共视检索历史潜变量,建共享记忆库,解耦监督跨度与注意力长度
48
Rikhat Akizhanov, Yangsong Zhang, Nikolai Kaliazin, Peter Wolf, Yoshihiko Nakamura, Pascal Fua, Fabio Pizzati, Ivan Laptev
任务设定
从单目视频端到端估计人体姿态、接触点与接触力
痛点动机
姿态重建与接触力估计分离会导致误差传播,无法联合推理
解决方案
在人体重建基础模型上加接触力 token 和时序 Transformer,配合物理监督联合预测
49
Zijian Jin, Yunbei Zhang, Yuanzhe Liu, Ming Liu, Baian Chen, Weirui Ye, Shilong Liu, Marco Pavone
任务设定
研究世界模型规划时计算资源该如何分配
痛点动机
每步都均匀加深推演会浪费算力,还可能削弱规划效果
解决方案
提出 DeepJEPA ,用权重共享的联合嵌入预测架构,只在关键决策时刻按需做深层推理
50
Haoyu Wang, Siyuan Qian, Yanjun Li, Zeyu Zhang, Yandong Guo, Boxin Shi, Hao Tang
任务设定
轨迹引导的灵巧手操作强化学习
痛点动机
探索噪声有利于找接触点却干扰精细控制
解决方案
提出探索尺度随训练步数退火的调度,在 PPO/GRPO/FPO 及真实 RM75 机械臂上验证
51
Jiaming Wang, Zhiwei Xue, Chen Jizhuo, Peng Shiqi, Harold Soh
任务设定
家居环境中长期开放词汇物体搜索
痛点动机
观测次数不均,检测/未检测证据需按观测机会加权
解决方案
提出 ECROM,将带删失的观测建模为概率推断,转为主动搜索先验
52
Youngjun Jun, Kyumin Choi, Youngmin Kim, Seonghyun Jin, Sunwoo Park, Jangho Park, Jong Chul Ye
任务设定
VLA 动作专家的单步序列级蒸馏
痛点动机
分块训练忽视长程任务成功,在线强化学习又代价高
解决方案
将序列级反向 KL 散度拆为分块项与未来势能项,用离线 Q 函数蒸馏为单步策略
53
Vivek Chavan, Jörg Krüger
任务设定
从第一/第三人称视频构建程序化状态记忆
痛点动机
长时程序视频冗余嘈杂,存储处理成本高昂
解决方案
基于事件分割理论检测多模态边界,生成事件卡片增量更新工作环境记忆
54
Thanh-Khoi Nguyen, Thien-Phuc Tran, Minh-Triet Tran
任务设定
3D 高斯场中与视角相关的指代分割
痛点动机
现有方法视角无关,解析不了观察者相对空间关系
解决方案
解耦位姿无关语义定位与位姿条件空间推理,免训练零样本迁移