1
Adrien Ramanana Rahary, Yutong Bai, Nicolas Dufour, Patrick Pérez, David Picard
任务设定
研究世界模型中视频自编码器的压缩策略
痛点动机
现有自编码器为离线生成设计,延迟和质量难兼顾
解决方案
提出 CADRE 系列因果扩散自编码器,在操作与导航任务中对比不同压缩方案
2
Zhichao Zhai, Menglei Zhao, Guikun Chen, Zihao Yan, Kanzhi Wu, Wenguan Wang, Jun Xiao
任务设定
基于语言指令的 3D 场景物体摆放任务
痛点动机
语言指令隐含几何信息,现有方法难以精确摆放物体
解决方案
提出 VoxProg ,用语言模型生成体素编程程序计算目标 SE(3) 位姿
3
Yunhao Luo, Wentao He, Yinpei Dai, Hyelin Nam, Hongze Fu, Joyce Chai, Nima Fazeli, Jeong Joon Park
任务设定
为世界模型校准场景物理参数(质量、摩擦等)
痛点动机
现有世界模型忽略物理属性,预测易漂移到经验先验
解决方案
提出 PhysiCalWorld ,通过上下文提示编码探索片段为物理描述符 token ,无需微调校准预测
4
Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie
任务设定
构建统一的世界模型视觉状态编码器
痛点动机
现有编码器难以兼顾物理状态、语言对齐与像素重建
解决方案
提出 ALPS ,联合语言、重建与空间对应目标预训练 ViT ,支持策略学习
5
Yanzhe Chen, Ziyi Yang, Jifeng Zhu, Qiming Huang, Ruihe An, Peiyao Xu, Hesen Yang, Runda Liu, Chang Gong, Zhijun Cao, Zechen Bai, Wenzheng Zeng, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Kevin Qinghong Lin, Mike Zheng Shou
任务设定
统一视角分析从计算机使用到机器人操作的具身智能体
痛点动机
物理世界部分可观测、不可逆,让具身智能体更难评估
解决方案
提出 PAPAV 框架(感知/预测/规划/行动/验证),统一比较多模态智能体与机器人系统
6
Sriyash Poddar, Yanda Bao, Jacob Krantz, Matthew Chang, Xavier Puig, Roozbeh Mottaghi, Natasha Jaques, Abhishek Gupta
任务设定
部分可观测环境下策略学习中的测试时探索问题
痛点动机
在线强化学习样本效率低,离线模仿学不到探索行为
解决方案
提出 ASTEROID ,用特权专家对学生的在线上下文做蒸馏学习探索
7
Likui Zhang, Zhe Zhu, Zhihao Zhan, Yibo Bai, Hanlin Wang, Dongwei Li, Bin Wang, Tianle Zhang, Xiaodan Liang, Liang Lin
任务设定
VLA 模型长时序机器人操作的强化学习后训练
痛点动机
轨迹级稀疏奖励致信用分配延迟,子任务掌握不均衡
解决方案
提出 AtomicRL ,用原子任务做信用分配与自适应探索,并用 Real2Sim2Real 迁移到真机
8
Ruotong Liao, Meikel Kokowski, Xiaoxiao Sun, Yongqin Xian, Laura Bravo Sánchez, Shiye Su, Federico Tombari, Serena Yeung-Levy, Volker Tresp
任务设定
评估第一视角视频流中的主动记忆能力
痛点动机
可穿戴助手需主动维护记忆,而非被动等待用户提问
解决方案
提出 ProactEgoMem 基准,含信息捕获、状态追踪、位置追踪三项任务
9
May Espinola, Qifan Zhang, Yu Xiang
任务设定
评测前沿 AI 模型在 LIBERO-10 机器人操作任务上的表现
痛点动机
通用模型能否无需专训完成机器人操作尚待系统评估
解决方案
构建闭环操作框架,让模型通过视觉观测与工具调用直接控制末端执行器
10
Zhaohui Yang, Quanbao Lin, Chengqi Shi, Zhenglang Weng, Jicheng Lin, Boyu Chen, Tengjie Zhu, Guanzhu Ren, Jiahao Xu, Yang Feng, Xiaokang Yang, Yao Mu
任务设定
人形机器人全身移动操作的运动生成与控制
痛点动机
单一动作表示难以同时满足任务意图与全身协调
解决方案
提出 SP-HLM ,用稀疏关键姿态+潜在运动先验连接 VLA 与全身控制器 SP-GMT
11
Chenxu Zhou, Zhiyuan Yu, Yudong Jin, Yinji Shentu, Yu Zhang, Jiaming Sun, Xiaowei Zhou
任务设定
从稀疏低分辨率采集生成沉浸式体积视频
痛点动机
密集多视角采集成本高,生成式方法分辨率低且 4D 不一致
解决方案
用视频扩散模型结合布局感知位置编码,跨视角时序去噪生成高分辨率 4D 一致视频
12
Jian Xu, Yi Li, Ying Huang, Siyi Wu, Bingzhe Li, Yuede Ji, Miao Yin
任务设定
压缩带语言特征的 3D 高斯场景表示
痛点动机
语义特征增大存储,序贯压缩易丢失语义信息
解决方案
统一优化框架联合语义感知稀疏化与向量量化,保留语义精度
13
Mingze Sun, Ziang Cao, Yuan Fei, Qiankuan Tao, Zihan Wang, Tianqi Liu, Junhao Chen, Haiwen Diao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu
任务设定
从人类示范学习双手灵巧操作的通用跟踪控制
痛点动机
接触丰富的双手操作数据稀缺,协调双手接触难度大
解决方案
结合强化学习与行为克隆闭环训练,物体中心奖励实现单策略跨物体泛化
14
Ruopeng Gao, Yukun Huang, Jiarui Hu, Shuai Wang, Wenbo Hu, Ying Shan, Limin Wang
任务设定
自回归视频生成中建模场景未来演化
痛点动机
教师强制训练存在捷径,弱化对真实视觉演化的建模
解决方案
提出未来块预测辅助目标,跨越时间预测增强世界模型式表征
15
Naru Suzuki, Satoshi Ikehata, Takehiko Ohkawa, Yoichi Sato, Shuhei Kurita
任务设定
从第一视角视频联合恢复世界坐标系手部与相机运动
痛点动机
多阶段误差累积、单目尺度模糊、遮挡导致运动歧义
解决方案
单阶段模型联合预测手部与相机运动,用 flow matching 生成式建模处理遮挡歧义
16
Kai Zhu, Yintianrun Zhang, Shuwei Jiang, Ruolin Zuo, Yixin Chen, Duomin Wang, Miao Liu, Yin Li, Daquan Zhou, Yiwu Zhong
任务设定
视频生成模型中相机自运动的长时一致性建模
痛点动机
扩散视频模型相机运动随时间漂移,破坏几何一致性
解决方案
通过因果对齐将中间层表征对齐到 3D 基础模型的帧间变化空间,提升运动一致性与具身任务表现
17
Qinfan Zhang, Yifan Luo, Haoyuan Shi, Guanlin Liu, Han Dong, Haozhe Shan, Yong Dai, Xiangcong Ren, Xiaozhu Ju
任务设定
将 3D 场景理解融入 VLA 模型的时序记忆用于机器人动作生成
痛点动机
现有 VLA 依赖 2D 表征,几何信息难以持续累积利用
解决方案
用冻结几何基础模型监督 GeoPlan tokens ,构建可持续更新的几何记忆,融合历史与当前观测预测动作
18
Rafael Felix
任务设定
研究机器人策略的零样本泛化能力来源
痛点动机
现有数据采集方式量大但来源单一,多样性不足限制泛化
解决方案
构建共享潜空间融合多模态对齐与生成增强,借开发者社区扩充数据多样性
19
Linfei Li, Ruining Hu, Lin Zhang, Zhong Wang, Fengyi Zhang, Ying Shen, Binqiang Wang, Xin Zhang
任务设定
统一建模部件级物理可操作性与指令驱动的交互感知
痛点动机
高层语义难以落地到部件级物理交互,制约语言指导操作
解决方案
提出统一可操作性解码器,联合做检测、分割与 4-DoF 交互位姿预测
20
Meng Luo, Zechen Bai, Shanqing Xu, Yanlin Li, Kaixin Li, Mengchen Qian, Weifeng Lu, Ran Zhang, Yingtian Zou, Ziyang Luo, Wei Chen, Hongzhan Lin
任务设定
探讨机器人等物理 AI 中的递归自我改进机制
痛点动机
现实试错代价高且后果不可逆,改进难以持续迁移
解决方案
梳理机器人操作任务中自我改进路径,提出评估原则与研究方向
21
Nurmukhambet Serikbayev, Abdul Basit, Muhammad Shafique
任务设定
研究如何为 VLA 策略挑选机器人示范数据语料
痛点动机
常用诊断指标是否真能预测下游策略好坏尚不明确
解决方案
提出配对指令依赖度指标,在四足导航语料上验证其排序有效性
22
Simone Lugani, Matteo Montani, Paolo Gastaldo, Rodolfo Zunino, Edoardo Ragusa
任务设定
上肢假肢中多物体场景下的可抓取部位分割
痛点动机
多物体共存时目标物体易产生歧义,影响抓取识别准确率
解决方案
引入激光笔指示目标物体,结合混合现实生成数据重训练分割网络
23
Haoyue Liu, Xiaoying Tang
任务设定
诊断世界模型在规划中回报预测错误的来源
痛点动机
视觉逼真的预测不代表回报正确,需找出真正误差来源
解决方案
提出事件级诊断方法,发现奖励/终止事件帧误差才主导回报误差,而非像素误差
24
Xinyu Wang, Huafeng Shi, Yue Ma, Zijie Meng, Teng Xi, Yuzhuo Chen, Yucheng Wang, Ruicheng Zhang, Guoxin Zhang, Pengfei Wan, Xiu Li, Fangneng Zhan
任务设定
多智能体视频世界模型的实时交互生成
痛点动机
现有方法仅支持单智能体,难兼容异构动作接口
解决方案
提出异构动作接口,用空间调制绑定智能体、语义适配动作并支持流式生成
25
Rodion Shkokov, Tatiana Zemskova, Dmitry Yudin
任务设定
机器人开放词汇语义地图的主动构建
痛点动机
主动建图忽视语义,语义建图又依赖人工标注
解决方案
用 3D 高斯结合冻结 SAM/CLIP 特征引导探索,拟合语言场支持开放词汇查询
26
Xiujian Liang, Liuyuan Na, Zehao Du, Jiacheng Xu, Weixi Song, Mingyang Sun, Xingjun Ma, Cewu Lu, Jianhua Sun
任务设定
学习机器人操作中深度-RGB 联合的场景状态表征
痛点动机
纯 RGB 表征缺乏几何信息,难以准确预测动作效果
解决方案
基于 V-JEPA2 构建 RGB-深度双流联合嵌入预测架构,预测未来视觉与深度特征
27
Junjie Wang, Zhihao Yuan, Yunhan Tang, Sheng Xu, Jiaqi Mao, Xiaoyu Ye, Yueru Luo, Xu Yan, Chun-Mei Feng, Zhen Li
任务设定
让 VLM 在稀疏视角下保持一致的 3D 空间推理能力
痛点动机
密集融合所有帧几何开销大,且让模型盲目依赖不完美的几何估计
解决方案
提出按需几何获取框架,用 GRPO 强化学习训练模型何时信赖几何证据
28
Junha Chun, Youngjoon Jeong, Taesup Kim
任务设定
研究世界动作模型泛化能力的几何根源
痛点动机
不同生成骨干网络导致 WAM 泛化差异大,机制不明
解决方案
提出噪声正交性指标,表征几何结构预先决定策略的鲁棒泛化能力
29
Shangjia Liu, Jinxi Li, Siyuan Zhou, Bo Yang, Bing Wang
任务设定
从多视角视频重建动态 3D 场景几何与物理运动
痛点动机
仅靠渲染监督,外观变化会掩盖错误的运动轨迹估计
解决方案
提出运动感知轨迹表示避免外观捷径,并用双向运动连续性约束保证位移速度加速度连续演化。
30
Ke Jiang, Wen Jiang, Yoshinobu Kawahara, Xiaoyang Tan
任务设定
离线强化学习中,将多模态行为策略蒸馏为单一策略
痛点动机
蒸馏易让动作在不同模式间插值,陷入无效的 OOD 区域
解决方案
提出价值引导轨迹对齐(VRD),动态耦合机制分离行为模式,保留高价值动作
31
Genpei Zhang
任务设定
视频中被遮挡物体的完整(amodal)分割
痛点动机
现有扩散模型方案需多步去噪、额外深度网络,且结果不确定
解决方案
将遮挡视为掩码,用预训练 V-JEPA 预测器补全被遮挡区域特征再解码出掩膜
32
Neel Adwani, Muhaiminul Islam Akash, Saffia Ouali, Ethan Liu, Cong Wang
任务设定
设计可 3D 打印的仿人灵巧机械手
痛点动机
腱绳驱动手成本高维护难,连杆驱动难集成多自由度
解决方案
用柔性铰链配合弹簧钢驱动杆简化连杆传动,普通 3D 打印机即可制造
33
Hoijoon Jung, Yuhao Wei, Mingxiao Tu, Younhyun Jung, Michael Fulham, Jinman Kim
任务设定
从全身医学影像估计完整人体模型
痛点动机
扫描视野受限致身体区域缺失,影响医学分析
解决方案
基于 SMPL 模板做属性引导优化,几何体积约束变形补全缺失区域
34
Yongqing Liang, Yuzhong Chen, Sihang Li, Junsuk Kim, Chase Kidder, Hui-ping Wang, Yunzhi Xu, Raihan Haque, Yubiao Zhang, Chen Feng
任务设定
视频中 6DoF 物体位姿的鲁棒跟踪
痛点动机
物体快速运动时单目跟踪易产生灾难性漂移
解决方案
融合感知、运动学因子图与主动重定位,闭环实现失败自恢复
35
Weizhe Xu, Jialiang Fan, Essien Taylor, Zijun Wang, Russell Joseph, Fanxin Kong
任务设定
训练小型低功耗的安全机器人任务规划模型
痛点动机
LLM 规划器体积大、功耗高且缺乏机器人安全知识
解决方案
用经典规划器和教师 LLM 构建安全数据集, SFT+RL 微调注入安全约束
36
Leann Alhashishi, Christos Margadji, Sebastian William Pattinson
任务设定
将机器人长程操作片段编码为固定大小的隐式表征
痛点动机
传统记忆随执行时长线性增长,难以支撑长程任务
解决方案
用元学习初始化拟合视频得到固定大小的权重增量作为记忆,驱动问答与动作解码
37
Matthew Strong, Ankush K. Dhawan, Julien Poffet, Giuse Pham, Jinho So, Monroe Kennedy
任务设定
从单段人类 RGB 演示视频生成大规模机器人演示数据
痛点动机
现有方法依赖深度传感,且难以泛化到同类新物体
解决方案
用 DINOv3 高斯溅射跟踪物体姿态,再语义对齐到同类数字分身物体,批量生成仿真演示
38
Xiaoxiao Ma, Weiyang Jin, Yanwen Ma, Haoran Li, Zhixiang Wei, Songchun Zhang, Yaowei Li, Junhao Zhuang, Zeyue Xue, Yuming Li, Zheming Fu, Haoyang Huang, Nan Duan, Feng Zhao
任务设定
流式生成可持续探索、可交互的开放式 3D 世界
痛点动机
现有世界模型难在无限地图上保持状态一致与可编辑
解决方案
用分层规划器生成宏观微观决策,流式编译地形实体并持久化世界状态
39
Hieu Tran, Hong Yu
任务设定
训练单一 flow policy 适配多种求解器推理步数
痛点动机
固定步数 RL 训练会掩盖低成本部署时的性能退化
解决方案
提出 ArcFlow :结合动作对齐监督、预算曝光与最差预算选择的训练法
40
Hieu Tran, Hong Yu
任务设定
世界模型中决定探索方向及何时执行规划
痛点动机
智能体需判断探索哪些备选方案、何时信任规划替代策略
解决方案
提出 SDI :用同一 actor 重复 rollout 的方差做参照,比较想象的动作序列来指导探索与执行
41
Kuan Zhang, Yukun Chen, Zhihao Yang, Yue Su, Xiangnan Wu, Zirong Chen, Run Luo, Jinkun Hou, Tao Tan, Yinhe Zheng, Yiming Li
任务设定
研究具身智能体在多样虚拟游戏世界中的持续预训练
痛点动机
不确定物理环境中的规模化收益能否迁移到视觉、动力学各异的虚拟世界
解决方案
通过 120 组配置对比数据量、多样性与模型规模三轴的扩展规律