1
Yanlin Jin, Bowen Yang, Cheng Zhang, Yifan Yang, Zhe Li, Jianfei Cai, Kai Zhu
任务设定
统一自中心动作-视频生成与姿态估计任务
痛点动机
预训练视频模型缺乏度量 3D 空间下的人体动作表征
解决方案
提出角色自适应动作渲染器,结合跨流动作-视频耦合,适配预训练视频生成器完成五类任务
2
Yu-Cheng Chou, Shihao Wang, Jin Huang, Chi-Pin Huang, Chiao-An Yang, Xianzhe Fan, Jing Wang, Zhiqi Li, Yuanguo Kuang, Ruijie Zheng, Johan Bjorck, Sifei Liu, Hang Su, Abhishek Badki, Lei Zhang, Alan Yuille, Linxi "Jim'' Fan, Jan Kautz, Zhiding Yu
任务设定
面向机器人等物理 AI 任务的视觉规划生成
痛点动机
自回归逐坐标生成点/框/轨迹计划速度慢、成本高
解决方案
提出 Flash Primitive Decoding ,用轻量 drafter 一次前向预测整条轨迹,速度提升约 25 倍
3
Pang-Chi Lo, Jhao-Syun Lai, Tsung-Wei Ke
任务设定
从 RGB 视频做动态场景的 4D 重建(几何+运动)
痛点动机
现有前馈方法分离处理几何与运动,且相机运动带来运动歧义
解决方案
级联式先重建 3D 几何再据此估计运动,每像素运动用相机坐标系表达降低歧义
4
Michal P. Podolinsky, Yunhao Yang, Daniel Little, Hong Lu, Rohan Siva, Olin Goudey, Neel P. Bhatt, Matthias Scheutz, Ufuk Topcu
任务设定
预测 VLA 模型部署中的失败及失败类型
痛点动机
VLA 在分布偏移下表现脆弱,现有监测方法不及时也不可靠
解决方案
用潜层探针监测中间表示,实现早期失败检测与失败模式分类以支持纠正
5
Mohammed Hassan, Zhenyang Chen, Zheng Wang, Zhixin Zhu, Tianlong Chen, Yingyan, Lin, Chaojian Li
任务设定
提升 VLA 机器人控制模型的推理效率与鲁棒性
痛点动机
视觉 token 数量多导致推理开销大,无关背景易干扰动作预测
解决方案
无需训练,先分割引导剪枝去冗余 token ,再用注意力偏置聚焦关键区域
6
Vongani H. Maluleke, James Ni, Kie Horiuchi, Lea Wilken, Jiahui Lei, Evonne Ng, Roei Herzig, Jitendra Malik, Trevor Darrell, Angjoo Kanazawa
任务设定
让人形机器人与人类进行协同全身互动
痛点动机
机器人多为孤立训练,难以与人物理协作
解决方案
共享分词表征联合建模双方动作,分层生成反应式全身动作并执行
7
Sateesh Kumar, Arnav Balaji, Arpit Bahety, Skand Peri, Georgios Pavlakos, Roberto Martín-Martín
任务设定
移动操作机器人示教数据的新视角增强
痛点动机
机器人实际位姿常偏离示教,现有方法无法渲染动态物体交互
解决方案
结合 3D 高斯溅射与运动学动作重定向,合成新视角下完整操作轨迹
8
Adnan Armouti, Guanyue Qian, Rajalakshmi Nandakumar
任务设定
毫米波雷达微多普勒人体数据的可微渲染合成
痛点动机
真实雷达数据稀缺,现有仿真无法拟合真实动态人体
解决方案
用带材质速度的 4D 点溅射拟合真实场景,生成可训练姿态估计模型的数据
9
Chanho Kim, Muhammad Salman Ali, Kyeonghwan Gwak, Muhammad Shaheryar, Incheol Park, Jeongwan On, Seungryul Baek
任务设定
单图像前馈式可动画手部化身重建
痛点动机
现有手部化身重建依赖多视角或逐例优化,难以扩展
解决方案
基于 3D 高斯溅射,用软 Alpha 带正则化与可靠性引导外观迁移,免测试时优化
10
Wenbo Huang, Jianxin Bi, Shunyu Yang, Ruiyang Si, Rui Ni, Qiang Wang, Shulong Jiang, Yintianrun Zhang, Feixiang Ruan, Kewei Zhang, Ye Huang, Shukai Gong, Daquan Zhou
任务设定
审视具身智能体自我提升中的标准暴露问题
痛点动机
暴露评测标准会让智能体过拟合验证规则而非真正完成任务
解决方案
对比有无标准暴露的实验,提出更贴合指令的验证标准
11
Madelon Bernardy, Mohammad Mahdi Derakhshani, David M Knigge, Riccardo Valperga, Artem Moskalev
任务设定
让纯图像机器人操作策略学到 3D 形状信息
痛点动机
3D 感知利于操作但部署额外依赖深度传感器
解决方案
用 Point-MAE 点云特征对齐图像编码器 patch ,训练时迁移形状知识,部署仍纯图像输入
12
Mateo Clémente, George Z. Xue, Amin Abyaneh, Liheng Ma, Rui Heng Yang, Tongtong Cao, Zhanguang Zhang, Yingxue Zhang
任务设定
从零训练紧凑的机器人策略世界模型
痛点动机
现有世界-动作模型依赖大型生成式骨干,推理慢
解决方案
基于 V-JEPA 特征从头训练策略,联合预测动作与未来特征,推理仅输出动作,更快更省参数
13
Zeping Zhang, Zhuoya Zhao, Samy Metari, Robert Laganière
任务设定
高效预测自动驾驶场景的 4D 占据 演化
痛点动机
现有方法用重交叉注意力解耦自车运动,计算量大
解决方案
显式 SE(2) 几何解耦自车运动,结合流匹配仅对不确定区域用 ODE 求解,轻量高效
14
Zihao Zhang, Xinyu Zhang, Bing Zeng, Xingyu Chen, Zhenning Li, Bin Yu, Ziyuan Pu
任务设定
提升世界-动作模型端到端自动驾驶安全性
痛点动机
现有方法仅模仿专家轨迹,对接近专家的危险轨迹约束不足
解决方案
构造近专家负样本轨迹作为排斥锚点,结合流匹配联合训练引导模型规避风险
15
Jiahao Cui, Jiaye Li, Wenhao Zhang, Yaoyi Li, Shan Luan, Quanhui Tang, Jianhua Han, Lin Cheng, Hang Xu, Siyu Zhu
任务设定
自动驾驶世界模型的长时序一致仿真生成
痛点动机
自回归生成长时序易出现结构/身份漂移
解决方案
用分层持久记忆锚定场景,结合在线 RL 提升真实感
16
Xiyan Su, Finn Rasmus Schäfer, Hojun Lim, Frank Diermeyer, Johannes Betz, Markus Lienkamp
任务设定
让冻结的自动驾驶世界动作模型支持新驾驶目标
痛点动机
换驾驶目标通常需重新训练模型,成本高
解决方案
采样时用免训练能量引导注入目标,无需重训
17
Kwan Yun, Minhyeok Bang, Colette Suhjung Koo, Junyong Noh
任务设定
基于扩散模型修复高斯头部虚拟人的渲染伪影
痛点动机
单目重建的高斯虚拟人常有模糊、拉伸等伪影
解决方案
用合成失败数据训练扩散修复器,配合 MoE 处理多种退化
18
Jihai Zhang, Yuhan Zhou, Junyou Li, Deheng Ye, Qi Dou, Yu Cheng
任务设定
学习实时可交互的 3D 世界模型
痛点动机
纯视频生成难以保持长期空间一致性
解决方案
分离 3D 状态演化与渲染,用体素占据网格维持持久世界记忆
19
Hao Wu, Yuqi Li, Yizhou Zhao, Kun Wang, Xiao Luo, Yu Cheng, Bo An, Yingli Tian, Laszlo A. Jeni, Ming-Hsuan Yang
任务设定
后训练提升机器人世界模型预测质量
痛点动机
纯视觉重建难反映任务进展,语义监督太粗
解决方案
用候选轨迹对比结合语义视觉反馈,做组相对优势策略优化
20
Seong-Eun Hong, JuYeong Hwang, Jinhyun Kim, Hanyoung Jang, HyeongYeop Kang
任务设定
多智能体场景下类人导航策略的学习
痛点动机
局部可行的动作可能违反社交规范或造成拥堵
解决方案
用世界模型在训练时蒸馏动作偏好,部署时仅用单步快速策略
21
Jinkun Cao
任务设定
单目图像的手部网格与交互、世界空间估计
痛点动机
直接回归参数再投影 2D 关键点误差较大
解决方案
先预测 2D/3D 关节点再拟合 MANO 网格,兼顾精度与速度
22
Hangyu Qin, Junbin Xiao, Angela Yao
任务设定
第一视角助手问答中的指代消歧
痛点动机
单一解读易给出与用户意图不符的答案
解决方案
ReferClaw 多智能体先主动澄清意图,再结合视觉证据回答,用代价感知策略控制澄清轮次
23
Pierre Onghena, Santiago Velasco-Forero, Beatriz Marcotegui
任务设定
点云 3D 关键点的自监督检测(含人体数据集)
痛点动机
监督方法依赖人工标注,难以泛化到新实例
解决方案
基于 SE(3) 不变的测地离心率变换生成伪标签,训练模型对齐物体内在结构
24
Raúl Boix-Aldeguer, Manuel Benavent-Lledo, David Ortiz-Perez, Jose Garcia-Rodriguez
任务设定
第一视角动作识别中建模物体信息
痛点动机
动作高度依赖物体,但现有方法较少显式建模
解决方案
融合 SlowFast 视频专家与物体可操作性专家,用视觉语言模型零样本生成可操作性线索
25
Thanh Nguyen Canh, Haolan Zhang, Nak Young Chong
任务设定
开放词汇物体地图中的物体持久性估计
痛点动机
现有方法依赖类别先验,难以应用于开放词汇场景
解决方案
提出 HiPer 分层持久性滤波器,基于相似实例检索估计贝叶斯存活概率并随物体迁移更新
26
Minh Canh Tu, Quang-Binh Nguyen, Khoi Nguyen
任务设定
由成对图像前馈生成可动关节 3D 物体
痛点动机
需同时保证各部件几何与运动学一致,仅凭图像恢复困难
解决方案
用 DiT 扩散模型联合生成开合两态部件网格,并解析推导 URDF 关节参数
27
Abdul Basit, Bibek Poudel, Muhammad Shafique
任务设定
跨机器人 6-DoF 抓取生成的可执行性评测
痛点动机
抓取评分高不代表机器人能真正执行成功
解决方案
提出 GraspBench ,在 MuJoCo 中结合逆运动学与运动规划评测完整抓取流水线
28
Chengcheng Wang, Wei He, Wenhao Li, Hongguang Li, Kai Han, Jianyuan Guo, Chang Xu
任务设定
统一建模机器人操作与认知推理的具身 VLM
痛点动机
现有 VLA 外挂独立动作专家,与 VLM 割裂、梯度冲突
解决方案
用连续隐动作 token 在共享扩散骨干中联合去噪生成动作序列,动作参数仅占 0.21%
29
Seonwook Park, Hyunsoo Cha, Amrita Mazumdar, Shengze Wang, Tianye Li, Hanbyul Joo, Koki Nagano, Shalini De Mello
任务设定
前馈式生成人脸、手部与全身人体动画
痛点动机
现有方法依赖外部姿态估计器,推理慢且外观易混入运动表征
解决方案
提出 FUHA ,用 Q-Former 学出紧凑运动嵌入,对比损失解耦运动与外观,无需姿态估计器即可实时生成
30
Zhoutong Ye, Chengwen Zhang, Zixuan Wang, Xufeng Jian, Zhe He, Qingyang Wan, Xutong Wang, Jiaqi Liu, Mingze Sun, Yu Mei, Chun Yu, Yuanchun Shi
任务设定
构建惯性传感通用基础模型,覆盖动作识别、动捕、里程计
痛点动机
现有惯性基础模型局限单一任务,跨设备跨任务泛化差
解决方案
将 DINO 自监督范式迁移到 IMU 数据,结合语义保持的运动变换和频率感知 Transformer 编码器
31
Kenneth Llontop, Cherie Ho, Dylan Zhou, Anuva Banwasi, Priya Sundaresan, Carlota Parés-Morlans, Jeannette Bohg
任务设定
混乱场景中通过操纵障碍物实现零样本交互式导航
痛点动机
现有方法依赖仿真训练或逐场景指令,难泛化到新物体新环境
解决方案
基于视觉语言模型先做可操作性推理(避让/推开/拿起),再生成高层导航规划
32
Yuze Lu
任务设定
带宽受限下压缩机器人策略上行视频流
痛点动机
现有编解码器浪费比特编码本可由机器人自身运动预测的内容
解决方案
用关节状态构建运动学假设上下文,作为零码率条件信号指导视频编解码,提升策略成功率
33
Qirong Guo, Ruijie Li, Zeyan Li, Sicheng Shu, Guanzhi Ding, Weihang Ding
任务设定
音乐驱动舞蹈动作生成中的离散运动分词方法
痛点动机
舞蹈动作兼具缓慢整体姿态与快速局部细节,统一分词难以兼顾
解决方案
提出频率分解多码率分词,低频粗编码骨架动作、高频还原局部细节,先规划后细化生成
34
Yuanchu Liang, Yue Yang, An-Chi He, Hanna Kurniawati
任务设定
对预训练扩散/流机器人策略做强化学习微调
痛点动机
微调计算贵、样本效率低,且存在噪声别名问题缺乏理论保证
解决方案
提出 LNL-MDP 桥接方程对齐噪声与动作空间价值,用 LARBRID 学习最优初始噪声分布引导预训练策略,操控/移动任务性能提升 2-3 倍
35
Kwanyoung Park, Sergey Levine
任务设定
像素输入下的离线强化学习长时域价值扩展
痛点动机
像素端世界模型需同时学表征与动力学,误差会递归累积
解决方案
提出 MAC-v2 ,训练无重建的潜在世界模型并结合动作分块,在 Robomimic、LIBERO-10 等操控任务上提升长时域想象的可靠性
36
Adrian Kruse, Kadir Yilmaz, Daan de Geus, Francis Engelmann, Bastian Leibe
任务设定
面向 3D 场景的无标签自监督表征学习
痛点动机
3D 场景表征学习效果远不及 2D 视觉基础模型
解决方案
提出 VINO 框架,用 Volume Transformer 替代分层骨干,重新设计师生匹配、掩码预测与跨模态蒸馏目标