1
Yichen Liu, Puzhen Yuan, Xiang Zhu, Yanjiang Guo, Jianyu Chen
任务设定
跨具身 VLA 模型预训练中的隐动作表征学习
痛点动机
现有隐动作模型难以捕捉手指级精细几何变化
解决方案
提出几何感知隐动作建模,用统一末端执行器运动表示融合视觉与 3D 运动信息
2
Sunghyun Baek, Hanna Bae, Minchan Kwon, Junmo Kim
任务设定
长视频流的在线 3D 重建与位姿估计
痛点动机
现有方法忽略帧信息量差异和模型状态饱和问题
解决方案
提出信息自适应测试时训练,动态调整状态更新强度并触发状态重置
3
Qianru Li, Xuyang Chen, Xuqin Wang, Zhenghao Zhang, Hongyi Luo, Tao Wu, Daniel Cremers, Lu Liu, Yanfeng Zhang
任务设定
依据紧凑语义场景图做室内长时视频重定位
痛点动机
光照家具变化后外观失效,单帧证据稀疏难定位
解决方案
提出 VideoReloc,自适应片段累积里程计证据,假设验证式位姿配准结合朝向感知优化,仅需 100KB 地图
4
Tim Engelbracht, René Zurbrügg, Mayank Mittal, Marco Hutter, Marc Pollefeys, Hermann Blum, Zuria Bauer
任务设定
从人类手持力传感夹爪交互中学习关节物体的物理数字孪生
痛点动机
视觉外观相同物体可能动力学参数差异巨大,现有方法估计不准
解决方案
估计惯性、摩擦、阻尼及神经残差动力学,驱动机械臂阻抗控制完成操作
5
Boni Hu, Xiong Wei, Haoming Huang, Yong Huang, Chenbo Wang, Yi Yang, Jiancheng Wang, Ruicheng Zhu, Zhimin Yang, Guanglai Liu, Qiaowan Jin, Dongzhuo Wang, Haiwei Kuang, Jiajun Fan, Yue Wu, Jiaxin Wei, Hao Sun, Feihong Yan, Wei Bi, Kaixuan Wang, Zichao Guo, Xiaozhi Chen
任务设定
自动驾驶闭环仿真中的实时可控世界模型生成
痛点动机
需同时满足多视角鱼眼-针孔保真、低延迟与场景一致性
解决方案
用 Plucker 位姿编码与蒸馏加速,将 40 步模型压缩为单步流式生成器
6
Ronghui Li, Jun Dong, Zhongyuan Hu, Zunnan Xu, Jun Zhou, Liyuan Chen, Shuoling Liu, Jiangpeng Yan, Jie Guo, Xiu Li, Linchao Bao
任务设定
统一手语翻译与生成的无 gloss 标注框架
痛点动机
手语翻译与生成相互独立,对话中需反复切换模型
解决方案
基于姿态化表示融合身体、手部、面部动作,用 LLM 统一建模翻译与生成的双向转换
7
Xingyu Lin, Zhuang Li, Zhongrun Wu, Shouquan Zhou, Dehui Du
任务设定
对比不同 VLA 策略的末端执行器运动轨迹
痛点动机
任务成功不代表不同策略的执行几何轨迹一致
解决方案
基于 15000 条 LIBERO 闭环轨迹,用动态时间规整量化跨策略差异
8
Hiroaki Kingetsu, Hiroaki Kurihara, Kaoru Yokoo, Kenji Fukumizu, Manohar Kaul
任务设定
VLA 模型在稀疏奖励下的强化学习微调
痛点动机
成功轨迹稀少致 RL 探索困难,部分任务成功率为 0%
解决方案
用 LLM 引导生成合成演示做 SFT ,再用 PPO 精调策略
9
Xinyu Liu, Gökhan Solak, Arash Ajoudani
任务设定
接触密集型机器人操作任务的动作表示设计
痛点动机
直接笛卡尔动作空间让策略同时学运动与任务策略,负担重
解决方案
用人工势场参数化动作,经阻抗控制器生成运动
10
Pinxin Liu, Haiyang Liu, Jiahao Luo, Junhua Huang, Chunhao Zou, Luchuan Song
任务设定
根据流式语音实时生成协同手势动作
痛点动机
离散运动 token 压缩连续动作,限制手势真实感与多样性
解决方案
提出流匹配自回归框架,蒸馏为单步生成以降低延迟
11
Muneeb A. Khan, Woojin Kim, Shinwoo Kim, Muhammad Munsif, Binod Bhattarai, Seungryul Baek
任务设定
12 自由度灵巧手的抓取运动生成任务
痛点动机
逐步决策误差累积,测试物体和动力学分布外
解决方案
编辑单条成功演示的单次轨迹变形替代逐步生成,用 PPO 并行训练变形策略
12
Tianchen Deng, Guole Shen, Yilin Shen, Wenhua Wu, Yilin Fang, Ziqi Ma, Tianjun Zhang, Shenghai Yuan, Wolfram Burgard, Hesheng Wang
任务设定
机器人 3D 建图、定位与渲染的统一基础模型
痛点动机
现有 3D 基础模型缺乏持久记忆和可扩展性
解决方案
提出自适应世界记忆机制结合门控更新与时空正则化,解码为高斯渲染
13
Yiguang Yang, Jiankun Peng, Xiaoming Wang, Yiran Zhang, Zhibo Fang
任务设定
基于视频扩散骨干的机器人动作生成
痛点动机
单次前向的预测表征未显式聚焦未来动态与视觉结构
解决方案
增设未来轨迹与视觉特征预测辅助监督,复用视频扩散 Transformer 生成动作
14
Di Wu, Dongchen Zheng, Junhe Sheng, Zhongxing Wei, Songxin Zhang, Zejian Xie, Xiaoquan Sun, Junyang Zheng, Zhuoyang Song, Jiaxing Zhang, Jiayu Chen
任务设定
研究第一视角人类数据与机器人协同训练做具身基础模型预训练
痛点动机
机器人示范数据稀缺,但人机具身与动作空间差异大,融合方式不明确
解决方案
系统对比三种 ego-robot 协同训练范式,提出数据规模×对齐质量决定能力提升
15
Xuancheng Zhang, Xuetao Liu, Qianying Tang, Jizhe Wang, Zhijing Cheng, Bochen Lin, Haoran Wen, Ming Li, Kun Zhan, Yu Liu
任务设定
提出统一视触觉动作模型,联合建模视觉、触觉与动作用于机器人操作
痛点动机
已有方法只把触觉当条件输入,未联合预测未来视触觉状态和动作
解决方案
采用混合专家架构(视频/触觉/动作专家)配合 flow matching 联合去噪,并构建触觉数据引擎
16
Adam Lilja, Fabio Hübel, Siming He, Junsheng Fu, Claire Tomlin, Lars Hammarstrand, Jitendra Malik, Jonas Frey, Marco Pavone
任务设定
提出场景语言模型,用纯文本维护开放词汇 3D 场景地图
痛点动机
传统建图管线依赖复杂工程模块,存储特征表示导致内存开销大
解决方案
模型逐帧读取并增删改文本物体列表作为唯一记忆,可在四足机器人边缘设备实时运行
17
Trinh Tra Giang Nguyen, Thanh Nguyen Vo, Nguyen Hoai Thuong Bui, Ha Duc Bui
任务设定
利用世界模型预测特征生成未来交通场景视频
痛点动机
端到端扩散生成训练成本高,且场景理解与画面生成纠缠
解决方案
冻结 V-JEPA 编码器与扩散模型,仅训练轻量对齐模块连接二者
18
Chang Dong, Mehdi Hosseinzadeh, King Hang Wong, Lingqiao Liu, Francois Fraysse, Feras Dayoub, Minh Hoai Nguyen
任务设定
识别机器人操作失败的类型、原因及起始时刻
痛点动机
现有方法难以捕捉失败发生的精确时序起点
解决方案
结合本体感知信号与视觉语言模型推理,免训练分析失败
19
Kaiwen Zhu, Dongfang Liu, Liangkai Liu
任务设定
预测 VLA 机器人策略在分布偏移下的执行失败
痛点动机
仅检测 OOD 输入不足以判断任务最终是否失败
解决方案
结合偏移类型分类与执行历史特征,动态更新失败风险预测
20
Zhiyuan Gao, Yanxiang Zhan, Mohammad Khoshnazar, Jeroen Schäfer, Michael Beetz
任务设定
从人类视频生成多样化机器人操作演示数据
痛点动机
现有运动迁移方法行为单一,生成效率也不高
解决方案
用 VLM 提取结构化操作知识,指导演示候选生成与筛选
21
Zhiyuan Gao, Di Wen, Yanxiang Zhan, Mohammad Khoshnazar, Jeroen Schäfer, Kunyu Peng, Michael Beetz
任务设定
提升 VLA 模型对空间几何与交互动态的理解
痛点动机
全场景几何监督含冗余信息,干扰当前交互学习
解决方案
用子任务引导的几何蒸馏结合隐式世界模型聚焦关键区域
22
Zhipeng Tang, Xinda Chen, Weining Rao, Xiao Li, Wenting Tan, Yuning Wang, Xiao Shi, Xiaofang Zhao
任务设定
加速基于流匹配的 VLA 机器人策略推理
痛点动机
增加积分步数提升成本,但成功率未必提高
解决方案
用轻量 Transformer 学习终点残差修正,减少所需步数
23
Beiming Li, Jaime Romero, Jonathan Diller, Vijay Kumar, Alejandro Ribeiro
任务设定
让视觉导航策略复用历史轨迹经验
痛点动机
按时间顺序编码难以复用早期探索的观测
解决方案
以位姿索引关键帧代替时序,用位姿注意力做路径规划
24
Di Wen, Jimmy Weissert, Luc Maria Scherrer, Cedric Zöllner, Kailun Yang, Ruiping Liu, Yufan Chen, Jiale Wei, Junwei Zheng, Kunyu Peng
任务设定
双手装配中的程序性异常检测
痛点动机
动作是否异常需结合执行历史综合判断
解决方案
提出 HACT 转移模型,用时间点过程为双手动作转移打分识别异常
25
Haitao Huang, Shenghao Zhao, Boyuan Tian, Shin-Fang Chng, Songlin Yang, Sheila Lim, Huangying Zhan, Yi Xu, Anyi Rao, Frank Guan
任务设定
稀疏视角下的 4D 动态场景重建
痛点动机
视角过少导致几何初始化残缺、场景欠约束
解决方案
用视频扩散先验迭代修复渲染序列,反哺 4D 高斯优化
26
Guanzhong Sun, Junyi Ma, Yixuan Zhou, Yuxuan Wu, Yanzi Miao, Hesheng Wang
任务设定
闭环视觉伺服中让动作预测与误差下降对齐
痛点动机
动作合理不等于误差下降,即预测-控制失配
解决方案
用 DINOv2 对应关系定义 4 维伺服坐标,训练世界模型与反应式速度策略
27
Xiaoxiao Lu, Yunlong Dong, Jiahao Shi, Ye Yuan
任务设定
研究世界动作模型中潜空间状态转移的架构设计
痛点动机
现有 Transformer 预测器偏重 token 交互,弱化时间演化建模
解决方案
提出 LEON ,用算子传播结合加性修正建模潜在演化,提升闭环控制鲁棒性