1
Xiaomeng Ye, Krishna Jaganathan, Gyubeum Lim, Gunjan Chhablani, Muhammad Zubair Irshad, Zsolt Kira
任务设定
将通用机器人抓取策略适配到用户真实家居场景
痛点动机
真实场景部署泛化差,逐场景采集演示太贵
解决方案
手机扫描重建 3D 高斯数字孪生,仿真生成大量演示微调 VLA 策略π0.5
2
Changhao Wang, Jaden Clark, Shuran Song
任务设定
让机器人策略显式建模物理时间而非固定步长
痛点动机
观测频率、延迟或推理耗时变化时固定序列假设失效
解决方案
用时间感知 RoPE 编码观测与动作时刻,提升扩散策略鲁棒性
3
Bahey Tharwat, Iman Nematollahi, Marvin Alles, Xingyuan Zhang, Akshay L Chandra, Abhinav Valada
任务设定
让通用机器人策略持续学习新任务而不遗忘旧技能
痛点动机
微调或引导模块都会导致灾难性遗忘
解决方案
用冻结的世界模型想象演练旧任务,引导轻量模块学习新任务同时保留旧技能
4
Changhui Jing, Haochen Tian, Hongchen Li, Tianyu Li, Caojun Wang, Zihao Zhang, Yanhao Liu, Chengen Xie, Bailin Li, Hao Zhao, Zhenjie Yang
任务设定
优化自动驾驶世界动作模型的轨迹规划
痛点动机
候选轨迹缺少真实视频监督信号
解决方案
用 3D 高斯溅射渲染候选轨迹视频,结合 GRPO 强化学习优化轨迹规划
5
Zhiyuan Xiang, Peidong Liu, Mingyang Li, Jiawei Li, Wenhow Li, Wenbo Ding, Xiang Deng
任务设定
用无动作标签的人类视频预训练机器人操作策略
痛点动机
机器人交互数据采集昂贵,人类视频虽丰富但缺少动作标签
解决方案
学习连续隐动作刻画帧间视觉变化作为监督,结合多种对齐信号预训练 VLA 策略
6
Zhufeng Xu, Henglei Lv, Bailin Deng, Yikang Ding, Xiaoqiang Liu, Guoxin Zhang, Hongbo Fu, Lin Gao
任务设定
让相机可控的视频世界模型在重访场景时保持一致
痛点动机
现有记忆机制对深度、位姿误差敏感,容易产生重影伪影
解决方案
用多精度位置编码迁移历史 patch 地址,并结合几何引导的频谱衰减降低误差敏感性
7
Xuhui Kang, Sung-Wook Lee, Yan Zhuang, Tianle Zhong, Yen-Ling Kuo
任务设定
用少量演示微调 VLA 机器人操作策略
痛点动机
直接微调会破坏预训练表征,损害分布外泛化能力
解决方案
检索预训练中相似任务表征做对齐,微调时限制表征漂移
8
Shun Kato, Dixin Yang, Kotaro Amaya, Yuiga Wada, Kazumi Fukuda, Takashi Shibuya, Yuki Mitsufuji, Mariko Isogawa
任务设定
长时长文本到动作生成中的跨片段指代一致性
痛点动机
现有模型难保持跨片段的指代约束连贯性
解决方案
构建 ELMA 长时长动作数据集,含密集片段标注并微调模型
9
Loan Bernat, Matthieu Grard, Ariane Herbulot, Florent Lamiraux
任务设定
评估长时程具身智能体在动态多机器人任务中的表现
痛点动机
现有基准缺乏对执行失败、任务中断等在线扰动的综合评测
解决方案
构建 MAGMA-Bench 基准,含异构机器人协作与持续任务推理场景
10
Peiyan Tu, Cong Wang, Hanxin Zhu, Xin Jin, Zhibo Chen
任务设定
构建融合人类视频与失败动态的动作条件世界模型
痛点动机
机器人数据 少见失败案例,人机具身差异阻碍跨域学习
解决方案
用点流统一人机运动表示,结合 GRPO 后训练建模失败动态
11
David Ahmedt-Aristizabal, Abdelwahed Khamis, Mohammad Ali Armin, Lars Petersson
任务设定
评估 VLA 运行时监控器的报警是否真正值得干预
痛点动机
准确报警可能为时已晚,误报又会打断本可成功的执行
解决方案
用反事实回放比较干预与不干预下的任务完成代价
12
Octi Zhang, Iretiayo Akinola, Rosario Scalise, Mateo Guaman Castro, Patrick Yin, Tobias Widmer, Miles Macklin, Chris Amevor, Dylan Turpin, Dirk Van Gelder, Jan Carius, Ankur Handa, Gavriel State, Yunrong Guo, Yashraj Narang
任务设定
用 RL 解决 NIST 装配任务板上的精密机器人装配
痛点动机
以往方法依赖演示和密集奖励,策略设计程度不明确
解决方案
仅靠稀疏二元奖励和任务多样性,单一策略跨 20 个任务从零训练,涌现灵巧装配行为,成功率达 98.2%
13
Yabiao Wang, Jiafu Wu, Yicheng Xu, Teng Hu, Shengzhe Zhou, Yanxiao Sun, Jiangning Zhang, Ying Tai, Yong Liu, Ming-Hsuan Yang
任务设定
从单张参考图和语音生成协同语音手势肖像视频
痛点动机
扩散模型局部细节退化,且音画难以精准对齐
解决方案
训练用局部重加权强化关键区域监督,推理用一致性引导修正音画错位
14
Jingcheng Ni, Zekun Li, Zhiyang Dou, Xiaoyan Cong, Ziyao Zeng, Hongyang Du, Randall Balestriero, Taku Komura, Srinath Sridhar
任务设定
根据空间音频流式生成人体反应动作
痛点动机
人类对声音的反应是实时的,无法预知未来音频
解决方案
用因果 Transformer 结合流匹配逐步生成动作,并用排练训练降低训练推理误差
15
Nanzhu Chen, Feixiang He, Yunfeng Diao, Duygu Sarikaya, He Wang
任务设定
骨架动作识别自监督对比学习的对抗鲁棒性
痛点动机
对比学习表征易受对抗攻击,影响识别可靠性
解决方案
插入量化模块阻断梯度传播吸收扰动,并用注意力引导量化保持表征质量
16
Yang Wang, Ping Liu, Ruiyu Wang, Xuhua Chen, Lingfeng Zhang, Tao Zhang
任务设定
视觉-语言-动作策略中记忆依赖型操作任务
痛点动机
策略需追踪执行状态并回溯已不可见的视觉证据
解决方案
用双流记忆:时序压缩 token 记录进度,任务检索器找回关键历史帧
17
Yongxin Zheng, Hao Wu, Fang Li, Hu Fu, Peiran Yin, Xudong Wang, Haozhe Hu, Xinghao Chen, Yunpu Ma, Wei Zhang, Xiaoyu Shen
任务设定
研究多视角 3D 场景下高效的视觉语言模型推理
痛点动机
长视觉 token 序列导致 3D VLM 推理成本高、信息冗余
解决方案
提出 GeoGR 框架,用体素级场景压缩与分组路由跳过冗余 token 降低计算量
18
Kai Liu, Jiangran Lyu, Tingyu Deng, Yixin Zheng, Jingtian Wan, Wenbo Cui, Mi Yan, Yizhou Zhou, Haoran Li, Dongbin Zhao, Zhizheng Zhang, He Wang
任务设定
探索世界动作模型(WAM)应采用何种视觉表征
痛点动机
VAE 表征偏重视觉重建,未必利于机器人操作任务
解决方案
系统对比多种视觉表征与融合机制,提出 R²-WAM 配方,在 RoboCasa 上达 SOTA
19
Jie Huang, Yanan Chen, Ruixun Liu, Kaichen He, Xinyi He, Rui Huang, Zilong Zheng, Zhenliang Zhang, Yiwu Zhong
任务设定
提出具身智能体的持续学习能力评测基准
痛点动机
以往持续学习研究未涉及具身环境与技能组合泛化
解决方案
以组合泛化为原则设计任务,测试智能体能否复用基础技能解决复杂未见任务
20
Gangyi Li, LuYao Wang, Jingfu Sun, Jingyi Yuan, Hang Liu, Hao Zong, Yujia Hu, Tingting Gao, Jianyong Wang, Xu Yang
任务设定
机器人与智能硬件的具身智能体产品条件策略学习
痛点动机
产品约束、目标变化和执行反馈下动作生成难以稳定适应
解决方案
用 ReAct 式智能体与闭环沙盒轨迹,结合监督微调与 DPER 强化学习训练
21
Kansuke Habano
任务设定
分析第一视角视频嵌入内容,并与惯性传感器融合做人体活动识别
痛点动机
头戴相机嵌入编码的信息及多模态融合方式尚不清楚
解决方案
发现视频嵌入主要反映头部朝向/场景布局,用视频图传播惯性预测大幅提升识别效果
22
Xule Gao, Xi Wang, Zehua Zang, Rui Wang, Changwen Zheng, Chuxiong Sun
任务设定
离线场景下对 VLA 模型做目标导向式后训练优化
痛点动机
纯模仿学习偏向演示路径,偏离轨迹后难以恢复
解决方案
提出离线目标条件策略优化,用关键状态可达性奖励替代逐步动作模仿,提升恢复能力
23
Yinqi Chen, E Li, Shuaijun Wang, Weiyuan Peng, Meiying Zhang, Qi Hao
任务设定
用网格模型自动生成非刚性行人点云场景流标注
痛点动机
行人等非刚性物体的场景流真值很难人工获取
解决方案
多视角重建铰接式人体网格并绑定到 LiDAR 点云,自动生成逐点场景流标签
24
Minghao Fu, Tavis Siebert, Eryk Halicki, Randall Balestriero
任务设定
用 JEPA 端到端建模世界动态与动作,支持机器人控制和规划
痛点动机
现有 JEPA 方法把表征、动力学与控制策略分离训练,效率低
解决方案
联合训练潜状态预测与动作流匹配,并对潜空间加高斯约束,一个模型兼顾策略执行与快速规划
25
Vivan Kumar, Gautham Vinod, Fengqing Zhu
任务设定
用可穿戴立体视频重建食物并估计体积
痛点动机
传统方法需手机多拍或放参照物,使用负担大
解决方案
用 FoundationStereo 立体匹配与 SAM2 分割,结合设备位姿实现无参照物真实尺度重建
26
Jason Chen, I-Chun Arthur Liu, Gaurav Sukhatme, Daniel Seita
任务设定
为双臂机器人操作合成立体视觉训练数据
痛点动机
真实大规模立体机器人数据稀缺,制约策略扩展
解决方案
用视频扩散模型将单目演示转立体,或在仿真中联合渲染双目画面
27
Utkarsh Saxena, Ruijing Yang, Mehdi Rezagholizadeh, Akash Haridas, Vikram Appia, Emad Barsoum
任务设定
加速前馈式 3D 重建基础模型处理大量视角
痛点动机
全局注意力计算量随视角数平方增长,难以扩展
解决方案
按层混合线性/稀疏注意力,无需从头训练即可大幅提速
28
Zekai Gu, Peng Wang, Jiahao Lu, Yongsen Mao, Cheng Lin, Yuan Liu
任务设定
加速自回归视频扩散的实时视频生成与世界建模
痛点动机
现有方法对所有图像块统一分配去噪步数,存在浪费
解决方案
提出逐块自适应去噪,简单区域提前停止,困难区域多做细化
29
Yinlong Dai, Homanga Bharadhwaj, Dylan P. Losey
任务设定
由合成视频生成零样本机器人操作轨迹
痛点动机
生成视频缺乏物理一致性,机器人难以直接执行
解决方案
将问题建模为约束优化,用视频中物体轨迹做初始猜测,在数字孪生中优化为物理可行轨迹
30
Jaewoo Lee, Jeongyeon Seo, Sihyun Cho, Gyeongrak Choe, Yutong Wang, Bavin Saravanan, Jia-Bin Huang, Furong Huang, Sebastian Scherer, Guanya Shi, H. Jin Kim, Seungjae Lee, Dongjae Lee
任务设定
空中机器人操作任务中的具身编码智能体
痛点动机
载荷限制导致视角受限,物理反馈难以定位失败原因
解决方案
提出主动反馈机制,通过观察 (View) 或物理探测 (Probe) 主动获取缺失证据
31
Shenglan Li, Zhendong Mi, Hengyi Zhu, Jingwu Luo, Chun Kit Chan, Geng Yuan, Yanzhi Wang, Pu Zhao, Shaoyi Huang
任务设定
VLA 机器人操作中的高效推理
痛点动机
显式预测未来场景推理开销大,影响部署效率
解决方案
在潜空间中想象未来场景演化,压缩为 Scene Gist Token 后加速推理