1
Jun Dong, Ronghui Li, Zhongyuan Hu, Yunqi Zhao, Lijie Guo, Ruizhang Xu, Di Kang, Linchao Bao, Xiu Li
任务设定
联合生成同步的语音与肢体动作,并支持细粒度控制
痛点动机
现有方法多靠文本语义隐式驱动,缺乏对动作层级、身体部位与语音风格的显式控制
解决方案
提出双流潜在流匹配 Transformer DuoFlow ,共享噪声水平联合去噪语音与动作,并构建 MotionSpeech 基准数据集
2
Itamar Mishani, Mukund Krishnakumar, Oren Salzman, Maxim Likhachev
任务设定
机器人长程操作任务中的技能序列规划
痛点动机
每个候选技能都用物理模拟评估,计算开销太大
解决方案
学习技能效果世界模型快速预测结果,仅对有希望的候选做物理模拟验证
3
Henry Zheng, Weibo Gong, Yang Yue, Rui Huang, Yang Zhang, Gao Huang
任务设定
评测具身智能体跨多次重访场景的空间记忆能力
痛点动机
现有评测很少显式考察跨访问的场所身份识别与状态更新
解决方案
提出 ReSpaceBench 基准,含 3244 题、590 个场景,覆盖房间关联、持久状态追踪等 9 类任务
4
Shaohao Rui, Chaoyang Zhang, Xiaofeng Mao, Weijie Ma
任务设定
用手部动作控制的交互式视频世界模型
痛点动机
手物交互动态复杂且需实时生成,连续手部动作难转化为连贯视觉反馈
解决方案
构建 10 万交互片段数据集,结合手部感知监督与因果流式生成实现高效少步视频生成
5
Jeongho Lee, Boeun Kim, Hyung Jin Chang, Jungchan Cho, Sang-Il Choi
任务设定
根据人类注视生成手物抓取动作,无需文本描述
痛点动机
文本难以指定抓取部位和接近方向,注视更直观
解决方案
提出 GeoGaze 几何编码,结合扩散 Transformer 依注视生成抓取
6
Yibo Bai, Likui Zhang, Jinglei Zhang, Zhengbin Pang, Xingshen Song, Xiaoqing Yin, Jinsheng Deng
任务设定
从第一视角视频重建公制尺度下的 4D 手部运动
痛点动机
现有方法忽略关节深度变化,导致平移、朝向、姿态误差耦合
解决方案
提出几何感知流匹配框架,融合手物交互区域深度先验与视觉特征,逐步联合优化手部位姿
7
Gabriele Giuseppe Di Marzo, Mariano Ramírez Montero, Maximilian Stölzle, Rodrigo Pérez-Dattari, Cosimo Della Santina
任务设定
从演示中学习支持多目标抓取的机器人运动基元
痛点动机
传统动力系统方法只支持单一吸引子,难以表达多目标或连续目标任务
解决方案
提出 multi-CONDOR 框架,结合模仿学习与李雅普诺夫稳定性分析学习多稳态运动动力学
8
Erik Brorsson, Kilian Freitag, Josef Bengtson, Kristofer Bengtsson, Lars Hammarstrand, Knut Åkesson, Fredrik Kahl
任务设定
多视角遮挡场景下的 3D 人体姿态估计
痛点动机
遮挡使部分关节仅有单一 2D 观测,导致深度不确定
解决方案
提出几何条件深度预测与深度感知三角化,让重建姿态与深度估计相互迭代优化
9
Jaehyuk Lee, Yeajin Lee, Suhyun Bae, Donghun Lee
任务设定
视觉-语言-动作模型推理时的视觉 token 剪枝
痛点动机
注意力分数不能真实反映 token 对动作预测的影响,在线计算代价高
解决方案
离线计算动作敏感度并蒸馏为轻量学生网络,推理时用分数引导的多样性选择保留关键 token
10
Qixuan Wu, Xiaole Yang, Yuguang Yang, Canyu Chen, Linlin Yang, Haixia Pan, Guodong Guo, Baochang Zhang
任务设定
为冻结的 VLA 机器人操作策略做轻量视觉条件注入
痛点动机
预训练视频表征难以有效融入现有 VLA 策略
解决方案
用线性 TTT 维护紧凑视觉状态,结合 flow-aware 门控筛选特征优化动作生成
11
Xue Yang, Haonan Cai, Xinyu Hang, Zhimeng Huang, Xuanyi Liu, Chuanmin Jia, Siwei Ma
任务设定
评测视频世界模型是否真正理解科学实验原理
痛点动机
现有基准难区分模型是真理解还是拟合表面视觉先验
解决方案
构建成对实验基准,改变单一条件对应不同结果,由 VLM 独立判断生成视频是否符合科学规律
12
Tao Tao, Anke Tang, Enneng Yang, Zhi Hou, Xiaogang Wang, Dacheng Tao
任务设定
整合多个具身 VLM 专家模型为统一紧凑模型
痛点动机
分别部署多专家存储开销大,直接合并又会损失各自能力
解决方案
用共享锚点加一比特分解表示专家差异,构建混合专家模型仅需微调路由器
13
Guoqiang Liang, Yiqi Lin, Shangchen Zhou, Wenzheng Zeng, Yanzhe Chen, Zechen Bai, Mike Zheng Shou
任务设定
综述基于基础模型的机器人奖励模型方法与评测
痛点动机
同名奖励模型实际回答的问题不同,缺乏统一评测标准
解决方案
提出五类语义分类梳理 114 种方法,构建 RRM-Bench-1K 真实机器人视频基准
14
Ravindran Vasoor Saravanan, Chittin Varunav Ravi, Madhumita Singh, Thirulok Sundar Mohan Rasu
任务设定
让移动机器人根据自然语言指令导航到指定物体
痛点动机
开放词汇感知与经典建图导航流程难以无缝整合
解决方案
结合开放词汇检测、深度定位与语义建图,实现 ROS2 端到端语言导航
15
Xiaokang Sun, Ningyue Wang, Kunqi Xu, Guangqi Jiang, Jianglong Ye, Yong Wu, Xueyan Zou
任务设定
跨不同末端执行器的双臂机器人操作策略学习
痛点动机
遥操作数据采集成本高,难以在不同手爪间复用
解决方案
通过运动学锚点和稀疏真实校准,将示范迁移到异构末端执行器并训练统一双臂策略
16
Xu Su, Shunlong Xiao, Qintao Yi, Mingkuan Zhao, Xinmiao Yu, Yizhe Li, Zihan Wang, Bokui Chen
任务设定
修正冻结机器人策略的错误动作预测
痛点动机
预测错误未必是表征错误,无需重训练骨干网络
解决方案
提出 ReRead ,重读当前与历史缓存表征,预测动作残差来修正
17
Max A. Buettner, Mark Azer, Fabian B. Flohr
任务设定
自动驾驶数据中人脸和车牌的隐私匿名化
痛点动机
专用检测器常漏检遮挡或小尺寸的人脸车牌
解决方案
结合可提示分割与 3D 人体网格恢复判断人脸朝向,再做生成式替换,全程免训练
18
Sheng Xu, Aoduo Li, Rongli He
任务设定
单目视频的 3D 人体姿态估计
痛点动机
现有多粒度方法忽视骨骼结构且全序列计算开销大
解决方案
提出结构感知多粒度时空 Transformer,引入关键帧注意力筛选关键片段,兼顾精度与效率
19
Ruichen Deng, Qinyu Zhao, Yong-Hyun Park, Mutian Tong, Liang Zheng, Jiatao Gu
任务设定
用归一化流学习 VLA 机器人策略的连续动作生成
痛点动机
扩散类方法训练流程复杂,想用单一密度模型统一建模
解决方案
提出 NF-VLA :用自回归归一化流建模动作密度,配合打分优化在推理时修正动作, LIBERO 成功率达 98.35%
20
Umer Siddique, Peilang Li, Yongcan Cao
任务设定
机器人驱动偏移(重装、延迟等)导致冻结 VLA 失效
痛点动机
重新训练或微调 VLA 代价高,需要免训练的在线纠偏方法
解决方案
提出 ReGround :用电机 babbling 学习新动力学,推理时重新对齐策略意图动作
21
Stephanie Käs, Marten Flaig, Lukas Woyke, Osmanalp Ömeroğlu, Felix Krueckel, Onur Alp Çulha, Bastian Leibe
任务设定
研究人体姿态估计在太空环境中的失效模式
痛点动机
微重力、遮挡等太空场景下姿态估计鲁棒性缺乏量化数据
解决方案
构建 53 段标注宇航员视频数据集,对检测与姿态估计模型做零样本失效分析
22
Jiahang Liu, Wenbo Zhang, Junsong Wang, Zhenzhi Ying, Siqi Hou, Naohiko Sugita, Liming Shu
任务设定
连续估计手部关节角度,用于机器人示教数据采集
痛点动机
单一视觉或表面肌电信号在不同条件下估计不够可靠
解决方案
提出 DoF-Query Transformer,为每个关节自由度分配查询,自适应融合第一视角 RGB 与前臂高密度 sEMG
23
Jianglong Ye, Xuanbin Peng, Conor Mc Gartoll, Changwei Jing, Lai Wei, Jiali Chen, Xueyan Zou, Xiaolong Wang
任务设定
面向机器人学习的可微分优化加速工具包
痛点动机
现有任务专用求解器速度慢,难以与策略学习/强化学习集成
解决方案
RoboKit 提供 GPU 并行多种子求解器,加速碰撞检测、渲染与仿真,并支持蒸馏为策略或用于 RL 训练
24
Zhuoyue Zhang, Jian Liu, Jihua Zhu, Ajmal Saeed Mian
任务设定
点云视频自监督预训练中的信息泄露问题
痛点动机
掩码建模易暴露目标位置,预测退化为简单补全而非预测
解决方案
提出潜在世界模型 PointWM,仅用历史帧预测未来特征与几何,并用无监督隐动作建模不确定性
25
Donghyeon Soon, Jiil Yoon, Hyeondong Kim, Daehee Park
任务设定
杂乱 3D 场景中人体运动预测的目标模糊问题
痛点动机
相同观测运动可能对应不同交互目标,现有方法依赖难获取的注视信号
解决方案
提出场景锚定交互先验 SGIP,训练时用 LLM 教师蒸馏学生模型,推理时仅凭观测运动和 3D 场景预测交互位置并指导轨迹与姿态
26
Nikos Theodoridis, Reenu Mohandas, Sushil Sharma, Ciarán Hogan, Ganesh Sistu, Anthony Scanlan, Tim Brophy, Ciarán Eising
任务设定
评测自动驾驶 VLA 与世界动作模型对突发危险的反应能力
痛点动机
现有驾驶基准多为常规场景,难以检验长尾避险反应
解决方案
构建像素级反事实场景基准,发现模型反应普遍微弱,微调后显著改善并可泛化
27
Hanbo Zhang, Lianlei Shan, Liuhaichen Yang, Zezhi Tang
任务设定
为 VLA 策略设计测试时多候选动作扩展方法
痛点动机
同一解码器重采样的候选仅有噪声差异,扩展收益迅速饱和
解决方案
提出 PlanDiv :轻量规划器生成多个潜在计划,扩散头按计划解码后择优执行
28
Sen Shen, Ning Liu, Xiangrui Kong, Yingwei Li, Dongkun Han
任务设定
学习与人类驾驶员社会兼容的自动驾驶交互策略
痛点动机
想象中的交互结果与真实执行反馈之间存在偏差
解决方案
提出世界模型强化学习框架,用真实交互反馈校准价值函数与策略
29
Shuning Zhang, Shuli Zhang, Yunheng Wang, Wei Lu, Jiaxi Zhang, Yihang Kang, Tao Wang, Xiangyu Chen, Yixiao Feng, Kai Sheng, Renjing Xu
任务设定
智能体在具身导航中完成目标物体搜索
痛点动机
执行失败和推理延迟下难以保持目标与证据一致
解决方案
提出事件驱动验证机制结合证据记忆与有界执行,在四足机器人上提升导航成功率
30
Chenhao Ding, Jizhou Han, Lixin Xiu, Muyao Wang, Songlin Dong, Hideki Nakayama
任务设定
在线视觉-语言导航中实现持续策略适应
痛点动机
历史成功/失败反馈未被有效复用,适应效率低
解决方案
提出成功-失败记忆存储并检索经验,用先验锚定适应强化成功、抑制失败轨迹
31
Jiajun Sun, Zeyu Zhang, Zeyu Ren, Guangfeng Jiang, Yang Zhao, Hao Tang
任务设定
全景式驾驶场景的 4D 世界模型生成任务
痛点动机
多相机视频拼接易导致视角不连续、画面不一致
解决方案
将六路相机拼成 360° 全景带,用因果扩散模型分步生成并以 3D 高斯泼溅重建 4D 场景
32
Mi Luo, Lijun Yu, Adams Wei Yu, Ang Cao, Baochen Sun, Ming-Hsuan Yang, Nan Hua, Yuan Hao, Alex Dimakis, Ya Xu, Ed H. Chi, Xuezhi Wang, Yinxiao Liu
任务设定
评测视频世界模型能否真正学到物理世界状态
痛点动机
模型可能只学会画面合理,而非理解物理状态的真实变化
解决方案
提出 FlipTest 反事实配对测试基准,发现 11 个视频世界模型均不如随机猜测
33
Rongxin Gao, Dongxuan Liu, Chu Li, Chengyang Ji, Jialing Huang, Runyu Chen, Kairun Wen, Chenxin Li, Jingrui Ye, Haosong Zhen, Xinghao Ding, Yue Huang, Yuzhi Huang, Xiaodong Tu, Jingyan Jiang
任务设定
单目视频的 4D 动态空间推理与未来预测
痛点动机
现有方法只懂已观测动态,难以预测观测边界外的未来变化
解决方案
提出 Pros4D,将动态压缩为隐空间状态并自回归滚动预测,结合 4D 几何对齐监督
34
Jiarui Dong, Zhiheng Liang, Yanjun Li, Zeyu Zhang, Heejeong Nam, Haoyu Chen, Hao Tang
任务设定
基于 JEPA 世界模型的机器人 4D 点云感知与规划
痛点动机
2D 图像几何信息与外观纠缠,且世界模型的想象内容难以验证
解决方案
提出 JEPA4R,在点云隐空间预测规划,解码可视化 4D 想象,策略零样本迁移真实机械臂
35
Abhinav Gupta, Nissan Pow
任务设定
评估流匹配世界动作模型中缓存复用能否提升机器人策略效率
痛点动机
跨周期缓存是否真比直接减少去噪步数更快更可靠尚不明确
解决方案
在 6B 参数的 Fast-WAM 上对比发现两步去噪已媲美十步,而缓存机制节省有限且成功率明显更低
36
Aarav Srivastava, Vishwas Sathish, Rajesh P. N. Rao
任务设定
控制变量研究视觉变化对物体导航智能体的影响
痛点动机
以往评测同时改变多因素,难以定位失败原因
解决方案
在 ProcTHOR 房屋中逐一控制视觉因素,基于 DINOv2 冻结特征的模型型智能体最鲁棒
37
Nhat-Quynh Le-Pham, Khoi Nguyen, Binh-Son Hua
任务设定
针对 3D 高斯泼溅场景的开放词汇 3D 实例分割
痛点动机
现有方法依赖昂贵预处理和冗长训练,难以快速轻量部署
解决方案
用密集像素级 CLIP 特征定位目标区域,借视频分割器跨视角传播,再通过可见性投票提升为 3D 掩码,全程无需训练
38
Yinghao Li, WeiHsien Lee, Zeyu Zhang, Canyang Zhao, Ke Fang, Xing Li, Bing Liu
任务设定
用神经意图信号驱动机械臂完成具身抓取任务
痛点动机
传统脑机接口需全程神经操控每个动作,负担重
解决方案
仅读取一次运动皮层信号作为持久意图 token ,交由视觉运动策略闭环完成抓取
39
Ruizhe Xie, Honghua Chen, Binglin Wang, Tong Guo, Xu Tang, Puti Yan, Shaoxiong Cai
任务设定
视觉语言导航中加速动作生成推理速度
痛点动机
自回归逐步生成动作使机器人等待延迟高
解决方案
免训练并行解码整个动作前缀树,按置信度 margin 自适应选择执行深度
40
Gaytri Jena, Kapil Wanaskar, Aman Chadha, Vasu Sharma, Vinija Jain, Amitava Das
任务设定
诊断具身智能体在长程医院任务链中为何失败
痛点动机
现有基准只看最终成败,难以定位长链任务的失败环节
解决方案
在 Isaac Sim 医院场景构建含因果任务链的诊断基准,记录失败点、后续动作与位姿漂移
41
Bing He, Runze Wang, Fei Zha, Zhongyuan Wu, Ke Xu, Tao Zhuang, Yuxuan Xie, Zhongyuan Liu
任务设定
提出面向下一代游戏的交互中心式世界模型框架
痛点动机
现有游戏世界模型只把视频模型当渲染器,浪费生成能力
解决方案
引擎保留规则状态,视频模型生成画面与交互细节,实现玩法与视觉解耦
42
Tao An, Weihang Liang, Tianqi Wang, Chuqing Cao, Wenming Tan, Kai Zhang, Haibo Lei, Tao Xie, Lijun Zhao, Ruifeng Li
任务设定
提出世界-动作模型实现目标导向动作生成
痛点动机
候选动作搜索计算开销大,如何用预测引导生成仍是难题
解决方案
WA-JEPA 结合动作生成与潜空间预测,用目标差异和未来场景反馈迭代修正动作提案
43
Alba Maria Tellez Fernandez
任务设定
研究冻结机器人策略部署时如何分配推理算力
痛点动机
动作块精化与重新规划频率的权衡尚不明确
解决方案
对比增加去噪步数精化动作块与提高重规划频率两种方式,用 SmolVLA 在 LIBERO 中验证
44
Yanbin Xu, Ming bo Cai
任务设定
评估视频世界模型对物理违规事件的局部化感知能力
痛点动机
传统 VOE 指标全局聚合误差,无法确认模型是否在违规发生处真正察觉异常
解决方案
提出局部化 VOE 评估框架,在违规发生的时空区域内比较预测误差,应用于 V-JEPA 模型分析
45
Yufan Deng, Lorenza Prospero, Christian Rupprecht
任务设定
近距离人体交互场景下的人体网格恢复
痛点动机
真实数据采集昂贵,合成数据缺乏物理接触标注
解决方案
物理仿真生成 SMPL-X 交互数据集 CISyn ,配合不确定性感知损失优化遮挡区域训练
46
Mohamed Salim Aissi, Olivier Sigaud, Laure Soulier, Nicolas Thome
任务设定
恢复 VLA 模型微调后退化的视觉语言能力
痛点动机
微调 VLM 得到 VLA 会引发灾难性遗忘,损害语义理解
解决方案
对任务向量做 SVD 分解并学习混合系数,合并 VLA 与 VLM 参数兼顾两种能力
47
Meituan LongCat Team, Xunliang Cai, Yiqi Chen, Feng Gao, Xiaoyu Kong, Le Li, Hongyu Liu, Xiaoming Wei, Tianyu Yang, Yong Zhang, Sijie Zhao
任务设定
音频驱动数字人视频生成
痛点动机
长视频生成误差累积,导致唇动夸张、表情不自然
解决方案
结合强化学习与改进的少步蒸馏,提升表情自然度并支持 10 分钟以上长视频
48
Abu Anas Ibn Samad
任务设定
研究 System-1 世界模型驱动的机械臂推物动作规划
痛点动机
坐标系选择与解码方式如何影响决策质量尚不明确
解决方案
用物体中心坐标系配合单步解码,大幅降低决策遗憾值和延迟
49
Jinjie Xie, Baihua Li, Qinggang Meng
任务设定
机器人重访场景,检测物体增减/移动变化
痛点动机
VLM 难以判断物体是否仍在原处,误报漏报多
解决方案
用 3D 几何配准定位候选变化点, VLM 结合全局-局部视图验证物体是否仍在原位
50
Delin Zhao, Zhengrong Yue, Junlin He, Yali Wang
任务设定
机器人技能与执行策略的持续自我改进
痛点动机
固定练习场景无法针对性暴露智能体当前弱点
解决方案
提出对抗协同进化框架,课程生成与执行修正模块交替更新,基于冻结基础模型自动扩展能力
51
Jinquan Zhang, Run Yang, Dongfu Yin, Qiang Lai, Yufeng Yan, Pengshuai Yin, F. Richard Yu
任务设定
为机器人操作用 VLA 策略设计跨任务对抗防御
痛点动机
现有防御需对每个新任务单独做对抗微调,难迁移
解决方案
提出 SN-TRV ,融合多个源任务防御更新的方向与幅度,无需目标任务对抗数据即可提升视觉编码器鲁棒性
52
Xiang Zhang, Xiangyu Dong, Yang Lu, Xiaoguang Ma
任务设定
面向无人机的高效视觉-语言导航(VLN)
痛点动机
现有 VLN 模型存储与推理开销大,难以轻量化部署
解决方案
提出 ARC-VLN ,对视觉 token 做自适应提前退出递归计算,降低开销同时保持导航精度
53
Jie Li, Muxin Pu, Hongyi Cai, Mingkang Dong, Jianyuan Guo, Tao Huang
任务设定
提升人体视频生成中运动与外观的一致性
痛点动机
生成动作复杂时人体结构会逐渐形变、外观漂移
解决方案
把初始动作当假设来精炼,渲染成 3D 网格和深度图反哺生成,提升运动一致性与身份保持