1
Gaoyue Zhou, Yvonne Wu, Zichen Jeff Cui, Nicolas Ballas, Mido Assran, Lerrel Pinto, Yann LeCun
任务设定
具身智能体长时序导航与操作任务的分层规划
痛点动机
长程任务误差易累积,现有分层方法表征僵化、控制不精细
解决方案
提出 ID-WM 分层世界模型:高层采样可达子目标,低层用逆动力学求解精确动作
2
Shengguang Wu, Suning Huang, Cherie Ho, Ria Doshi, Hao Zhu, Serena Yeung-Levy
任务设定
自动化设计机器人操作用的智能体控制框架(harness)
痛点动机
传统 harness 需针对每个新机器人、新任务手动重新设计
解决方案
编码模型观察轨迹诊断失败并迭代进化 harness ,积累持久记忆复用经验
3
Juntao Cheng, Jinzhou Tang, Fan Feng, Henrik I. Christensen, Yujia Zheng
任务设定
分析世界动作模型(WAM)中动作的真正因果来源
痛点动机
现有 WAM 易将动作相关变量与无关变量纠缠,难以保证动作可解释
解决方案
在预训练 WAM 动作头加入稀疏路由约束,分离动作因果变量与场景预测
4
Gyeongjin Kang, Freeman Cheng, Botao Ye, Weijie Lyu, Ming-Hsuan Yang, Eunbyung Park
任务设定
从无位姿图像中自监督学习 3D 场景几何(深度/相机位姿)
痛点动机
现有方法在输入空间构造不对称性,限制了几何估计精度
解决方案
改为在 3D 表示空间施加不对称性,并对齐稀疏/密集视角特征提升几何精度
5
Pengfei Zhou, Yixing Ma, Zhengfeiyang Zhang, Haoyuan Chen, Zhenglin Wan, Hexin Wang, Wangbo Zhao, Yang You
任务设定
具身系统中慢速推理大模型与快速控制策略的协同调度
痛点动机
调用大模型易卡顿快速执行,频繁触发又导致漏判静默失败
解决方案
提出 REA 统一运行时,靠路由记忆与升级阶梯机制让策略无需等待大脑决策
6
Jun Liu, Dajie Sun, Zhenglun Kong, Zhenjiang Fan, Peiyan Dong, Fan Yang, Wenbin Zhangg, Geng Yuan, Xue Lin, Yanzhi Wang, Dong Huang
任务设定
审计 世界动作模型 测试时搜索对机器人控制的真实收益
痛点动机
测试时扩展声称提升性能,但缺乏严谨审计验证
解决方案
在 Cosmos Policy 与 RoboCasa 上系统审计候选选择、计算效率及仿真器完整性,发现实际收益有限
7
Lorenzo Mazza, Ariel Rodriguez, Stefanie Speidel
任务设定
面向 具身手术 AI 的多模态数据采集与整理工具
痛点动机
手术机器人数据采集成本高、难复现、依赖硬件配置
解决方案
开源库 Sensorium ,基于 ROS/ROS2 实现数据记录、标注与 episodic 数据集生成
8
Wendong Bu, Tinghong Ye, Qizhou Wang, Jiacheng Li, Zhiqi Ge, Yuze Lin, Zhongqi Yue, Yi Su, Jingyu Wang, Kai Shen, Jingdong Liu, Chengyuan Deng, Xiaoxuan Chen, Xin Tan, Jiaming Ji, Wenqiao Zhang, Chenghong Jiang, Tuoyu Li, Siliang Tang, Jun Xiao, Tat-Seng Chua, Yueting Zhuang, Xingxing Wang, Juncheng Li
任务设定
从海量人类视频构建人形机器人运动基础模型
痛点动机
可执行机器人运动数据稀缺,难支持多模态实时闭环控制
解决方案
构建 Movens-5M 数据集与理解-生成-执行架构 Movens-Zero ,用 flow-matching 联合训练动作专家,支持文本/语音/音乐/视频驱动的实时闭环运动生成
9
Siqi Li, Ziyi Bai, Xinrun Xu, Tinglei Huang, Börje F. Karlsson
任务设定
综述具身智能体的记忆机制与评测基准
痛点动机
智能体需保留历史信息才能应对动态环境决策
解决方案
按六类记忆需求与八类架构系统梳理现有方法
10
Minsu Jang, Jae-Woo Choi, Youngwoo Yoon, Dohyung Kim
任务设定
检验 VLA 策略在指令缺失/无效时是否会误动作
痛点动机
机器人应只响应明确指令,擅自动作存在安全隐患
解决方案
测试 6 个模型均出现误动作,评估前缀提示、门控机制、微调等抑制方法
11
Fan Zhu, Zhisong Xu, Ziyu Chen, Zhenjun Zhao, Takayuki Okatani
任务设定
基于高斯 SLAM 的室内场景在线重建
痛点动机
弱纹理大平面场景下易出现位姿漂移、表面模糊
解决方案
用 Atlanta World 先验提取点线结构约束,结合隐式高斯填充细节
12
Haesung Lee, Insu Han
任务设定
机器人 VLA 模型的超低比特权重量化压缩
痛点动机
现有 PTQ 方法未考虑动作误差,极低比特下性能下降明显
解决方案
提出结构感知码本量化,按动作敏感度分配比特并做二阶校准
13
Mohammed Aman Bhuiyan, Md. Sazzad Hossain Adib, Samiul Basir Bhuiyan, Mir Faiyaz Hossain, Syed Mohammed Shamsul Islam, Md Zakir Hossain, Shafin Rahman
任务设定
第一视角视频流中的在线时序动作定位
痛点动机
在线场景看不到未来帧,长短时序信息难以兼顾
解决方案
提出双尺度时序编码器与高斯记忆库,联合建模局部与长程动作依赖
14
Haifa Zhang, Yijing Wang, Zhiqiang Zuo
任务设定
研究执行器退化下的机器人强化学习控制
痛点动机
现有方法依赖离散故障标签,难建模连续关节健康退化
解决方案
用 HealthNet 估计每个关节健康向量,让策略在健康与退化关节间重新分配控制力矩
15
Kehong Gong, Xiaoxu Zheng, Guanli Hou, Seunghun Lee, Mengqi Guo, Runjia Tan, Zhengyu Wen, Qi Wang, Xiaoyu He, Mingyuan Zhang, Michael Bi Mi
任务设定
将大模型操作智能体的脚手架改进迁移到小型通用智能体
痛点动机
大模型推理成本高,小智能体难独立获得同等脚手架增益
解决方案
先用递归自我改进优化教师脚手架,再蒸馏出 4B 小模型
16
Eadom Dessalene, Michael Maynord, Amir-Hossein Shahidzadeh, Botao He, Yasamin Tabatabaee, Ruoshi Liu, Ruohan Gao, Paul Pu Liang, Yiannis Aloimonos
任务设定
构建自我中心视频-EMG 配对数据集以理解手部动作
痛点动机
视觉模型缺乏运动的肌电信号监督,人工标注代价高且易受遮挡影响
解决方案
用视频与 EMG 做跨模态预训练实现感觉运动对齐,提升 3D 手部与接触重建等任务效果
17
Guangyu Zhao, Yongchang Zhang, Haoxuan Ru, Kaichen He, Haoran Wen, Kun Zhan, Zeyu Zhang, Yin Li, Yiwu Zhong
任务设定
VLA 模型机器人操作中的动作表征问题
痛点动机
后期层动作表征逐渐丢失视觉定位信息
解决方案
提出 STAR ,免训练地用早期层视觉线索滑动平均修正动作表征,并按本体感觉自适应调节
18
Xinmu Wang, Fumi Honda, Xiang Gao, Xianfeng Gu, Xiyun Song, Heather Yu
任务设定
语音驱动的全身人体动作生成(面部+手部+肢体)
痛点动机
异构部位动态与长程时序一致性难以兼顾
解决方案
提出 TalkFlow ,用结构化潜在流匹配分三路建模上下肢与面部,并引入跨流交互保持整体协调
19
Zeping Zhang, Zhuoya Zhao, Robert Laganière
任务设定
实时预测自动驾驶场景的 4D 占据栅格
痛点动机
现有占据世界模型精度高但算力需求大,难实时部署
解决方案
用雷达引导的动态先验分解运动,结合轻量状态空间模型实现实时推理
20
Zeping Zhang, Zhuoya Zhao, Robert Laganière
任务设定
减少自动驾驶视觉世界模型的图像 token 数量
痛点动机
大量图像 token 多为无关背景,稀释规划注意力
解决方案
用 LiDAR 点云投影筛选关键 token ,驱动稀疏潜在世界模型预测未来
21
Mingzhi Pei, Zhangchen Ye, Ruoqu Chen, Liu Cao, Mengdi Xu
任务设定
从第一视角视频在线重建 4D 手部-场景交互
痛点动机
现有方法难以联合恢复场景几何与交互信息
解决方案
用前馈式循环场景表征融合 MANO 先验,联合预测相机、场景、双手与逐顶点接触
22
Ammar N. Abbas, Aayush Jain, Prashanth Viswanath, Nivesh Gadipudi, Giulia Vilone, Jim Gibbons
任务设定
评估模仿学习策略在灵巧机械手操作中的表现
痛点动机
验证损失与真实机器人成功率不一致,设计选择不明
解决方案
通过 281 个策略、约 1700 次真实实验,发现点云裁剪和绝对动作预测等表征设计是关键