1
Tianqi Liu, Hanfei Zhao, Qifeng Liang, Hui En Pang, Jiarui Xu, Sayang Mu, Penghao Qiu, YingSheng Zhang, Jun Wang, Ziang Cao, Mingze Sun, Yukang Cao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu
任务设定
构建跨人类与机器人的移动操作世界模型
痛点动机
异构动作空间和多模态监督不足,联合建模移动与操作很困难
解决方案
用统一运动学表征(相机位姿+投影骨架)编码,结合万小时第一视角人类数据预训练
2
Zekai Li, Jiayi Yu, Jinlu Zhang, Luyang Niu, Zekun Qi, Jun Zheng, Xuchuan Chen, Dairu Liu, Yintianrun Zhang, He Wang, Li Yi
任务设定
研究 VLM 智能体在物理操作任务中的递归自我提升
痛点动机
单一榜单分数相近的智能体,提升能力来源却差异很大
解决方案
提出五轴评测 PhysRSI-eval 及物理木桶假说,并做工作空间干预分析
3
Jiaxin Ge, Junyi Zhang, Tianning Chai, Hanjun Yoo, Chenyang Wang, Xiuyu Li, Weijia Shi, XuDong Wang, Sewon Min, Luke Zettlemoyer, Trevor Darrell, Haiwen Feng
任务设定
训练智能体在行动前先想象结果再决策
痛点动机
环境反馈稀疏或动作不可逆时,直接执行容易犯错
解决方案
用单一全模态模型统一策略与世界建模,SFT 加强化学习学会利用想象规划
4
Heejeong Nam, Divyat Mahajan, Quentin Le Lidec, Randall Balestriero, David Klindt
任务设定
评估世界模型在专家轨迹之外的组合泛化能力
痛点动机
现有研究忽视数据覆盖度与动力学泛化、规划效果间的关系
解决方案
提出 AnyGoal 基准,测试目标偏移下状态-动作重组的预测与规划表现
5
Yude Zou, Yifei Yao, Guanbo Jiao, Jianming Ma, Guanjie Zheng, Xing Gao
任务设定
提升 世界动作模型 对视觉扰动的鲁棒性
痛点动机
视频预测保留外观信息,但动作生成未显式约束外观不变性
解决方案
提出 跨外观自对齐 任务,用 EMA 教师引导扰动观测对齐动作表征
6
Chan Yan Ki, Yanran Zhang, Wenzhao Zheng, Xiaofeng Wang, Zheng Zhu, Lei Chen, Jie Zhou, Jiwen Lu
任务设定
让视频世界模型支持隐藏状态下的规则驱动交互
痛点动机
现有世界模型仅能生成运镜视频,无法保证动作遵循依赖隐藏状态的规则
解决方案
提出 Stateful Harness 框架,分离世界状态演化与视频渲染,逐轮渲染并更新状态
7
Ruicheng Li, Qixiu Li, Yu Deng, Sicheng Xu, Jiaolong Yang, Baining Guo
任务设定
从第一视角视频联合恢复双手与相机运动轨迹
痛点动机
现有流程分阶段估计手部与相机运动,环节繁琐且误差累积
解决方案
基于自监督 V-JEPA 2.1 编码器的前馈模型,单次前向联合预测手部姿态与相机运动
8
Shiyun Xiong, Dongming Wu, Peiwen Sun, Bokang Yang, Jiaxu Wang, Xiaolou Sun, Mingxing Wen, Xiangyu Yue
任务设定
构建支持多种物理感知模态的统一具身 MLLM
痛点动机
现有具身 MLLM 感知局限于视觉和音频,难以融合深度、触觉等传感信号
解决方案
两阶段训练:先对齐各模态表征与语言,再用模态专家在共享 LLM 中微调
9
Zhaoxi Zhang, Hao Liang, Linxuan Wu, Yiming Wu, Yifu Yuan, Kun Liang, Chenming Tang, Meiyi Qiang, Wentao Zhang, Weikang Li
任务设定
评测 VLM 智能体主动探索并构建 3D 场景地图的能力
痛点动机
空间问答难验证模型能否建出精确度量地图
解决方案
提出 SpatialScout 基准,智能体控制相机探索室内场景,定位物体中心并评估覆盖度与精度
10
Shashwat Saxena, Mehul Goel, Sreyas Venkataraman, Sarvesh Patil, Max Simchowitz
任务设定
长时序机器人操作任务的策略学习
痛点动机
子目标选择在部署时成本高、不便
解决方案
训练单一策略最大化多子目标 critic 值线性组合,无需部署时选子目标
11
Xinhao Ji, Hui En Pang, Hao Li, Kairui Hu, Jiner Wang, Mingze Sun, Ziang Cao, Yalun Dai, Thang Luu, Qin Ma, Hongyi Chen, Yukang Cao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu
任务设定
从第一人称视频联合重建相机、场景与手物交互
痛点动机
缺乏联合重建与一致监督的数据和方法
解决方案
构建 EgoX-Engine 自动标注引擎与 EgoX-Data-6M 数据集,单次前向联合重建相机-场景-手-物体
12
Tong Zhao, Zhiyuan Han, Lin Chen, Bowen Xie, Yunxi Qiao, Bohan Li, Weiqing Xiao, Gen Li, Shu Han, Xuyang Dai, Cheng Bi, Hao Zhao, Chaojian Li
任务设定
从生成式驾驶视频前馈重建 4D 高斯场景
痛点动机
现有方法需逐场景优化重建,成本高
解决方案
提出 Drive2Gauss ,联合生成 RGB/深度/光流后用高斯查询解码器单次前向重建
13
Junhan Xue, Rolandos Alexandros Potamias
任务设定
单目图像估计手部密集触觉接触信息
痛点动机
现有方法手背误判多、精度不足,缺统一框架
解决方案
提出 DenseHap 统一端到端模型,同时输出距离场、接触检测、压力分析与手部重建
14
Tianyu Xin, Wanqi Zhong, Bowen Hu, Zhangchi Guo, Lijie Wang, Yiming Wang, Haoran Liao, Heyang Yu, Xiaoyu Tian, Zhiding Yu, Yiming Li
任务设定
世界动作模型(WAM)状态表征的解耦建模
痛点动机
现有 WAM 将外观语义与物理状态纠缠在隐表征中
解决方案
提出 PrismWAM ,分语义规划→深度空间物理推演→可执行动作三阶段
15
Mai Liu, He Sun, Siru Zhong, Kerun Chen, Hao Yan, Xiaohui Lv, Shuai Tao, Wulong Liu
任务设定
具身智能体长时程长期记忆构建与演化
痛点动机
固定记忆规则易出错,存储检索成本随时间增长
解决方案
提出 BetaMem 六层记忆架构,结合 SFT 与 RL 的双层写约束训练记忆操作
16
Hao Li, Xiyuan Zheng, Yuanyuan Gao, Yalun Dai, Xinhao Ji, Xuan-Li Chen, Jing Zhao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu
任务设定
基于人类第一人称经验构建整体世界智能
痛点动机
大规模第一人称数据缺乏场景-语义-交互统一标注
解决方案
构建 HOLI-WORLD 生态,自动生成世界记录训练 HOLIWORLD-VL-4B 提升时空理解
17
Shuyuan Hu, Deng-Ke Wu, Yifan Jin, Qianhang Luo, Mingchen Ju, Kai Ye, Bo Zhao
任务设定
双臂机器人模仿学习中的跨臂调度耦合问题
痛点动机
策略把双臂演示中偶然的时序安排误学为任务约束
解决方案
提出 CTR 时序重组方法,保留动作内容重排时序,训练扩散策略等模型更鲁棒
18
Shenli Zheng, Zhou Fang, Yuan Du, Yijiang Liu, Li Du
任务设定
压缩视觉-语言-动作模型以降低机器人推理成本
痛点动机
激进压缩会严重损害机器人操作成功率
解决方案
提出 SPAR ,剪枝 LLM 骨干后用强化学习恢复策略性能,推理提速近 2 倍
19
Zechen Wang, Zhenqi Qiu, Houlong Xiong, Suohang Zhang, Yiyu Ren, Wanting Xu, Hongfei Niu, Chengyang He, Ge Sun, Ran Cheng, Qian Zhu
任务设定
从含失败重试的混合质量数据中学习操作策略
痛点动机
现有条件信号构造粗糙、注入方式弱,优势信息利用不充分
解决方案
提出 ALIGN ,直接预测类别化条件并通过 AdaRMS 调制注入动作专家
20
Song-Li Wu, Chubin Zhang, Wenbo Ding, Yansong Tang
任务设定
机器人自主摄影的视觉-语言-动作建模
痛点动机
需理解拍摄意图、规划相机运动并兼顾美学效果
解决方案
提出 RoboPhoto-VLA 框架,结合 PhotoCoT 规划与美学偏好优化对齐人类审美
21
Tom Wehrbein, Bodo Rosenhahn
任务设定
单目视频中恢复人体手脚精细运动
痛点动机
共享全身表征弱化了手脚局部证据细节
解决方案
提出 ExMR ,用 FootMR 和 HandMR 模块结合局部特征细化手脚关节旋转
22
Xiang Kaibo, Liu Qingfeng
任务设定
在分层世界模型中学习目标条件的子目标生成
痛点动机
上层规划器需反复求导候选宏动作轨迹,代价高昂
解决方案
冻结高层预测器,训练轻量目标条件网络替代搜索生成子目标,推理提速 1.3~4.4 倍
23
Chenyan Zheng, Fan Wu, Ruibo Li, Jiaxing Li, Minghao Yang, Bang Zhang, Guosheng Lin
任务设定
视频生成模型存在物理幻觉,影响作为世界模拟器的可靠性
痛点动机
现有方法缺乏统一的风险分解框架来解释原因
解决方案
提出双风险框架区分采样风险与漂移风险,设计 HA-Sampler 引导生成更合理视频。
24
Hojin Jeon, Jimin Lee, Taekwan Kim, Nayoung Oh, Taeyoung Kim, Myungkyu Koo, Jinmo Koo, Joonwoo Ahn, Jinwoo Shin
任务设定
VLA 机器人操作中的时序动作执行效率问题
痛点动机
统一动作量化粒度在精细操作阶段会丢失关键细节
解决方案
提出 PaceVLA ,共享动作专家支持多粒度解码,按场景难度自适应切换执行模式
25
Hyeongjin Nam, Taeryung Lee, Daniel Sungho Jung, Kyoung Mu Lee
任务设定
从单目视频联合重建人-物交互的 4D 动态场景
痛点动机
单视角遮挡和多阶段交互使重建不完整、不连贯
解决方案
按语义分割交互阶段,结合扩散先验做交互感知重渲染补全多视角信息
26
X. Feng, J. Tang, Z. Lin, L. Chen, S. Shao, Q. Lu, K. Huang
任务设定
构建开放世界具身智能体的规划数据集与交互基准
痛点动机
现有智能体难泛化到新场景,真实交互环境搭建成本高
解决方案
发布 20 万级数据集 EmbodiedWorld-200K ,用视频世界模型作低成本环境代理做强化学习
27
Peiran Xu, Yixiang Yang, Jinghan Li, Fei Li, Cao Sheng, JiaZhong Yu, Yadong Mu
任务设定
具身智能体需把复杂指令拆解为原子动作完成任务
痛点动机
LLM 生成计划可执行性不足,经典搜索依赖完全可观测环境
解决方案
借助 LLM 常识引导搜索算法,构建规则世界模拟器并剪枝提升规划效率
28
Feiyang Hong, Yujie Wei, Bo Zhao, Xiu Su, Hongxun Yao, Shuo Yang
任务设定
机器人操作中利用多帧历史视觉信息辅助动作决策
痛点动机
扩大历史窗口计算成本高,且信息冗余、采样不灵活
解决方案
提出 CondenseVLA ,用可学习查询把历史特征压缩为固定 slot tokens 并去冗余
29
Lingsen Zhang, Wei Li, Jie He, Henghua Zhang, Kai Mo, Shiyong Li, Yanpeng Wang, Rui Shao
任务设定
机器人操作中的视觉-语言-动作建模
痛点动机
完整预测未来状态会浪费容量在无关静态细节上
解决方案
提出 Delta 变量压缩任务相关状态变化,用 LT-Filter/GT-Anchor 学习,引导动作去噪
30
Zhiyang Deng, Yuzhe Wu, Zijun Lin, Yeying Jin
任务设定
平面摄像机游戏世界模型的动作控制
痛点动机
动作作为特征条件难保证空间一致性,画面易漂移
解决方案
提出 ActionRoPE 将动作转为世界坐标旋转位置编码,配合坐标条件去噪调度
31
S M Asif Hossain, Ruksat Khan Shayoni, Md Kishor Morol
任务设定
开放词汇人-物交互检测的评测可靠性审查
痛点动机
类别匹配拒绝同义表达,语义评分又可能奖励错误动作
解决方案
提出五视角诊断协议,结合受控变换与盲审,分离匹配引擎与语义评分的影响
32
Jie Wang, Guang Li, Zhijian Huang, Jinlong Li, Chenxu Dang, Hangjun Ye, Yahong Han, Long Chen
任务设定
自动驾驶视觉-语言-动作(VLA)建模任务
痛点动机
稀疏监督让模型丢弃关键场景信息,影响驾驶安全
解决方案
提出 LECDrive ,用潜在专家认知链内化 DINOv3 等基础模型的稠密知识,再稀疏输出动作
33
Tung M. Luu, Tri Ton, Duc M. Nguyen, Xuan Thanh Nguyen, Nguyen Gia Binh, Quang Tan Nguyen, Vu Duong, Daniel Sonntag, Duy M. H. Nguyen, Vien Anh Ngo, Chang D. Yoo
任务设定
模仿学习中生成式控制策略的偏好对齐任务
痛点动机
偏好微调依赖昂贵人工标注,专家演示数据稀缺
解决方案
提出 PGPG ,用有序覆盖对齐衡量轨迹进度自动生成伪偏好标签来微调策略
34
Yian Zhao, Yu Yan, Hongcan Guo, Ruochong Zheng, Jian Zhang, Jie Chen
任务设定
让流式世界模型支持超长时域生成
痛点动机
短片段训练模型长时 滚动预测 会误差累积漂移
解决方案
用真实数据统计的 Fréchet 距离 约束自生成轨迹,联合微调模型与采样器
35
Jianheng Liu, Yunfei Wan, Fangming Cheng, Xiangyu Hong, Zuhao Zou, Haotian Li, Longji Yin, Chunran Zheng, Jiarong Lin, Fu Zhang
任务设定
面向机器人的大规模辐射场地图构建与渲染
痛点动机
机器人视角稀疏、相机位姿有误差且显存受限
解决方案
用 LiDAR 约束几何,稀疏体素+八叉树控制显存,联合优化相机参数
36
Tao Zhang, Senhe Zhang, Zeyu Zhang, Yujia Zhang, Dong Gong
任务设定
长时域 人体-场景交互 的动作规划与执行
痛点动机
现有方法缺乏闭环纠错,难以泛化到新场景和目标
解决方案
MLLM 做规划评估, MotionLLM 执行动作,记忆增强反思实现闭环纠错
37
Abteen Arab, Guile Wu, Dongfeng Bai
任务设定
多视角图像的高分辨率 3D 重建
痛点动机
现有几何 Transformer 处理高清输入时计算量剧增、精度下降
解决方案
将每个视角映射为固定数量的基础 token ,在紧凑空间中计算对应关系,再投影回原分辨率完成稠密预测
38
SM Mazharul Islam, Manfred Huber
任务设定
基于视觉观测学习世界模型用于连续控制策略
痛点动机
纯图像重建目标使表征偏向视觉保真,长时预测不稳
解决方案
训练时加入随机门控掩码制造部分可观测性,提升世界模型规划的鲁棒性与数据效率
39
Mingcong Ding, Babette Bühler, Tim Fütterer, Ulrich Trautwein, Enkelejda Kasneci
任务设定
零样本识别细粒度社交身体行为
痛点动机
VLM 缺乏身体结构先验,易混淆细微姿态差异
解决方案
用姿态先验监督训练轻量适配器,注入冻结 VLM ,推理无需姿态输入
40
Yong Wang, Kecheng Zheng, Xing Zhu, Chao Xu, Yujun Shen, Shengze Cai
任务设定
双手灵巧操作机器人仿真基准
痛点动机
现有基准难以系统评估灵巧操作能力
解决方案
构建 BiDex-100 基准,覆盖 106 个任务与 808 万帧遥操作演示数据
41
Zhongfei Qing, Xiaoxiang Zhao, Ling-Hao Chen, Zhongang Cai, Wenjia Wang, Yifan Wu, Qianying Liu, Wei Zeng, Bo Hu, Songnan Li
任务设定
单目视频驱动的龙类角色动作捕捉
痛点动机
龙类骨骼拓扑差异大,固定模板回归器难适用
解决方案
用语言引导关节查询 token 建立跨骨骼表征,零样本适配未见拓扑
42
Jaeseok Jeong, Kyungmook Choi, Sohyun Chung, Youngsik Yun, Youngjung Uh
任务设定
可控世界模拟中统一记忆与干预操作
痛点动机
物体运动与视角变化在控制指令中易产生歧义
解决方案
构建统一世界状态表征融合空间记忆与用户干预,解耦运动与相机轨迹
43
Jaehong Myung, Seungho Eum, Taegon Kim, Hyunjung Chung, Unsang Park
任务设定
语音驱动的 3D 人脸动画 生成
痛点动机
通用语音编码器与唇部动作未显式对齐
解决方案
用对比学习对齐语音与唇部网格特征,再通过交叉注意力融合进原语音表示
44
Kehan Lan, Kaining Ying, Henghui Ding, Kaipeng Zhang
任务设定
研究第一视角长视频中空间与事件的关联理解
痛点动机
长视频中空间与事件的关联推理仍具挑战
解决方案
提出 SENRI-Agent ,通过目标引导视觉核查构建工作记忆辅助推理
45
Jize Wang, Yongcheng Jing, Xinyi Le, Cailian Chen, Xinping Guan, Dacheng Tao
任务设定
研究 JEPA 类潜在世界模型的可解释性问题
痛点动机
潜在世界模型缺乏人类可理解的解释接口
解决方案
提出 Ground-Structure-Verify-Act 四阶段框架,推动从解码表征转向理解潜在世界动态
46
Yanchen Liu, Junyao Gao, Yanan Sun, Wensheng Chen, Guangming Lu, Wenjie Pei
任务设定
将参考视频中的动作迁移到新场景并保持物理合理性
痛点动机
现有动作迁移忽略动作与目标场景的物理兼容性
解决方案
用 LLM 规划轨迹、VLM 评估修正,实现免训练的场景自适应动作迁移
47
Jiaxi Jiang, Matthias Heyrman, René Zurbrügg, Marco Hutter, Christian Holz
任务设定
仅从视频估计人形机器人的全身关节姿态
痛点动机
机器人本体状态常因隐私或通信限制不可获取
解决方案
提出 HumanoidPose ,融合人体姿态先验与机器人运动学,并用自训练提升真实场景泛化
48
Yulin Dai, Yuqian Fu, Tianwen Qian, Zhen Xing, Bojia Zi, Xiaoling Wang
任务设定
将具身导航视频生成转化为 BEV 地图到视频合成任务
痛点动机
文本提示模糊、相机轨迹控制对人类不直观
解决方案
提出 Map2Vid 框架,用 BEV 地图统一控制信号并构建大规模导航数据集
49
Jingwen Bai, Guochao Bai, Canbo Zhang, Shuangqi Li, Minchao Hu, Weichun Huang, Shuang Liu
任务设定
让强模型离线编译可复用的机器人操作技能
痛点动机
每个新任务都靠示范数据或实时调用前沿模型,成本太高
解决方案
强模型在仿真中离线编写、测试并修复技能代码直至通过验证后冻结,之后可被低成本调用器直接复用执行
50
Sicheng He, Yi Pan, Qiuting Yu, Jiaming Huang, Qi Lu, Shuyan Wu, Hongyan Feng, Xuanyu Liu, Jun Zhang, Jie Zhang, Wenqi Zhang, Xuhong Zhang, Jianwei Yin
任务设定
加速 VLA 机器人策略的动作生成推理
痛点动机
丢弃未执行的动作尾造成去噪计算浪费
解决方案
复用动作尾,按置信度自适应分配去噪步数与重噪
51
Sen Fang, Liwei Che, Dimitris N. Metaxas
任务设定
交互式高分辨率手语数字人生成系统
痛点动机
现有手语虚拟人表情受限、身体形变不准、细节丢失
解决方案
用 4D 可变形基元渲染构建面部与身体虚拟肌肉层,测试时优化超分辨率细节
52
Riddhi Chatterjee, Ritish Shrirao, Kushagra Mehrotra, Viswanath Gopalakrishnan
任务设定
机器人目标条件操作中的目标图像生成
痛点动机
高编辑质量图像并非好的控制目标,长程任务上差距更明显
解决方案
提出 SGE-Goal ,先预测 2D 编辑区域掩码再合成目标图像,提升操作成功率
53
Zeyu Cao, Qingxuan Wu, Zhiyang Dou, Rui Xu, Yuan Liu, Javier Fernandez-Marques, Nicholas D. Lane, Taku Komura, Wenping Wang
任务设定
研究隐私约束下人体网格恢复 (HMR) 的训练与评估
痛点动机
集中式用户数据微调 HMR 存在隐私泄露风险
解决方案
用联邦学习基准评测,并提出 DePoser 本地标注微调方案,结合深度基础模型实现个性化
54
SeongJun Jeong, Junghyun Kim, Gi-Cheon Kang, Byoung-Tak Zhang
任务设定
评测 3D 场景中对话引导的具身智能体记忆
痛点动机
现有具身记忆仅靠视觉,难以关联人类对话信息
解决方案
提出 DialogMem 基准,用 RGB-D 观测与对话构建记忆,评估物体级导航与问答
55
Qijian Tian, Jiayu Ying, Ke Fan, Lizhuang Ma, Xin Tan
任务设定
赋予 VLM 主动探索 3D 场景的空间推理能力
痛点动机
被动 2D 视角限制 VLM 获取跨视角几何证据
解决方案
构建带位姿与语义的显式 3D 世界,让 VLM 多轮交互式探索,并用 强化学习 优化策略
56
Megh Shukla, Edo Collins, Prashanth Chandran, Karel Petránek, Sergio Orts-Escolano, Mathieu Salzmann, Alexandre Alahi
任务设定
将 3DMM 参数不确定性映射为逐顶点不确定性
痛点动机
传统采样/误差传播方法计算昂贵,难以实用
解决方案
提出闭式近似方法 CLUE ,以网格几何为先验,提升 人体网格恢复 精度与不确定性估计
57
Qibin Gu, Yunfeng Yan
任务设定
评估视觉动力学模型预测是否符合力学规律
痛点动机
视觉预测准确不代表运动遵循真实物理动力学
解决方案
用刚体闭链 SI 审计 拆解几何、力效与能量一致性,诊断 V-JEPA 等世界模型的物理合理性
58
Kevin Chen, Yu-Wei Zhan, Haoran Liang, Sen Cui, Changshui Zhang
任务设定
具身世界模型中的长时域动作条件预测
痛点动机
无约束潜动力学误差累积,长时域预测偏离物理规律
解决方案
提出 HWM ,用耗散哈密顿动力学结构化潜在相空间,减少能量漂移保持长期稳定
59
Deli Cai, Shuyang Xu, Zhiyang Dou, Zitong Lan, Mingmin Zhao, Changxing Ding, Taku Komura
任务设定
根据移动声源的动态空间音频生成人体动作
痛点动机
现有音频驱动动作方法忽略声源与听者间动态空间关系
解决方案
提出 MOMO 扩散框架,融合定位、理解与生成,从双耳音频估计声源方向驱动动作生成
60
Anupam Pani, Wang Yuan, Qifan Wang, Yanchao Yang
任务设定
构建带人类注视标注的多视角机器人操作数据集
痛点动机
现有数据集缺乏真实注视与多相机观测的配对标注
解决方案
采集操作员注视并迁移至多视角,软监督视觉-语言-动作策略的注意力训练,推理时无需注视
61
Yangzhi Chen, Feiran Liu, Zishuo Wang, Zijian Jin, Xin Zhu, Lecheng Ruan, Wenjuan Han
任务设定
零样本长时序机器人操作技能组合执行
痛点动机
单个技能组合使用时常因接口缺失或状态不匹配而失败
解决方案
用递归自改进框架持续修复共享执行栈中的工具与技能契约,复用已验证组件支持新任务组合
62
Chamuditha Jayanga Galappaththige, Jason Lai, Lloyd Windrim, Timothy Patten, Donald G. Dansereau, Niko Suenderhauf, Dimity Miller
任务设定
基于 3D 高斯场景地图的在线场景变化检测
痛点动机
在线检测需边观测边判断,历史重拟合开销大导致精度与速度难兼顾
解决方案
固定参考地图使变化场渲染为线性运算,用逐高斯两标量递归融合新观测,无需重播历史
63
unsu Kim, Naeun Kim, Dongyoon Han, Seungryul Baek
任务设定
对 4D 高斯人体化身进行语言查询的时空局部检索分割
痛点动机
相邻部位/服饰难区分,细粒度动作在 RGB 画面中易混淆
解决方案
免训练框架结合多模态大模型与几何算子,借助语义与运动记忆程序化定位区域和时间段
64
Yifei Zhao, Fanyu Zhao, Han Zhang, Yixuan Lin, Yuyang Hou, Bin Wu, Ruike Cao, Li Xiao, Yinsheng Li
任务设定
评估 3D 大语言模型场景问答是否真正依据 3D 证据
痛点动机
现有基准忽视指代歧义、证据不足等情况,掩盖模型回答是否真正有据可依
解决方案
提出 UNICORNS 基准与义务感知后训练方法 HORN ,用任务与义务奖励提升证据对齐回答
65
Mark Azer, Fabian B. Flohr
任务设定
仿真到真实驾驶视频中弱势道路使用者的姿态保真生成
痛点动机
现有方法把行人骑行者视为通用物体类别,忽略关节姿态与身份细节
解决方案
提出 Grounded Body Layers ,用像素级身体对应和精确掩码为视频扩散模型提供显式关节控制
66
Yuhong Zhang, Khanh An Nguyen, Xinyu Tian, KungYi Chang, Abraham Padua, Yuchen Xu, Ying Choon Wu, Gert Cauwenberghs, Tzyy-Ping Jung
任务设定
AI 眼镜视线追踪的隐式自适应校准
痛点动机
显式校准打断体验,设备偏移致精度漂移
解决方案
用 VLM 从第一视角 IMU、视线、手部信号中识别精确视觉关注事件作为伪校准目标,持续自适应更新
67
Wenqi Cai, Chunzhi Gu, Weichen Zhou, Yawen Zou, Yijin Wei, Ran Dong, Haoran Xie, Chao Zhang
任务设定
文本驱动生成 3D 人体-物体交互动作
痛点动机
骨骼表示难以显式建模接触几何,人物物体动作易不协调
解决方案
构建人体-物体关系的统一潜空间,用 MoT 自编码器联合建模并支持变长生成
68
Abhishek Naik, Michael Wu, Michael O'Sullivan, Colin Bellinger, Yunli Wang
任务设定
四足机器人通过强化学习学习穿越复杂地形
痛点动机
真实训练成本高,希望快速仿真后可靠迁移到真实世界
解决方案
仿真强化学习框架,单 GPU 训练 20 分钟后迁移至月面模拟地形行走
69
Hyunwoo Ryu, Eric Ming Chen, Max Wilcoxson, Vincent Sitzmann
任务设定
将视频生成模型的视觉规划转化为机器人动作
痛点动机
现有方法依赖大量人工动作标注,难以扩展到新任务
解决方案
提出自监督方法 Mirror ,通过环境交互自我改进视频到动作映射,无需专家数据或奖励
70
Dongzhihan Wang, Yi Du, Chen Wang, Xiuxian Li, Liang Xu
任务设定
视觉-语言导航中的长短时规划解耦
痛点动机
现有视频-动作模型未区分预测与反应的不同节奏
解决方案
提出双系统 HAVANA :慢系统生成语言条件潜在规划,快系统结合实时观测生成局部轨迹,推理时无需生成未来视频
71
Youngmin Kim, Seoyeong Hwang, Sujung Hong, Seong Jae Hwang
任务设定
从文本生成手语的躯干与手部动作
痛点动机
手部精细动作与躯干运动的时间分辨率和时长差异大
解决方案
提出多速率向量量化分离躯干双手 token ,配合时钟模块自适应分块并行去噪生成
72
Chengxiang Guo, Jian Wang, Lanmiao Liu, Zhan Tang, Junhua Fei, Xiao Li
任务设定
双人对话场景下的协同手势生成
痛点动机
现有方法难平衡稳定性与节奏响应,易抖动或趋于平均动作
解决方案
基于对比流匹配框架,用脉冲-趋势协同注意力解耦动作时机与幅度
73
Sungsu Kim, Vineet Bhat, Prashanth Krishnamurthy, Ramesh Karri, Farshad Khorrami
任务设定
杂乱场景下的开放词汇机器人抓取
痛点动机
现实环境杂乱,需要多步规划、执行与重新规划
解决方案
VLM 智能体编排检测、分割、抓取与推动等技能,结合历史记忆完成长程抓取
74
Junhua Huang, Zhizheng Liu, Honglin He, Xiang Zhang, Bolei Zhou
任务设定
面向电动轮椅的户外人行道长程自主导航
痛点动机
户外导航硬件昂贵,轮椅专用数据稀缺难以泛化
解决方案
三阶段数据金字塔:跨具身预训练叠加少量轮椅演示,再用用户干预个性化微调
75
Yanbo Wang, Nan Lin, Wendelin Böhmer, Javier Alonso-Mora
任务设定
学习紧凑潜在状态的视觉世界模型用于规划
痛点动机
纯预测目标易导致表征坍塌,直接用预训练特征又锁死状态空间
解决方案
将预训练视觉特征(DINO)仅作蒸馏教师,学习动作条件的紧凑潜在空间供规划使用
76
Shenyi Li, Ziyang Zhang, Wen Wu, Ming Liu, Chao Zhang
任务设定
为视频世界模型引入物理时间序列作为监督
痛点动机
现有方法领域特定或仅监督单帧,难刻画物理状态随时间演变
解决方案
用低维物理时间序列微调视频世界模型,提升在人体运动等多领域的状态预测与重建
77
Qifan Wang, Qihang Fang, Boao Shi, Yushi Du, Pei Zhou, Siyan Dong, Yanchao Yang
任务设定
场景中全身人物交互的大规模采集与运动预测基准
痛点动机
现有数据集难兼顾大规模采集与场景对齐的结构化监督
解决方案
RGB-D 采集管线结合人体网格恢复与物体跟踪,构建 FlexHOI-Bench 运动预测基准
78
Daniel Swoboda, Hector Geffner
任务设定
学习机器人物体重排任务的搜索启发式函数
痛点动机
符号抽象忽略几何可行性约束,导致规划出的动作不可执行
解决方案
用运动规划器反馈训练图神经网络启发式,大幅减少规划查询次数
79
Tingan Jin
任务设定
在 V-JEPA 2 特征空间中预测物体受扰动后的运动变化
痛点动机
单次观察难以推断物体的物理响应特性,如弹性与摩擦
解决方案
用少量试探性推动构建贝叶斯接触记忆,结合位姿编码提升特征预测精度
80
Huizi Cao, Guanyu Xu, Zhixuan Liang, Ming Yin, Jiuxiang Gu, Manling Li, Mengdi Wang, Shilong Liu
任务设定
评测模型跨视角场景一致性的空间智能基准
痛点动机
两两比较无法判断多视角中哪一个偏离了真实场景
解决方案
构建 SSoN 基准,要求模型从多视角中找出矛盾视角并解释原因
81
Jingxiang Guo, Haoyu Zhao, Xidong Zhang, Yuhang Zheng, Hao Wu, Chen Gao, Jianshu Zhou, Shuicheng Yan, Weihao Yuan
任务设定
基于腕部相机的双臂操作交互式世界模型
痛点动机
现有模型难保持双视角一致且难跟随双臂动作
解决方案
为每条手臂注入独立动作,并用 稀疏枢纽 token 在双流间交换场景信息,实现 跨视角一致性 的双腕视频预测。
82
Qinchuan Cheng, Bowen Lyu, Zhantao Gong, Angela Yao, Cheston Tan, Shijie Li
任务设定
将真实第一视角视频转化为可交互训练经验
痛点动机
真实演示缺乏替代动作和错误恢复数据
解决方案
在 符号化环境 中重放决策点,联合训练动作生成与 后果预测,实现长程规划。
83
Siming Zhou, Bowen Ma, Ruiran Du, Pengcheng Zheng, Sheng Zheng, Dongshen Han, Zhijie Li, Wei Dong, Fan Mo, Chaoning Zhang
任务设定
基于 JEPA 世界模型的视觉导航规划
痛点动机
现有方法先生成完整动作再评估,缺乏逐步构建指导
解决方案
用 目标条件 JEPA 提出潜在意图,另一 JEPA 预测后续动作状态,形成 意图-动作-后果 闭环。