1
Zhefei Gong, Hefeifei Jiang, Zehao Wang, Jiachen Li
任务设定
真实世界移动操作机器人的在线微调
痛点动机
动作空间高维、模块耦合导致微调不稳定
解决方案
提出分层残差策略,用稀疏人类干预引导价值对齐加速探索
2
Huixuan Cheng, Bike Zhang, Shankar Sastry, Koushil Sreenath
任务设定
用扩散模型直接生成人形机器人控制网络权重
痛点动机
传统训练方式难以直接建模策略网络的权重分布
解决方案
用潜在扩散模型压缩并生成控制网络权重,可直接部署执行多种动作
3
Ao Liang, Youquan Liu, Mingxiao Li, Wei Chow, Lingdong Kong, Yue Liao, Dongyue Lu, Yu Yang, Wei Yin, Runnan Chen
任务设定
自动驾驶中将视觉运动转化为精确动作
痛点动机
动作目标与视觉动态脱节,重建存在厘米级误差
解决方案
提出 VITAL ,用视觉运动支架加残差编码,结合流匹配单步预测动作
4
Qihang Cao, Haoyuan Li, Zihan Guo, Sensen Gao, Zihui Gao, Huixin Zhang, Fan He, Jianhua Han, Hang Xu, Xiaodan Liang, Jia-Wang Bian
任务设定
统一静态 3D 与动态 4D 空间推理的多模态模型
痛点动机
3D 与 4D 能力相互干扰,现有模型难以兼顾
解决方案
用解耦 EMA 约束参数漂移,并用时空融合模块整合几何先验
5
Haoyuan Li, Qihang Cao, Huanyuan Zhou, Xin Hu, Sijia Chen, Zihan Guo, Kun Xiang, Yunshuang Nie, Tao Tang, Xinlong Zheng, Jia-Wang Bian, Xianming Liu, Xiaodan Liang
任务设定
多模态大模型的快速空间智能推理
痛点动机
外部 3D 几何编码器带来高昂推理延迟
解决方案
用潜在帧预测内化几何先验,去除外部编码器实现 3.6 倍推理加速
6
Weijie Wang, Haomin Zhang, Ye Li, Akide Liu, Zeyu Zhang, Haoyu Zhao, Yefei He, Donny Y. Chen, Feng Chen, Bohan Zhuang
任务设定
长篇 agentic 视频生成中的跨镜头时空一致性
痛点动机
非连续镜头间缺乏共享空间参照与历史事件记录
解决方案
构建场景记忆与事件记忆,生成前检索证据、生成后校验更新
7
Nagasrikanth Kallakuri
任务设定
将人类手机拍摄的演示转化为不同机器人本体的训练数据
痛点动机
人类动作难以直接迁移到结构迥异的机器人本体上
解决方案
不重定向手部动作而重定向物体运动轨迹,在仿真中逐机器人验证运动可行性并给出成功/失败/拒绝判定
8
Xin Li, Xiaohuan Gu, Yifan Wang, Shaobin Ling, Tianli Shi, Jingao Xu, Zhimeng Yin, Dapeng Wu, Yun Wang
任务设定
让具身智能体从空间交互失败中自我进化
痛点动机
执行反馈难区分失败源于感知、探索还是规划
解决方案
受海马体-元认知机制启发反思失败归因,提炼可复用策略与参数化技能
9
Siqi Yang, Yimu Wang, Ziqi Cai, Chengxuan Zhu, Shuchen Weng, Erwin Wu, Zhaofei Yu, Kaipeng Zhang, Boxin Shi
任务设定
多人共享 3D 世界中的全景+第一视角世界建模
痛点动机
单一第一视角视频捕捉不到视野外他人行为造成的场景变化
解决方案
构建 POV-全景配对数据集,双塔模型用跨注意力对齐两路视频预测
10
Zhuobai Dong, Junchao Yi, Hu Jian Guo, Linjie Li, Rui Zhao, Alex Jinpeng Wang
任务设定
将双向扩散视频模型蒸馏为自回归少步生成模型
痛点动机
传统蒸馏依赖海量离线轨迹,高低噪声阶段特性冲突难兼顾
解决方案
提出 Glance Forcing ,用慢/快两专家解耦去噪轨迹分阶段蒸馏,教师模型保持冻结
11
Ziyu Zhu, Zhaoxu Sun, Fan Jiang, Chiyu Wang, Junfeng Ni, Mu Xu
任务设定
跨领域学习统一的世界模型动作空间
痛点动机
各领域动作接口不同且动作标注稀缺
解决方案
用共享正交字典从视频中学习潜在动作,轻量适配器映射真实控制指令
12
Zhengjie Xu, Ruihao Gong, Xianglong Liu
任务设定
视频中恢复人体身体与手部的精细网格
痛点动机
遮挡、部分可见场景下身手重建困难
解决方案
迁移视频生成先验,全局到局部策略结合局部关键点增强还原细节
13
Bingao Chen, Lihan Zha, C. Karen Liu, Guy Tevet
任务设定
VLA 机器人操作中用学习的注视动作替代腕部相机
痛点动机
外部相机分辨率低丢失操作细节,腕部相机视野受限
解决方案
预测下一时刻需关注的交互区域,裁取高分辨率局部细节与全局视图共同输入策略
14
Ziyan Liu, Jiting Liu, Weihong Zhong, Wenda Yu, Yeqiu Chen, Jason Li, Xiaojiang Peng, Shuyuan Hu, Kai Wang, Bo Zhao
任务设定
机器人策略根据交互情境动态调整自身参数
痛点动机
固定共享参数难以适配多样操作场景,导致任务间相互干扰
解决方案
用双生成器产生情境相关的低秩参数更新,视觉-语言结果指导动作参数生成
15
Riccardo Andreoni, Massimiliano Ronzani, Chiara Ghidini, Alessandro Daniele, Emile van Krieken
任务设定
学习可解释的概念化世界模型用于智能体规划
痛点动机
黑盒世界模型难结合先验知识,长程规划不稳健
解决方案
用时序逻辑定义概念状态,将规划转为可微分符号推理
16
Xiangyi Wei, Hanzhe Yao, Jingwen Shang, Zhenhong Wu, Yang Li, Changbo Wang
任务设定
长时程机器人操作任务的组合式执行与调度
痛点动机
整轨迹学习成本高,局部失败易级联到后续阶段
解决方案
提出可复用操作单元(MU),由 MU 中心编排匹配调度冻结策略模型
17
Minghao Liu, Tutian Tang
任务设定
从灵活可穿戴传感器组合恢复全身 SMPL 运动
痛点动机
现有方法传感器配置固定,扩散模型实时性差
解决方案
提出掩码流匹配框架,统一兼容多种传感器输入,单步推理达 700+FPS
18
Qisen Ma, Yixiang Chen, Yuan Xu, Peiyan Li, Jiabing Yang, Kai Wang, Jianhua Yang, Jianlou Si, Jun Huang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang
任务设定
系统研究世界模型如何整合进 VLA 模型
痛点动机
现有方法同时变动表征、集成方式与骨干,难辨关键因素
解决方案
归纳四种整合范式,统一框架下系统对比各设计选择的效果
19
Lorenzo Venturoli, Nedko Savov, Xi Wang, Marc Pollefeys, Luc Van Gool
任务设定
维持视频世界模型长程交互的状态一致性
痛点动机
仅记忆历史画面难以反映不可见区域的状态变化
解决方案
提出 StateCraft ,用语言模型维护可更新的抽象状态,驱动视频扩散模型生成当前画面
20
Hao-Jen Chien, Wei-Lun Chao, Yu-Lun Liu
任务设定
诊断快速相机运动下的世界坐标人体恢复
痛点动机
舞蹈直播等场景相机快速运动导致人体世界轨迹严重漂移
解决方案
发现相机与人体尺度不匹配致漂移,用闭式尺度校正统一坐标系,无需重训
21
XGEN Team, Guohao Cai, Haoxuan Che, Frank Fan, Chenran Huang, Junjia Huang, Jiayi Jiang, Yanheng Li, Leon Liu, Shaoteng Liu, Xi Liu, Feng Nie, Zhefan Rao, An Wang, Hanwen Wang, Pengxiang Yan, Jieming Yu, Qian Zha, Wentao Zheng
任务设定
构建持久世界状态与第一人称视听生成的交互框架
痛点动机
现有系统难以兼顾状态持久演化与连续第一人称体验生成
解决方案
用 DAO 维护世界状态演化, JING 据此生成每个观察者的第一人称视听体验
22
Shuofeng Sun, Wenzhao Zheng, Yunpeng Zhang, Yi Wu, Linqing Zhao, Haibin Yan
任务设定
用统一 3D 隐空间同时做场景重建与生成
痛点动机
视频隐空间仅描述视角观测,难复用于生成新视角场景
解决方案
提出 3D 锚定隐空间表示场景本身,几何与内容分离生成,提升相机可控性
23
Yuwei Sun, Siyu Zhu
任务设定
提升隐空间世界模型的长时程具身规划能力
痛点动机
现有隐空间世界模型存在表征坍塌与长时序能力不足问题
解决方案
结合 JEPA 式预测与联想记忆库,多时间尺度学习表征并防止坍塌
24
Soumick Sarker, Mengmi Zhang
任务设定
长视频中相机位姿与 3D 场景几何的持续重建
痛点动机
分窗推理误差累积,且无法修正早期错误估计
解决方案
引入可检索、可修正的外部记忆模块,关联观测位置与内容,发现新证据后回溯修正旧估计
25
Yuhang Hu, Junlin Lyu, Yuan Fang, Xiaoying Shen, Lechen Zhang, Jiong Lin, Judah Goldfeder, Steven Tian, Hod Lipson
任务设定
人形机器人的注视目标选择与头眼动作生成
痛点动机
固定追踪规则无法建模人类注视的时序动态结构
解决方案
VLM 负责选定注视目标, Transformer-VAE 从人体动捕数据学习生成协调的头颈眼运动
26
Jia Chen, Ruyang Zhao, Jun Bai, Chao Huang, Saishang Zhong, Xinrong Hu
任务设定
单图像独立服装(非穿着状态) 3D 重建基准
痛点动机
服装薄壳、开边界、多层结构,现有数据与评测不足
解决方案
构建 1518 件服装资产基准,并用语义引导细化与 LoRA 适配改进图生 3D 骨干模型
27
Fan Huang, Dezhong Tong, Changyu Chen, Haewoon Kwak, Jisun An
任务设定
语言指令驱动机械臂的运动控制
痛点动机
需让指令到执行过程可追溯、结果可验证
解决方案
将参数指定、指令生成与代码合成分离,再用 GRPO 强化学习训练指令策略
28
Diyuan Shi, Yiqi Tang, Hongyin Zhang, You Wu, Donglin Wang
任务设定
研究 VLA 模型部署阶段的在线适应问题
痛点动机
预训练 VLA 策略无法利用部署中积累的交互经验持续改进
解决方案
引入上下文强化学习模块,冻结模型参数、基于历史交互逐步优化动作生成
29
Yuanyuan Gao, Zhirui Liu, Yuning Gong, Yifei Liu, Yifan Zhan, Kuixuan Jiao, Xiaolong Zhou, Yifan Yang, Hongjie Zhang, Xue Yang, Dan Xu, Zhihang Zhong
任务设定
从稀疏全景图生成重建多房间 3D 场景
痛点动机
室内数据集依赖昂贵 LiDAR ,网络全景图视角稀疏难重建
解决方案
提出生成式重建框架,结合几何优化与生成先验构建 3D 高斯场景并自动标注问答
30
Yunze Liu, Jing Wang, Shenrui Wu, Wenkun He, Guanqi Zhan, Xianzheng Ma, Junyu Chen, Wenhang Ge, Haozhan Tang, Yuchao Gu, Zhuoyang Zhang, Zekai Wang, Dantong Niu, Zhen Dong, Yuke Zhu, Trevor Darrell, Linxi "Jim" Fan, Song Han, Han Cai
任务设定
统一编码任务/阶段/动作用于机器人经验检索
痛点动机
现有检索方法难以同时匹配任务目标、执行阶段与后续动作
解决方案
提出 VLA 嵌入模型联合编码三模态,支持检索增强的策略条件化与记忆进化
31
Liang Yu, Tao Zhu, Xiangqing Lu, Wenjian Luo, Liming Chen
任务设定
遮挡场景下的实时单目人体姿态估计
痛点动机
下肢遮挡或出框时纯视觉难重建合理姿态与脚地接触
解决方案
融合智能鞋垫传感器与视觉,提出部位解耦时序融合框架提升 SMPL 网格恢复精度
32
Yiquan Li, Aidan Bradshaw, Chenfeng Gao, Karan Ahuja
任务设定
评测腕部 IMU 表征在多任务间的迁移能力
痛点动机
不清楚单任务监督如何影响其他任务及能否共享表征
解决方案
构建十任务基准,提出掩码自编码器在姿态/里程计等任务上取得最优表现
33
Yue Zhang, Han Lin, Zun Wang, Yidong Huang, Zaid Khan, Mohit Bansal
任务设定
为预训练导航智能体生成针对性训练环境
痛点动机
通用环境生成忽略智能体具体失败原因
解决方案
用 LLM 从成败轨迹对比中提取弱点特征,生成对应薄弱环境做适应训练
34
Kyusong Lee, Heting Ying, Tiancheng Zhao
任务设定
具身视觉跟踪:机器人在干扰者中跟随指定目标人物
痛点动机
存在相似干扰者时,跟踪成功率大幅下降
解决方案
提出视觉-语言路点策略,多阶段训练先对齐视觉语言再做跟踪专精,并用在线策略精调提升鲁棒性
35
Zefan Yang, Zheyuan Zhang, Boris Maihe, Yikang Liu, Hang Yu, Ankush Mukherjee, Xiao Chen, Pingkun Yan, Terrence Chen, Shanhui Sun
任务设定
构建可交互、位姿可控的超声世界模型
痛点动机
缺乏真实可控的超声仿真环境,限制机器人策略学习
解决方案
基于视频扩散模型学习超声动态,再用少量 EM 追踪数据对齐 6DoF 位姿控制
36
Nikolay Semenov, Artem Riabinin, Sergey Bassenko, Anna Averchenkova, Julia Agafonova, Anastasia Aliaskina, Kirill Kozlov, Lev Novitskiy, Nikita Samsonov, Nikolai Gerasimenko, Denis Dimitrov
任务设定
音频驱动的人物说话视频/虚拟形象生成
痛点动机
现有方法难以让口型、表情、姿态与语音长时同步
解决方案
用 Qwen2.5-Omni 统一提取文本音频条件,结合参考感知视觉记忆生成长视频
37
Mohamed Abouagour, Junhyun Nam, Wonse Jo, Byung-Cheol Min
任务设定
机器人按持续语言指令维护房间级语义判断
痛点动机
环境变化后对每个房间全量重新评估代价过高
解决方案
构建指令条件依赖图,仅刷新受事件影响的判断,在 Unitree G1 人形机器人上验证
38
Eren Cetin, Julius Erbach, Vukasin Bozic, Hyojun Go, Zixiang Zhao, Nikolai Kalischek, Federico Tombari, Konrad Schindler, Dominik Narnhofer
任务设定
长时域视频生成中的空间记忆机制设计
痛点动机
重建式记忆存储开销不断增长,循环记忆则会随时间遗忘
解决方案
提出区域 token 寻址的 slot 记忆,按相机几何而非时间新近度检索历史内容
39
Anton Arapin, Aditya Singh, Yixin Wang, Jun Gao, Bernadette Bucher
任务设定
基于动作序列预测未来视频帧的世界模型
痛点动机
场景变化既有确定性运动也有随机性变化,难以统一预测
解决方案
联合回归确定性预测与空间不确定性图,用其引导扩散模型仅对不确定区域采样,确定区域直接锚定预测结果
40
Henry Che, Xuanchi Ren, Sanja Fidler, Shenlong Wang, Laura Leal-Taixé, Shengyu Huang
任务设定
构建跨任务、跨传感器的统一 LiDAR 世界模型用于仿真
痛点动机
重建法精确但耗时,生成法快但长时序一致性差
解决方案
用统一条件生成框架融合两者,蒸馏为自回归学生模型实现单卡实时长时序仿真
41
Daniel Lawson, Dhruv Sreenivas, Adriana Hugessen, Khimya Khetarpal, Glen Berseth
任务设定
离线强化学习中策略的零样本目标泛化问题
痛点动机
静态数据集和建模目标限制了策略的组合泛化能力
解决方案
提出 TD-Aug ,从几何视界世界模型中采样,想象新目标用于训练目标条件策略
42
Zhexi Luo, Zhixuan Xu, Rui Yang, Zeyu Xiao, Yiwen Hou, Lin Shao
任务设定
训练通用的灵巧手-物体跟踪策略
痛点动机
现有方法只能训练单轨迹专用策略,难以规模复用
解决方案
提出价值引导重置分配,在线调整初始化分布,优先训练困难阶段与高回报重置状态
43
Nan Zhou, Jianxiong Gao, Qiuyu Wang, Wen Wang, Jiahao Wang, Yufeng Yuan, Shuaiting Li, Hao Ouyang, Yujun Shen, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen
任务设定
评测视频世界模型长期记忆能力的基准
痛点动机
现有评测只关注画质与时长,忽略历史一致性保持
解决方案
构建 260 个测试用例,从静态记忆(外观几何)和动态记忆(事件状态)两方面系统评估
44
Anton Arapin, Chahyon Ku, Bernadette Bucher
任务设定
为短时域规划估计动作条件数据流形的局部形状
痛点动机
高维世界模型计算昂贵,限制规划器可评估的动作数量
解决方案
网络估计流形的泰勒展开局部近似( Action Jet ),单次推理即可对任意候选打分,提速 300 倍以上
45
Lambda-humanoid Team
任务设定
人形机器人全身移动操作的可扩展数据与训练
痛点动机
机器人演示采集昂贵,人类数据常缺全身运动信息
解决方案
构建 500 小时 HumanVerse 第一视角数据,对齐视角与手臂,训练λ0 基础模型零样本迁移到真实人形机器人