Daily Paper Feed

2026 年 09 月 29 日 星期二 · 共 142 篇相关论文 · 全部存档
1

Reliability-Gated Fusion of Consumer Head and Foot IMUs for Lower-Body 3D Pose

Zhilin Guo, Boqiao Zhang, Oszkár Urbán, Josef Bengtson, Hakan Aktas, Wenzhao Li, Siyu Hong, Kyle Fogarty, Chenliang Zhou, Ali Senguel, Cengiz Oztireli
任务设定 用耳机+脚部 IMU 估计人体下肢 3D 姿态
痛点动机 消费级传感器方向偏差、漂移、丢包等不可靠问题
解决方案 提出通道级可靠性门控融合网络,在合成故障数据上训练以抑制不可靠传感器通道
2

InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video

Kerui Ren, Kaiwen Song, Weiguang Zhao, Yuxi Wang, Yufei Liu, Bo Dai, Haoyu Guo, Chunhua Shen, Mulin Yu, Tao Lu, Junting Dong
任务设定 第一视角视频流式估计世界坐标系手部运动
痛点动机 级联式手部姿态+SLAM 方案误差累积、计算开销大
解决方案 端到端流式前馈框架联合估计 MANO 参数与相机轨迹,用时空记忆耦合手部几何与相机运动
3

FlowAct-R2: Beyond Talking Avatar via Streaming Multimodal References and Proactive Agent Planning

Ziyao Huang, Zhengkun Rong, Shiyang Qin, Shuang Liang, Wentao Hu, Yuxuan Luo, Yuan Zhang, Mingyuan Gao
任务设定 交互式类人数字人视频生成与直播应用
痛点动机 现有说话人像方案难支持连续多模态控制与主动互动
解决方案 用流式多模态参考扩散 Transformer 生成视频,配合主动交互智能体规划行为响应
4

Impact of Patient Orientation in Single- and Multi-View Camera Environments for AI-based Rehabilitation Monitoring

Miriama Jánošová, Andreas Lang, Petra Budikova, Jan Sedmidubsky
任务设定 研究相机视角对康复动作质量评估姿态估计的影响
痛点动机 相机摆放如何影响临床相关运动误差检测尚不明确
解决方案 构建多视角数据集及可分离性指标,比较单/双相机 2D3D 姿态估计策略
5

X-Reset: Scaling Object-Centric Reinforcement Learning via Cross-Embodiment Resets

Prithwish Dan, Chenyang Ma, Wei Zhan
任务设定 跨具身灵巧操作策略的强化学习训练
痛点动机 从零探索抓取、重定向等高自由度操作动作极其困难
解决方案 将人手-物体演示运动学重定向为机器人状态,作为 RL 重置分布解决探索难题
6

DynaTokens: Teaching Dynamics to Camera-Controlled Video Models at Test Time

Ma Ziqi, Chen Hongqiao, Gkioxari Georgia
任务设定 让相机可控视频模型同时正确生成场景动态
痛点动机 现有模型移动镜头时物体运动错误或静止不动
解决方案 冻结基础模型,用可学习场景令牌通过交叉注意力学习少量示例轨迹的动态
7

Many Eyes, One World: Feed-Forward 3D Reconstruction from Mixed Cameras

Qiaoge Li, Yifan Zhan, Haijun Yang, Haiyang Liu, Yiyi Cai, Chenchi Luo
任务设定 透视、鱼眼、全景混合相机的前馈式 3D 重建
痛点动机 现有模型假设单一相机类型,无法处理混合输入
解决方案 单次前向传播联合重建混合相机的点云与位姿,无需标定信息
8

EvolvingAvatar: Interactive 3D Head Generation That Adapts as Conversations Unfold

Junjie Chen, Fei Wang, Kun Li, Yiqi Nie, Xun Yang, Yanbin Hao, Linfeng Zhang, Meng Wang
任务设定 生成随对话演变的交互式 3D 头部虚拟人动作
痛点动机 现有方法参数固定,无法利用对话反馈自适应
解决方案 提出测试时训练的因果生成器,用自监督对话预测信号持续更新说话/倾听动作
9

Behavioral Foundation Models for Quality Diversity

Nazim Bendib, Nicolas Perrin-Gilbert, Olivier Sigaud
任务设定 在行为基础模型潜空间中做质量多样性策略搜索
痛点动机 参数空间搜索维度高,稀疏/欺骗性任务中易失败
解决方案 在 BFM 潜空间做 QD 搜索,提出无需 critic 和反向传播的策略改进算子
10

ReSS: Residual-Restoring Sparse Attention for 3D Vision Transformers

Yongsung Kim, Jaehoon Lee, Minjun Park, Wooseok Song, Hun Hwangbo, Sungroh Yoon
任务设定 加速 VGGT 类 3D 视觉 Transformer 的多视图推理
痛点动机 按注意力概率选块与模型实际行为变化不匹配,导致稀疏后性能崩溃
解决方案 提出残差漂移分数衡量删除块的真实影响,迭代恢复残差以选择丢弃块
11

F4R: Failure-Driven Recognition, Reconstruction, Refinement, and Redeployment for Continual Robot Self-Improvement

Zhuoyuan Yu, Jiacheng Wang, Tianle Liu, Yihua Ren, Peng Yu, Chen Bai, Ziheng Zhang, Yufei Jia, Jindou Jia, Yuhang Zhang, Xinrui Zhang, Shang Yujing, Yuxiang Chen, Chuhao Zhou, Tiancai Wang, Jianfei Yang
任务设定 机器人操作策略的失败驱动持续自我改进
痛点动机 真实失败数据采集成本高、不安全且难扩展
解决方案 将失败重建为仿真环境,结合仿真-真实协同训练与强化学习优化并重新部署策略
12

EdgeVLN: Runtime-Aware Deployment Ready Quantized Vision Language Navigation Model

Rithvik Jonna, Man Namgung, Aakash Gurram, Tinoosh Mohsenin
任务设定 在边缘机器人设备上部署视觉语言导航模型
痛点动机 现有 VLN 模型算力需求高,难以适配边缘设备的内存与功耗限制
解决方案 结合量化 StreamVLN 与轻量 LATTE 停止预测模块,实现低延迟边缘部署
13

WorldPlay2: Extending Real-Time Interactive World Models in Control and Horizon

Haiyu Zhang, Wenqiang Sun, Tengfei Wang, Junta Wu, Jun Zhang, Yunhong Wang, Yu Qiao, Chunchao Guo
任务设定 实时交互式世界模型的长时序生成与控制
痛点动机 长时序一致性与实时响应难以兼顾,控制建模复杂且蒸馏不稳定
解决方案 提出 WorldPlay2 ,用分解式混合控制接口结合压缩记忆实现长时序稳定蒸馏
14

Rethinking Causal Action Tokenization with Conditional Annealing in Flow Matching

Chenyu Zhang, Yuhang Cao, Daru Du, Yingxi Lu, Jing Shao, Ruoqu Chen, Jiajun Liu, Liu Cao, Yicheng Liu, Hang Zhao, Mengdi Xu
任务设定 机器人 VLA 模型中动作序列的离散化编码
痛点动机 现有 tokenizer 仅做压缩,与自回归语义不对齐
解决方案 提出因果退火机制,让 flow matching 逐步生成因果 token , MMDiT 解码后重建动作
15

A.D.A.M.O. (Agent for language-Driven Actions with Multimodal Observations): A Visual-Symbolic Framework for Virtual Humans

Alessandro Emmanuel Pecora, Stefano Calzolari, Francesco Strada, Andrea Bottino
任务设定 语言驱动的虚拟人具身智能体控制
痛点动机 现有方法难以统一感知、推理与动作闭环
解决方案 用 VLM 结合视觉-符号双重世界模型,融合第一视角视觉与符号状态执行任务
16

DiMoP: Diffusion-Driven Motion Representation Learning With Frame-Level Pseudo-Classification for Skeleton-Based Action Recognition

Shanaka Ramesh Gunasekara, Wanqing Li, Nikalal Kaldera, Philip Ogunbona, Jack Yang
任务设定 骨骼动作识别中的运动表征学习
痛点动机 现有方法偏重强动作,忽略细微运动
解决方案 用扩散模型对遮挡关节加噪去噪,结合伪帧分类联合判别学习
17

Revision, Not Restart: Revisable Visual Plans for Closed-Loop World-Action Models

Pengyiang Liu, Junbo Niu, Wenhao Zheng, Xinchen Chen, Canyu Li, Zhongyue Shi, Jiahao Xie, Si Liu
任务设定 机器人闭环控制中视觉未来预测的修正
痛点动机 执行反馈使部分预测失效,但任务结构仍可用,重来太浪费
解决方案 提出可修正时序规划,用修正桥接从中间状态恢复延续,而非重新生成
18

BiMoGen: Bidirectional Motion-Text Generation via Unified Masked Discrete Diffusion

Wanjiang Weng, Yongliang Wu, Xiaofeng Tan, Xingyu Zhu, Wenbo Zhu, Hongsong Wang
任务设定 统一文本到动作生成与动作描述两个任务
痛点动机 自回归模型顺序固定,难以建模动作与文本的双向依赖
解决方案 提出 BiMoGen ,基于掩码离散扩散双向建模,并用自纠正机制降低误差累积
19

From Pixel to Poses: Object-centric Tool Manipulation Learning from Human Demonstrations

Bangjun Wang, Longyan Wu, Yukun Wei, Shenghe Shao, Chaoyi Huang, Wenze Cui, Zetong Xu, Hanlin Wu, Long Chen, Yi Ma, Hongyang Li
任务设定 从人类演示视频学习机器人工具操作技能
痛点动机 机器人真实数据稀缺,且现有方法依赖昂贵的人机配对数据做域对齐
解决方案 先预训练以物体为中心的世界模型提取位姿先验,再结合位姿感知的低层策略执行,完全绕开人机对齐数据
20

Ego-Forge: Text and Geometric-Attention Free Exo-to-Egocentric Video Generation

Mohammad Mahdi, Luc Van Gool, Danda Pani Paudel
任务设定 由第三人称视频和头部轨迹生成第一人称视角视频
痛点动机 跨视角差异巨大,且需凭空想象自视角未观测到的内容
解决方案 提出免文本、免几何偏置的 Ego-Forge ,用动态字幕从模型隐藏状态直接生成条件信号替代外部文本
21

RoGSW4RLD: Feed-Forward 4D Gaussian Lifting for Robot World Model Rollouts

Jin Hyun Kim, Min Young Kim, Soohwan Song, Daekyum Kim
任务设定 将多相机机器人世界模型预测提升为统一 4D 场景
痛点动机 各相机独立重建会破坏跨视角一致性,尤其是运动相机与固定相机混用时
解决方案 提出前馈式两阶段框架,融合跨视角证据与机器人运动学,构建可查询的 4D 高斯场
22

Spatial Grafting: Grounding 3D Features for Flow-Matching Robot Policies

Dingsheng Liu, Yangzheng Wu, Mahboubeh Asadi, Zhiyuan Li, Jinbang Huang, Yixin Xiao, Tongtong Cao, Yingxue Zhang
任务设定 为 VLA/WAM 机器人策略注入度量级 3D 空间信息
痛点动机 预训练策略隐式忽略物体相对机器人的度量几何关系
解决方案 提出轻量级空间嫁接模块,通过交叉注意力将冻结的 3D 重建特征注入 flow-matching 动作专家
23

ReCAT: Remember, Count, and Time: Structured Recurrent Memory for Robot Manipulation

Pankhuri Vanjani, Mostafa Hatab, Can Mizrakli, Vaisakh Shaj, Zhuoyue Li, Moritz Reuss, Rudolf Lioutikov
任务设定 机器人操作中需依赖历史信息决策的记忆型任务
痛点动机 现有策略缺乏结构化记忆,难以回忆线索、计数或计时
解决方案 提出 ReCAT ,用 Mamba-2 循环记忆整合观测流,配合流匹配解码器分别对当前与历史做交叉注意力
24

OPIS: An Input-Grounded Benchmark for Multi-Object Memory in Video World Models

Hao Wang, Tao Yu, Liuzhou Zhang, HeXin Wang, Haopeng Jin, Yuxuan Zhou, Xinming Wang, Hongzhu Yi, Xinye Li, Yuanlei Wang, Ping Nie, Yan Huang, Yuxuan Zhang, Pengfei Zhou, Yanyan Zou, Wei Yang
任务设定 评测视频世界模型的多物体记忆能力
痛点动机 现有评测依赖生成历史或参考视频,难以准确衡量记忆力
解决方案 提出输入锚定基准,按初始物体实例分层测量存在/身份/结构
25

EMPIRIC: Experiment-Driven Learning of Residual World Models for Robot Planning

Yichao Liang, Amber Li, Dat Nguyen, Emily Bunnapradist, Michelangelo Naim, Sreela Kodali, Matteo Merler, Bowen Li, Kiran Gopinathan, Yiyun Liu, Nikhil Pimpalkhare, Joshua B. Tenenbaum, Adrian Weller, Zenna Tavares, Tom Silver, Kevin Ellis
任务设定 机器人通过实验学习未知物体的物理规律并规划
痛点动机 物理引擎缺失胶水固化、烧水等真实世界机制
解决方案 学习残差世界模型,用代码扩展引擎并做贝叶斯推断
26

JRDB-AVR: An Active Visual Reasoning Benchmark for Embodied Agents in Real-World Environments

Zhixi Cai, Fucai Ke, Sukai Huang, Maria Garcia de la Banda, Peter J. Stuckey, Gholamreza Haffari, Hamid Rezatofighi
任务设定 评测具身智能体的主动视觉推理能力
痛点动机 现有基准只看被动观察和答案,忽略证据获取过程
解决方案 基于真实机器人数据构建基准,让智能体主动请求观测并验证证据
27

Proxy2World: Learning to Generate Worlds From Lightweight Proxies without Seeing Them

Hongli Xu, Weilong Yan, Anbang Wang, Chunyu Zou, Siyu Hong, Jingwei Huang
任务设定 用轻量场景代理可控生成视频世界
痛点动机 成对的代理-视频数据难以大规模自动构建
解决方案 通过跨模态流匹配联合学习深度条件生成,实现代理-相机混合去噪
28

Learning to Act under Visual Interruptions with Vision-Language-Action Models

Mingle Jiang, Rui Xu, Yunke Wang, Chang Xu
任务设定 评估相机中断时 VLA 机器人操作策略的鲁棒性
痛点动机 实际部署中相机可能中途失效,现有 VLA 评测未覆盖该场景
解决方案 提出 MAIL-Bench 基准测试相机丢失影响; MINT 用光流/世界模型外推补全缺失视图并训练策略适应
29

ActionUNet: Improving Robustness of VLA Models with Efficient Multi-scale Fine-tuning

Di Zhu, Ziheng Yan, Fang Wan
任务设定 提升 VLA 机器人操作模型的动作执行鲁棒性
痛点动机 粗粒度语义与细粒度动作执行间存在尺度鸿沟,易致抖动失败
解决方案 用轻量时序 U-Net 融合多尺度先验,配合 SIREN 连续解码器平滑动作
30

What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling

Renping Zhou, Zanlin Ni, Zihao Fan, Guohao Fu, Zeyu Liu, Hao Shi, Jie Zhang, Chi Bene Chen, Yang Yue, Xueyang Fu, Gao Huang
任务设定 研究世界动作模型(WAM)推理时是否需生成未来帧
痛点动机 显式生成未来帧计算量大,隐式模型虽快却丢失泛化能力
解决方案 提出 Simple-WAM ,仅用单步全噪声前向传播来准备未来表征而非生成清晰画面
31

One Sensor, Whole Body - 3D Body Pose from a Single Consumer Earbud IMU

Zhilin Guo, Boqiao Zhang, Oszkár Urbán, Josef Bengtson, Hakan Aktas, Wenzhao Li, Siyu Hong, Kyle Fogarty, Chenliang Zhou, Ali Senguel, Cengiz Oztireli
任务设定 仅用单个耳机 IMU 估计全身 3D 姿态
痛点动机 探究单一头部传感器能恢复多少身体姿态,加传感器是否真有用
解决方案 用 AirPods 头部 IMU 训练循环姿态模型,结合 SAM 3D Body 生成伪真值监督
32

RoboFL: Federated Expert Assembly for World Action Models

Rongyu Zhang, Ruizhi Fan, Yunfan Lou, Hengyu Fang, Shenli Zheng, Chenrui Wu, Yili Jin, Li Du, Dan Wang, Yuan Du, Shanghang Zhang
任务设定 联邦学习场景下训练世界动作模型(WAM)
痛点动机 机器人交互数据稀缺且分散在各机构,直接聚合适配器易冲突
解决方案 提出 RoboFL ,用 MoE 式专家组装聚合各端 LoRA 适配器,并蒸馏对齐路由分配
33

Adjoint Guidance Flow: Amortized Critic Guidance for VLA Policies

Jeongsol Kim, Youngjun Jun, Kyumin Choi, Youngmin Kim, Seonghyun Jin, Sunwoo Park, Jangho Park, Kwanyoung Kim, Jong Chul Ye
任务设定 为流式 VLA 策略提供价值引导以提升长期回报
痛点动机 现有 critic 引导需反传整个 critic 集成,计算开销大
解决方案 将轨迹感知引导蒸馏为轻量引导网络,冻结 VLA 与 critic ,推理仅需一次前向
34

Don't Throw Away the Tail: Action Upcycling for Policy Acceleration

Taesung Kwon, Jangho Park, Sunwoo Park, Youngmin Kim, Seonghyun Jin, Youngjun Jun, Kyumin Choi, Jong Chul Ye
任务设定 分块动作策略中如何选择执行时长( horizon )
痛点动机 自适应选择 horizon 现有方法需读模型内部或额外采样,成本高
解决方案 提出 Action Upcycling ,依动作速度平滑度复用被丢弃动作,免训练延长执行窗口
35

ECHO: Event-Augmented Context with Hindsight and Outlook for Wrist-Only Manipulation

Xinyue Wang, Yicheng Jiang, Zesen Gan, Junhao He, Jiaxu Wang, Junhao Li, Jingtao Zhang, Tianlun He, Jianan Wang, Isabel Guan, Qiming Shao
任务设定 仅用腕部相机的机器人操作策略学习
痛点动机 RGB 相机极端曝光下退化,且视野随手腕运动受限
解决方案 提出腕部事件世界模型,编码事件流为运动表征,含回顾与前瞻模块预测未来场景变化
36

EviSplat: Preserving Multi-View Evidence in 3D Gaussian Splatting for Open-Vocabulary Segmentation

Sungho Moon, Kota Shimomura, Junwoo Park, Wonhyeok Choi, Seunghun Lee, Takayoshi Yamashita, Sunghoon Im
任务设定 基于 3D 高斯泼溅的开放词汇 3 维场景分割
痛点动机 多视角观测证据在查询前被过早融合,导致关键线索丢失
解决方案 保留逐观测证据,按文本查询为每个高斯动态匹配最相关观测
37

WM-VLM: Probing Internal World Models for Interleaved Visual-Textual Reasoning

Yuheng Zha, Yilei Wang, Qiyue Gao, Junrong Chen, Yujia Wu, Zhengfeng Lai, Zhengzhong Liu, Eric P. Xing
任务设定 让 VLM 通过生成中间视觉状态做空间推理
痛点动机 传统 VLM 仅靠语言推理,难处理空间变换任务
解决方案 引入轻量世界模型分支预测下一视觉状态,辅助推理答题
38

ESTHER: Egocentric Stereo Hand Estimation and Reconstruction in the Wild

Hongyu Ma, Hairong Qu, Shiqi Zhao, Yongsong Yang, Peng Yin
任务设定 野外双目自视角手部三维重建与度量估计
痛点动机 缺乏端到端模型和真实场景双目手部基准
解决方案 提出 ESTHER 模型及 ESTHER3D 数据集,用立体几何实现度量级重建,抗遮挡与光照干扰
39

D$^2$-VLA: Dual-Memory Dual-Frequency Vision-Language-Action Model For Long Dynamic Manipulation

Zijian Ye, Chengqi Wei, Wei Huang, Anlin Zheng, Chunyu Zou, Liangyu Wu, Zikang Zhao, Zhenjie Peng, Yushuo Yang, Shuman Zhao, Zhongrui Wang, Xiaojuan Qi
任务设定 长时程动态机器人操作的视觉-语言-动作建模
痛点动机 VLA 策略依赖最新观测,刷新视觉上下文需重新跑 VLM 代价高
解决方案 提出双记忆双频率 KV 缓存机制,增量编码观测并分离快慢更新路径
40

CoHuB: A Simulation Benchmark for Multi-Humanoid Collaboration

Hyunjin Park, Jebeom Chae, Minwoo Park, Sunghyun Park, Hanjun Yoo, Seoyeon Choi, Soochul Yoo, Joohwan Seo, Sarmad Idrees, Jae-Sang Hyun, Jongmin Lee, Roberto Horowitz, Youngwoon Lee, Jongeun Choi
任务设定 评测多人形机器人协作能力的仿真基准
痛点动机 现有基准缺乏第一视角多机协作评测
解决方案 提供 10 个协作任务,并用 VR 遥操作采集第一视角演示数据
41

Privacy-Preserving Full-Body Meshing from mmWave Radar via Mesh Foundation Model Supervision

Shuxing Zhang, Yongquan Ni, Zhenyu Ding, Yawen Lin
任务设定 基于 mmWave 雷达做隐私保护的全身 3D 网格重建
痛点动机 雷达点云极稀疏,以往只能估关键点或分类动作
解决方案 用 Mesh 基础模型自动生成网格标签做教师监督,学生网络预测姿态与不确定性
42

PanoVLN: Towards Effective Panoramic Vision-and-Language Navigation

Zhen Wang, Changpeng Wang, Zhe Liu, Zhangyang Qi, Yuxiang Lu, Zimo Zeng, Donglian Qi, Xi Chen
任务设定 基于全景观测的视觉-语言导航任务
痛点动机 直接替换全景图收益有限,需改进动作与监督
解决方案 提出置信度引导执行策略,动态决定单次全景后执行的动作步数
43

CoDrive: Cross-Vehicle World-Consistent Video Generation with Precise Trajectory Control for Cooperative Driving

Yu Meng, Baining Zhao, Junta Wu, Tengfei Wang, Rongze Tang, Haiyu Zhang, Wenqiang Sun, Chen Gao, Zhibo Chen, Xinlei Chen, Yong Li, Xiao-Ping Zhang, Chunchao Guo
任务设定 多车协同驾驶下的跨车一致性视频生成
痛点动机 独立扩展单车世界模型无法保证多车观测一致
解决方案 局部+全局自注意力联合建模跨车一致性,用共享世界坐标编码相机轨迹
44

Triangular Resampling for Long-Horizon Motion Generation

Kunhang Li, Yiyi Cai, Xiangyue Zhang, Fangyuan Tu, Yuhan Wu, Zhixiang Wang, Kaipeng Zhang, Haiyang Liu
任务设定 长时程人体运动生成中的误差累积问题
痛点动机 训练用真值运动窗口、推理靠模型自生成,长程漂移导致质量下降
解决方案 提出 Triangular Resampling ,用 *rollout* 式训练+真值钳制抑制误差漂移
45

Sufficiency of Zeroth-Order Reward Shaping for Policy Gradient in Stabilization Control

Yisheng Zhang, Tao Wang, Sicun Gao
任务设定 机器人稳定控制任务中的奖励函数设计问题
痛点动机 现有奖励设计依赖启发式,一阶动量奖励项使训练对超参高度敏感
解决方案 理论证明零阶奖励即足够完成稳定控制,一阶信息应置于观测而非奖励
46

Unified Trajectory Matching Policy Optimization: Diverse T2I Generation and VLA Generalization

Zhiyuan Ma, Jiaming Li, Lingzhen Li, Yu Liu, Xuekai Zhu, Dingkang Liang, Kaiyan Zhang, Jianjun Li, Bowen Zhou, Xiang Bai
任务设定 扩散/流策略强化学习后训练中的模式坍塌问题
痛点动机 奖励最大化式 RL 会让 T2I 生成同质化、VLA 策略泛化能力下降
解决方案 用轨迹分布匹配代替奖励最大化,统一优化 T2I 多样性与 VLA 泛化
47

VCN-Bench: A Video-Contextualized Navigation Benchmark for Spatial Reasoning over Prior Visual Experience

Siqi Zhang, Meng Wei, Chenyang Wan, Shaohao Zhu, Shufan Shen, Xihui Liu, Zhihua Wei, Tai Wang, Jiangmiao Pang
任务设定 基于先验视频经验的具身导航空间推理评测
痛点动机 现有基准割裂了离线空间理解与在线导航执行的闭环评估
解决方案 构建 VCN-Bench 基准及 MV-DualVLN 基线,联合利用先验视频与实时观测导航
48

Natural State-Prediction Accuracy can Hide Weak Controlled Responsiveness in VLA Readouts

Hyungjoon Kim, Wonbin Son, Mi Young Lee, Jun Young Lee, Seungmin Rho
任务设定 评估 VLA 模型内部表征对物理状态预测的可靠性
痛点动机 高预测准确率可能掩盖对真实状态变化的弱响应性,误导策略评估
解决方案 提出解耦预测准确性、状态响应性与情境稳定性的评估框架,辅助预测策略失败
49

Learning What to Recall: Adaptive Multi-Cue Episodic Memory for World Models

Beomsu Kim, Chieh-Hsin Lai, Bac Nguyen, Amir Bar, Jong Chul Ye, Yuki Mitsufuji
任务设定 世界模型预测时如何检索有效历史记忆
痛点动机 固定检索准则(时间/位姿/视觉)跨场景不可靠
解决方案 提出 FAR 框架,用未来预测似然监督训练检索器,自适应加权多种检索线索
50

Long Time No See: Benchmarking VLMs for Out-of-Sight Spatiotemporal Reasoning in Egocentric Videos

Fangzhou Ma, Ivo Alexander Ban, Eren Homburg, Gabriele Goletto, Rémi Pautrat, Mahdi Rad, Chiara Plizzari, Marc Pollefeys
任务设定 评测 VLM 在第一视角视频中定位离视物体的能力
痛点动机 现有模型难以追踪物体移动后离开视野时的状态更新
解决方案 提出 Beyond3D 基准,构建视觉定位、时间定位、场景定位与 3D 空间推理的完整推理链
51

Efficient World Action Model Inference with Adaptive Intermediate States

Zhinnan Liu, Haozhi Han, Ruge Zhang, Teng Ma, Tao Ma, Zheng Liu, Yifeng Chen, Yunquan Zhang, Ting Cao, Yunxin Liu, Kun Li
任务设定 加速世界动作模型( WAM )的扩散/流式推理速度
痛点动机 控制回路中观测和上下文变化快,缓存推理状态容易过时
解决方案 提出 WAMachine 无训练框架,跨重规划、去噪步、Transformer 层自适应复用推理状态
52

WorldAttention: An Efficient Attention Architecture for Interactive Video World Models

Zeyu Zhang, Jinyuan Mao, Dakai An, Wangbo Zhao, Hanfeng Lu, Jiasheng Tang, Yinghao Yu, Wei Wang, Bohan Zhuang
任务设定 交互式视频世界模型的长时高效生成
痛点动机 全历史注意力显存开销大,滑窗机制又丢失历史信息
解决方案 提出混合稀疏注意力与分层 KV 缓存机制,兼顾计算效率与长程记忆能力
53

Diffusion Subgoal Planning for Long-Horizon Offline Goal-Conditioned Reinforcement Learning

Hengrui Zhang, Yuhu Cheng, C. L. Philip Chen, Xuesong Wang
任务设定 长时程离线目标条件强化学习中的子目标规划
痛点动机 稀疏奖励下价值函数估计噪声大,导致分层规划不稳定
解决方案 用扩散模型生成子目标,借助无分类器引导实现目标导向规划,摆脱价值估计依赖
54

Precise Editing and Flexible Referencing for Interactable Worlds

Xinyao Liao, Xianfang Zeng, Zhu Liang, Zhoujie Fu, Qianxun Xu, Jiachi Liu, Gang Yu, Guosheng Lin
任务设定 让视频世界模型支持精确编辑而非仅探索导航
痛点动机 现有世界模型只能漫游场景,难以按指令修改世界内容
解决方案 提出 EditWorld ,用门控因果注意力流式接收编辑指令与参考图,配合稀疏上下文实现长时序自回归编辑
55

HUMAN-TCI: Hierarchical Multi-Stream Motion-Aware Network with Torso-Centered Interaction for Text-to-Motion Retrieval

Muhammad Islam, Euijoon Ahn, Usman Naseem, Tao Huang
任务设定 根据文本描述检索匹配的人体动作序列
痛点动机 复杂句子含多动作与身体部位耦合,现有方法难以精细建模
解决方案 提出三流架构分别建模上肢、下肢、躯干,并用躯干注意力捕捉其对其他部位的影响
56

RoboIRGBench: Benchmarking Implicit Referential Grounding in Vision-Language-Action Models

Aernaer Akelijiang, Jiannan Li, Zhineng Chen, Jingjing Chen, Bin Zhu
任务设定 评测 VLA 模型对机器人操作中隐式指代的理解能力
痛点动机 人类指令常隐式指代物体,现有基准默认指令完全明确
解决方案 提出 RoboIRG-Bench , 40 个任务变体覆盖直接/推理/空间/上下文四类指代场景
57

LRC-JEPA: Disentangling Dynamics and Residual Context for Efficient World Models

Luzhe Huang, Lei Chu, Jingyi Liang, Yuhuan Zhao
任务设定 构建高效的世界模型用于潜空间规划控制
痛点动机 紧凑表征需同时编码动作动态与视觉噪声,二者纠缠会拖累规划
解决方案 提出 LRC-JEPA ,将动态潜变量与残差上下文解耦为两路表征
58

Predictive Semantic Safety: From Visual Physical Reasoning to Safety-Critical Control

Taekyung Kim, Salem Fradi, Yanning Dai, Mateusz Ostaszewski, Jürgen Schmidhuber
任务设定 让机器人预测物理交互引发的未来危险并做安全控制
痛点动机 当前几何环境无法体现倒塌、连锁碰撞等潜在物理隐患
解决方案 用 VLM 预测物理事件,配合保形预测校准误差,驱动备用安全控制器
59

Text-Vision Synergistic Token Caching: A Training-Free Framework for Efficient Vision-Language-Action Inference

Qianer Li, Chengjie Zhang, Jingwen Chen, Zanjia Tong, Jiyuan Zhang, Hong Zhang
任务设定 免训练加速 VLA 模型的机器人控制推理
痛点动机 现有 token 缓存未利用文本-视觉协同这一归纳偏置
解决方案 提出 TVCache :筛选可靠注意力头做视觉定位,按熵差自适应选层缓存
60

When World Models Lie: Adaptive Safety Analysis Under Wrong Imaginations

John Cao, Somil Bansal
任务设定 研究世界模型预测出错时机器人安全过滤器的可靠性
痛点动机 世界模型预测可能有偏差,导致安全值函数过度自信、误判安全
解决方案 用自适应保形推理构建在线不确定性集,悲观评估安全值函数以校准风险
61

Dexterous Tactile World Model

Ziyao Zeng, Xiatao Sun, Hao Wang, Yueyang Pan, Zhengxiang Yu, Fengyu Yang, Tianyu Liu, Zhiwen Fan, Daniel Rakita
任务设定 预测灵巧操作任务的未来视频帧
痛点动机 接触/释放等关键事件难以仅靠视觉捕捉
解决方案 用触觉信号残差调制预训练视频扩散模型,提升手部运动预测精度
62

WAM-OPD: Sharpening World Action Models via On-Policy Distillation

Panjun Liu, Xiaohan Lei, Shiqi Zhang, Yikun Wang, Yongxin Zhang, Mingyi Hu, Shida Sun, Jiateng Shou, Wengang Zhou, Jiajun Deng, Zhiwei Xiong
任务设定 用在策略蒸馏提升世界动作模型的目标任务表现
痛点动机 反复采集真实/仿真环境轨迹以维持在策略,代价高昂
解决方案 提出 PWTR 机制,重放固定轨迹池生成新去噪路径,避免重复环境交互
63

WorldWeave: Growing Persistent Geometric Worlds for Video Generation

Yifan Huang, Lifan Jiang, Qingyue Hao, Cheng Chen, Boxi Wu, Xiaoxue Ren, Xiaofei He, Dehai Zhao
任务设定 为视频生成构建持久化的几何世界模型
痛点动机 现有世界模型缺乏结构记忆,场景连续扩展和跨视角重访时结构不一致
解决方案 解耦世界状态维护与视觉渲染,用可扩展 3D 高程地图引导视频生成
64

mmHRI: Towards Privacy-Preserving Human-Robot Interaction with Millimeter-Wave Radar

Junqiao Fan, Yuxuan Hu, Bofan Lyu, Yanshuo Lu, Pengfei Liu, Jiarui Zhang, Fangqiang Ding, Lihua Xie, Gen Li, Jianfei Yang
任务设定 基于毫米波雷达的隐私保护人机交互与机器人操作
痛点动机 摄像头持续观测人体存在隐私风险,雷达数据稀疏且时序不一致
解决方案 双流网络联合估计人体动作与 3D 姿态,结合记忆状态空间模型驱动 VLA 策略
65

WorldGuide: Learning Success-Failure Boundaries in Latent World Models for Vision-Language-Action Policies

Lin Liu, Lu Zhang, Ziying Song, Wu Yang, Yuzheng Zhuang, Yunzhi Zhuge, Shuai Tao, Wulong Liu, Huchuan Lu
任务设定 用潜在世界模型区分 VLA 策略的成功与失败结果
痛点动机 仅用专家演示训练的世界模型难以区分视觉相似的成功/失败交互
解决方案 预测性预训练结合对比学习,提供可微分奖励联合优化策略与视觉编码器
66

MotionSpaceFlow: Representation-Aware Flow Matching in Direct Motion Space

Qing Yu, Kent Fujiwara
任务设定 文本驱动的人体动作生成
痛点动机 现有方法在低维隐空间生成,限制质量且难以直接控制单帧/关节
解决方案 提出流匹配框架直接在原始动作空间生成,配合表征感知的多模态扩散 Transformer
67

Unified Visual-Tactile-Action Modeling from Human Demonstrations for Dexterous Manipulation

Wenqiao Li, Qianyou Zhao, Jiawen Hao, Xuezhou Zhu, Tengyu Liu, Kaifeng Zhang, Chuan Wen, Siyuan Huang
任务设定 利用人类演示学习灵巧操作中的视触觉-动作建模
痛点动机 机器人触觉演示数据难以规模化采集,而人类演示更易大量获取
解决方案 构建触觉动捕系统采集 UVTA 数据集,统一视触觉-动作模型联合预测动作与触觉轨迹
68

Functional Hand Type Prior for 3D Hand Pose Estimation and Action Recognition from Egocentric View Monocular Videos

Wonseok Roh, Seung Hyun Lee, Won Jeong Ryoo, Jakyung Lee, Gyeongrok Oh, Sooyeon Hwang, Hyung-gun Chi, Sangpil Kim
任务设定 第一视角单目视频中的 3D 手部姿态估计与动作识别
痛点动机 纯几何/物理线索难以捕捉手与物体的功能性交互细节
解决方案 提出手部功能类型先验,结合短时线索估计姿态与物体类别,用文本嵌入聚合长时序动作特征
69

Geometric Encoding for Spatial Reasoning in Vision-Language Models

Antonio Jun, Haoshui Yu, Zhengyi Lu, Huirong Fu, Yao Qiang
任务设定 提升视觉语言模型的空间推理能力(距离、尺寸等)
痛点动机 VLM 擅长识别内容,但对度量空间关系推理较弱
解决方案 用感知-几何管线从单目视频恢复深度、位姿,转成结构化空间代码输入 VLM 提示
70

CAST: Reconstruction-Coupled Acceleration of Interactive World Models

Leyang Chen, Junyi Wu, Fanqing Kong, Shaoqiu Zhang, Yulun Zhang
任务设定 加速交互式世界模型推理同时保持场景一致性
痛点动机 现有加速方法在跳帧恢复时忽略了控制响应的异质性
解决方案 提出 CAST 框架,按交互敏感度选锚点,用相位感知重建恢复跳过的残差特征
71

AD-E2E-JEPA: A Joint-Embedding Predictive Architecture For End-to-End Autonomous Driving

Haoran Zhu, Wancong Zhang, Yann LeCun, Anna Choromanska
任务设定 端到端自动驾驶中 JEPA 世界模型的规划评估与改进
痛点动机 现有世界模型要么准确但慢,要么高效但规划能力不足
解决方案 提出 AD-E2E-JEPA ,用可学习投影器压缩嵌入,推理提速 100 倍且保持规划性能
72

Quantile Head for Vision-Language-Action Models

Xuan Wang, Yinan Wu, Haoran Duan, Jungong Han
任务设定 为 VLA 模型设计新的动作预测头用于机器人控制
痛点动机 点回归只给单点估计, flow matching 采样又太慢
解决方案 统一回归与 flow matching 为分位数目标,单次前向输出中位数及有序分位数
73

3D Point Tracking with State Space Models

Masahiro Ogawa, Qi An, Atsushi Yamashita
任务设定 单目视频中绝对尺度的 3D 点跟踪
痛点动机 现有 Transformer 跟踪器显存随帧数线性增长,难上单卡
解决方案 融合光流与单目深度,用状态空间模型( Mamba )精修深度实现恒定显存跟踪
74

ZeroBot: Learning from Scratch in Minutes with Generative Real2Sim

Ivan Kapelyukh, Xiaohan Zhang, Stephen James, Laura Herlant, Edward Johns
任务设定 零演示、零预训练快速学习机器人操作任务
痛点动机 传统机器人学习依赖大量演示和预训练,耗时耗力
解决方案 用图像到 3D 生成模型重建物体网格并接入仿真,做大规模并行强化学习,几分钟内训好策略
75

Test-Time Spatial Reasoning for Robot Manipulation Using Generative Real-to-Sim

Ivan Kapelyukh, Yafei Hu, Ran Gong, Brandon May, Tushar Kusnur, Laura Herlant, Karl Schmeckpeper, Edward Johns, Xiaohan Zhang
任务设定 机器人操作中的测试时空间推理
痛点动机 长时序多物体交互任务缺乏显式空间推理能力
解决方案 由单张 RGB-D 图像用 3D 生成模型重建可仿真资产,大规模并行物理仿真搜索最优物体摆放
76

Robot-GST: geometry-aware spatial-temporal robot policy representation and evaluation

Sichao Liu, Zekun Wang, Lixuan Tang, Yiming Li, Xiaohan Wang, Hanzhi Zhang, Daqiang Guo, Peng Zhou, Lihui Wang
任务设定 机器人长程操作执行前,先仿真验证动作可行性
痛点动机 现有策略难预测执行结果,长程误差易累积
解决方案 用 3D 高斯泼溅 和 SAM3D 构建仿真环境,先模拟评估候选动作再执行
77

Achieve What You Imagined: Learning to Align Actions with Visual Plans

Yuheng Qiao, Ziran Wei, Xiaohan Wang, Daqiang Guo, Yichen Luo, Zhibo Pang, Peng Zhou, Sichao Liu
任务设定 让世界动作模型生成的动作与其视觉预测目标对齐
痛点动机 模型虽能预判成功画面,动作却常无法真正达成
解决方案 用动作条件世界模型反馈一致性,以流策略优化微调动作头
78

CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation

Yiheng Lyu, Xueying Jiang, Wenhao Li, Shijian Lu, Gongjie Zhang
任务设定 评测通用多模态模型能否用代码策略完成机器人操作
痛点动机 现有方法依赖任务专用微调或专家感知/抓取模块
解决方案 构建 CodeActionBench 基准,令智能体自主生成并迭代执行代码策略
79

Does Adversarial Training Improve Generalization in Multi-View VLAs? Revealing and Mitigating View Collapse

Futa Waseda, Shuhei Kurita, Isao Echizen
任务设定 研究对抗训练对多视角 VLA 机器人策略泛化的影响
痛点动机 直接对抗训练致视角坍缩,策略过度依赖腕部视角
解决方案 提出视角交换干预,区分鲁棒感知与鲁棒融合以缓解坍缩
80

Demonstration-Free Success-Probability Reward Learning for Generalist Robot Policies

Duo Wu, Haifeng Wang, Rongwei Lu, Jinghe Wang, Tianyi Xiong, Zhimin Wang, Chao Yu, Shuai Ma, Zhi Wang
任务设定 为通用机器人策略的强化学习提供密集奖励信号
痛点动机 现有奖励模型依赖专家演示,与次优轨迹分布不匹配
解决方案 提出 eVTA0 通过时序差分自举,从稀疏结果学习成功概率奖励
81

ForeFly: A Dual-Horizon World Action Model for Aerial Vision-Language Navigation

Kunhui Wang, Xintong Zhang, Junyu Gao, Changsheng Xu
任务设定 无人机空中视觉-语言导航中的长距离指令跟随
痛点动机 现有方法多为单一时间尺度预测,忽略跨时程互补的未来线索
解决方案 提出双时程世界动作模型,融合近期与路线级未来预测,配合 FGAR 引导动作生成
82

PGL-3D: Towards Progressive Geometric Learning for 3D Visual Query Localization

Liang Peng, Shizhuo Mu, Bohan Tan, Wenyuan Wang, Chen Zhao, Xingping Dong, Heng Fan, Libo Zhang, Bo Du
任务设定 3D 视觉查询定位:在点云序列中找回目标并预测长方体
痛点动机 查询姿态与目标实际出现方式不一致,中间几何信息未被利用
解决方案 提出渐进几何学习框架 PGL-3D ,用中间长方体引导证据聚合与特征迭代更新
83

SceneScaffold: Active Scene-State Construction for Unified 3D Scene Understanding

Xiangqi Li, Libo Huang, Jiarui Zhao, Weilun Feng, Chuanguang Yang, Zhulin An, Yongjun Xu
任务设定 统一 3D 场景理解任务(视觉定位、问答等)
痛点动机 现有视觉瓶颈被动压缩为同质 token ,空间关系表达不足
解决方案 提出 SceneScaffold 主动构建角色化场景脚手架,先组织空间结构再交给 LLM 推理
84

SphMind: Towards Robust, Training-Free VLM-based Spatial Reasoning with a 360 Camera

Shriram Damodaran, Soumyaratna Debnath, Cheston Tan, Lin Wang
任务设定 用 360°全景相机为具身智能体做空间推理
痛点动机 球面畸变和环绕不连续性使 VLM 难以泛化非欧空间
解决方案 免训练框架解耦语义与几何:球谐空间图建模关系+推理时几何对齐优化
85

Resolving State-Representation Mismatch: State-Space Visual Reasoning for Open-Loop VLA Planning

Junhao Xiao, Haoxiang Zhao, Menghao Fang, Jinkui Zhang, Jinghan Yu, Xinyu Huang, Zhiyu Wu, Kaiming Xu, Yi Chen, Youjun Bao, Zhiyuan Ma
任务设定 解决 VLA 模型开环规划中的状态表征不匹配问题
痛点动机 文本/像素/隐空间推理存在压缩损失或误差累积
解决方案 提出状态空间视觉推理,用 GRU 更新循环隐状态建模动作转移
86

Recursive Harness Distillation across Agents for Robot Manipulation

Seungyeon Kim, Junhoo Lee, Minkyu Kim, Baekseung Kim, Nojun Kwak
任务设定 VLA 机器人操作策略执行失败后的诊断与适应
痛点动机 强智能体的干预经验难以在不同智能体间复用
解决方案 强智能体将经验蒸馏为可复用手册,用弱智能体反馈递归精炼
87

Naturalness-guided Manifold Flow Matching for Sign Language Production

Jiayi He, Shengeng Tang, Sisi You, Yanbin Hao, Lechao Cheng, Richang Hong
任务设定 根据文本生成符合关节旋转规律的手语动作
痛点动机 线性插值偏离关节旋转流形,忽略真实运动分布
解决方案 提出流形上的流匹配,结合测地线传输与自然度引导插值
88

Beyond Conservatism: Recoverability-Conditioned Exploration for Model-Based Imitation Learning

Xuanlin Chen, Ziyue Wang, Xunlan Zhou, Yuan-yih Shang, Qiang Wu, Shenghua Wan
任务设定 基于世界模型的模仿学习中的主动数据探索
痛点动机 保守策略下专家分布周边区域采样不足
解决方案 用可恢复性引导的探索器聚焦欠探索但可恢复的状态,提升交互效率
89

SocialHumanoid: Towards Expressive Humanoid Behavior via One-Step Co-Speech Motion Generation

Chengqun Yang, Tengjie Zhu, Liang Xu, Fulong Liu, Guanzhu Ren, Yitong Xing, Xuefeng Lu, Fei Shi, Siyuan Fan, Weijie Dong, Yao Mu, Xiaokang Yang, Yichao Yan
任务设定 人形机器人协同语音的全身动作生成
痛点动机 现有方法缺乏情感控制与低延迟实时生成能力
解决方案 单步生成动作窗口并接历史条件衔接,转指令后由全身控制器跟踪执行
90

AquaWAM: A Dynamics-aware World Action Model for Underwater Embodied Agents

Cunhao Zhu, Yifeng Wang, Dongliang Xu, Yunzhong Hou, Yue Yao, Chi Harold Liu
任务设定 水下具身智能体的世界动作模型
痛点动机 水下机器人受惯性、浮力等被动动力学影响,现有模型难以捕捉
解决方案 建模导航状态而非图像,融合 DVL/IMU 等传感器,兼顾主动与被动动力学
91

Informative Viewpoint Selection for Episodic-Memory Embodied Question Answering using Omnidirectional Images

Kaname Kitamura, Asako Kanezaki
任务设定 基于全景图像的情景记忆具身问答
痛点动机 全景图像存在几何畸变与冗余背景,影响 VLM 识别精度
解决方案 转立方体投影视图,用 BLIP-2 估计相关性并做多样性感知视角筛选
92

Q-WAM: 4-Bit Quantization of World Action Models with Action-Subspace Protection

Arash Akbari, Arman Akbari, Jingwu Luo, Yuhao Lei, Yi Gao, Weiwei Chen, Xuan Zhang, Zhenman Fang, Geng Yuan, Yanzhi Wang
任务设定 对世界动作模型(WAM)进行 4-bit 量化压缩
痛点动机 WAM 计算存储开销大,常规量化会损害动作生成精度
解决方案 提出动作可观测性 Gramian 衡量各通道误差对动作的影响,动作子空间保护保留关键通道 16-bit 精度、其余量化为 4-bit
93

VehDyn: A Driving World Model Benchmark for Vehicle Dynamics

Tianyi Wang, Wangsheng Du, Jiazhou Chen, Tianyi Zeng, Xiangyu Li, Jiseop Byeon, Yujin Wang, Yiming Xu, Yangyang Wang, Bingzhao Gao, Sikai Chen, Zhaomiao Guo, Junfeng Jiao, Christian Claudel, Alexandre Bayen
任务设定 评测驾驶世界模型生成车辆动力学的真实性
痛点动机 现有基准仅关注视觉逼真度,缺乏运动学/动力学一致性评估
解决方案 构建 CARLA-CarSim 联合仿真数据集,用分层评测框架对比 12 个视频世界模型
94

PORTER: Edge-Cloud Residency for Persistent 3D Scene Graph Memory

Yue Chang, Yifan Tian, Jiajing Peng, Dazhi Huang, Rufeng Chen, Zhaofan Zhang, Li Chen, Sihong Xie
任务设定 机器人长期运行中 3D 场景图记忆的边缘-云端管理
痛点动机 任务切换下场景图数据在边缘设备持续累积,内存难以长期维持
解决方案 解耦持久性与驻留位置,用不可替代支持度擦除指标决定物体载荷向云端卸载
95

Scope-WM: Scoped Computation for Efficient Visual World Models

Chunzheng Li, Zesheng Jia, Hongda Zhang, Jiaying Tang, Yuntian Wang, Siao Liu, Jin Wang
任务设定 面向机器人规划的视觉世界模型加速方法
痛点动机 密集状态传播和轨迹优化导致推理延迟高、显存占用大
解决方案 轻量选择器筛选关键 token 做完整动态预测,其余区域用摘要更新,并复用 MPC 高质量动作序列。
96

WorldAgent: Verification-Guided Agentic Physical World Construction

Caoliwen Wang, Mengdi Wang, Yige Chen, Zejia Wu, Bowen Huang, Siyuan Chen, Guanxiong Chen, Lifu Wei, Heng Zhang, Qinghai Zhang, Yin Yang, Guandao Yang, Shiying Xiong, Peng Wang, Chenfanfu Jiang, Peter Yichen Chen
任务设定 根据自然语言指令构建可验证的物理三维世界
痛点动机 现有方法难协调多尺度 3D 场景与物理约束,需反复人工调试
解决方案 提出 WorldAgent 智能体框架:构建层生成场景并模拟,验证层检查几何与仿真结果,失败则自动修订重跑。
97

TAO-DA: Towards Autonomous Operation--A Dual-Arm Vision-Language-Action Model for Coordinated Manipulation

Yongsheng Zhao, Han Gao, Baoping Cheng, Jingyao Tang, Dian Zhou, Deng Liang, Ji Ge, Xuanzhang Wen, Lei Zhao, Ye Wang
任务设定 面向双臂协同操作的 VLA 模型
痛点动机 现有 VLA 模型未区分双臂状态意图,导致跨臂干扰降低成功率
解决方案 提出对称双臂专家架构(共享 VLM 骨干+专用塔),两阶段意图路由选专家,并用进度预测模块实现协同调度。
98

DeltaWAM: Change-Centric Visual Foresight via Delta Tokens for an Efficient World-Action Model

Tianyun Jiang, Wenrui Bao, Bingxin Xu, Yu Tian, Yuzhang Shang
任务设定 机器人操作的世界-动作模型视觉预测
痛点动机 像素级全场景重建导致计算冗余高、开销大
解决方案 用紧凑 delta token 编码帧间 DINO 特征变化,配合流匹配预测动作
99

Dynamic Manipulation with World-Action Models via Counterfactual Planning

Sunwoo Park, Wonbin Lee, Seonghyun Jin, Youngmin Kim, Jangho Park, Jong Chul Ye
任务设定 世界动作模型抓取运动目标的动态操作
痛点动机 静态演示训练导致目标响应坍塌,难应对目标移动
解决方案 提出反事实规划,构造虚拟观测复用已学操作技能
100

FloodDiffusion 2: Efficient and Path Controllable Streaming Motion Generation

Yiyi Cai, Yuhan Wu, Kunhang Li, Tu Fangyuan, Xiangyue Zhang, Qiaoge Li, Zhixiang Wang, Kaipeng Zhang, Haiyang Liu
任务设定 流式动作生成的效率与轨迹可控性
痛点动机 前代模型计算冗余大且路径控制不精确
解决方案 引入 Partial Attention 支持 KV 缓存,并加入精确路径条件控制
101

Beyond Tasks: A Vision for Reproducing an Animal-like Behavioral Substrate Using Modern Robot Learning Techniques

Samiyuru Menik, Hemadri Jayalath
任务设定 具身智能体的持续行为一致性研究愿景
痛点动机 现有机器人学习关注孤立任务,缺动物式持续适应
解决方案 提出行为基底概念,以机器人伴侣动物作为研究载体
102

DroneWAM: Efficient World Action Model for Drone Visual Navigation

Liang Yao, Fan Liu, Hongbo Lu, Wei Xu, Jianyu Jiang, Yijun Shen, Chuanyi Zhang, Pai Peng
任务设定 无人机视觉导航的世界动作模型
痛点动机 无人机需兼顾高精度与低算力双重约束
解决方案 采用 JEPA 式表征预测,配 Resampler 压缩与自适应展开深度
103

Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation

Yuheng Huang, Yunpeng Qing, Yixiao Chi, Yilun Kong, Changqing Zou
任务设定 离线到在线强化学习中的策略适应
痛点动机 离线训练削弱网络可塑性,限制在线提升效果
解决方案 提出 REFIT ,蒸馏策略到新初始化学生网络恢复可塑性
104

Train Together or Merge Later? Unifying VLA Experts via a Shared Action Interface

Zhizhen Zhang, Yuxia Fu, Zijian Wang, Helen Huang, Yadan Luo
任务设定 多任务 VLA 策略的模型融合问题
痛点动机 联合训练难保留任务增益,专家直接合并易互相干扰
解决方案 提出 PolicyWeave ,共享动作接口并上下文引导稀疏合并 LoRA
105

Toward Comprehensive 3D Grounding: Orientation Grounding through Vision-Language Models

Tuo Liang, Disheng Liu, Nengbo Wang, Vipin Chaudhary, Yu Yin
任务设定 3D 场景中依据语言/框选查询预测物体 6D 朝向与对称性
痛点动机 现有 3D VLM 只关注物体位置,忽略朝向及对称歧义
解决方案 构建 ReferOri 数据集,提出 OG-VLM 加入朝向/对称 token 与几何感知损失
106

VPTwin: Real-Sim-Real Video Prediction for Robotic Manipulation Planning

Zhenghao Xiao, Minting Pan, Nantian He, Dongzhan Zhou, Yunbo Wang
任务设定 机器人操作规划中的动作条件视频预测世界模型
痛点动机 纯数据驱动预测长时序会累积误差、产生物理幻觉
解决方案 VLM 重建数字孪生,用 Isaac Sim 多次仿真校正视频预测的物理合理性
107

CAPEX: Efficiently Distilling Foundation Model Behavior into Deployable Robot Policies through Experience-Adaptive Reasoning

Shivam Aarya, Zhang Xi-Jia, Chengyue Huang, Junhyun Kim, Huishu Xue, Hrishit Leen, Roman Yakunin, Animesh Garg, Zsolt Kira
任务设定 把基础模型的操作能力蒸馏成可部署机器人策略
痛点动机 人工遥操作采集演示成本高、难扩展且异步
解决方案 用基础模型自主生成演示,依据执行经验自适应调整规划频率降低调用开销
108

RoboFoundry: System-as-Policy Evolution for Self-Learning Embodied Agents

Jingsong Liang, Shuhao Liao, Shizhe Zhang, Diyuan Hou, Yuxin Cai, Xinjian Deng, Chengyang He, Wenhui Huang, Runjia Tan, Zhidong Wang, Lan Yu, Xuesong Tian, Guillaume Sartoretti, Jie Luo, Yao Mu, Wenjun Wu, Wanhua Li, Chen Lv
任务设定 具身智能体系统(记忆/技能/上下文)的自我进化
痛点动机 现有方法只优化单个组件,难以实现系统级自我提升
解决方案 提出 System-as-Policy 框架,把执行轨迹转化为可验证的系统级更新
109

FINE: Future-Informed Navigation Encoding for Data-Efficient Vision-Language Navigation

Khang H. Nguyen, Hoang Pham Quang Nguyen, Ha Phuong Nguyen, Khanh Dinh Binh, Xuan Ha Nguyen, Vien Ngo, Duy Ho Nguyen Minh, Huan Nguyen, An T. Le
任务设定 少样本视觉-语言导航 (VLN) 的自适应问题
痛点动机 新环境适应依赖昂贵演示,未充分利用轨迹信息
解决方案 提取未来地标特征辅助训练,并用视频世界模型生成反事实未来做对比学习
110

An Empirical Study on What Matters for Viewpoint-Generalizable Policies in Visual Imitation Learning

Mino Nakura, Sriram Krishna, Yufei Wang, Shubham Tulsiani, Zackory Erickson, David Held
任务设定 研究视觉模仿学习中策略的视角泛化能力
痛点动机 视觉运动策略对相机视角扰动很脆弱,难以跨场景部署
解决方案 保留密集视觉 token 并让动作头参与几何推理,显著提升跨视角泛化及仿真到真实的迁移
111

From Feed-Forward to Flow: Unifying Reconstruction and Generation Is Easier Than You Think

Haoru Wang, Qianfan Shen, Kai Ye, Wenzheng Chen, Baoquan Chen
任务设定 统一 3D 场景的重建与生成任务
痛点动机 前馈重建易产生模糊,条件生成又易产生场景不一致的细节
解决方案 提出基于流匹配的统一预测器,单步完成重建、多步展开生成,用于新视角合成与几何预测
112

ProDyGS: Dynamic Gaussian Splatting from a Single Static Monocular Camera

Ugo Leone Cavalcanti, Fabio Tosi, Matteo Poggi, Andrea Conti, Vladimir Zlokolica, Valerio Cambareri, Stefano Mattoccia
任务设定 单个静态单目相机视频的动态场景新视角合成
痛点动机 现有方法依赖多视角拍摄或明显相机运动提供几何约束,静态单目场景缺乏此类监督
解决方案 用单目深度估计生成代理多视角图像作监督,训练可变形高斯建模时序动态
113

World Models with Predictable Long-Horizon Marginals

Yuhao Du, Shunian Chen
任务设定 研究世界模型长时程 rollout 的分布保持问题
痛点动机 单步预测准确≠长期 rollout 不偏离真实数据分布
解决方案 学习固定高斯参考分布的解码器,约束行为平均转移保持该分布,实现长期展开的精确不变性
114

World SLAM Model: Joint World Modeling for SLAM and Navigation

Minghui Qin, Yijun Yuan, Weicheng Zheng, Kenan Li, Weibang Wang, Chang Sun, Junhao Huang, Anmin Liu, Yicheng Yao, Hang Zhao
任务设定 统一 SLAM 与导航的世界模型框架
痛点动机 以往方法只把 SLAM 当上游位姿/地图输出,未与导航深度融合
解决方案 WSM 联合预测未来视觉状态、相机运动与几何,持续更新空间世界状态驱动导航决策,端到端联合训练
115

Levy-Driven Correspondence Estimation for Registration

Qianliang Wu, Jiaqi Yang, Wankou Yang, Le Hui, Jin Xie, Jian Yang, Yaqing Ding
任务设定 低重叠/非刚性点云的对应点估计问题
痛点动机 迭代修正匹配虽有效,但网络评估代价高限制了迭代次数
解决方案 提出 LevyMatch ,用莱维过程随机跳跃迭代更新软匹配矩阵,布朗桥公式+Gamma 时钟高效精修对应关系
116

RECAST: Recasting Vision-Language Semantics into an Actionable Cost Map for Robot Navigation

Incheol Cho, Jintae Park, Jinkyu Kim, Jungbeom Lee, Jaegul Choo, Seokha Moon
任务设定 融合 VLM 语义理解构建机器人导航可执行代价图
痛点动机 纯学习模型难泛化, VLM 理解难落地为具体动作
解决方案 用 VLM 判断可通行区域与风险,结合视觉基础模型定位后转为代价图指导轨迹选择
117

Harnessing Coupled Stream Completion For Human-Object Ineraction Modeling

Dawei Guan, Di Yang, Jiangtao Wang
任务设定 文本驱动的人体-物体交互( HOI )联合生成
痛点动机 身体、物体、手部运动尺度各异,还需保持接触与时序一致
解决方案 提出 TRACE :分离编码三条运动流并耦合更新,用几何损失约束接触关系
118

Are Vision-Language-Action Models Robust to One-Step Observation Perturbations?

Shojiro Yamabe, Jun Sakuma
任务设定 研究 VLA 模型对单步观测扰动的鲁棒性
痛点动机 瞬时观测被干扰这一安全威胁此前很少被研究
解决方案 提出 CARE ,依据动作块预测一致性动态调整执行长度以抵御扰动
119

Can Motion-Language Models Ground Structure? STRIDE for Evaluating the Evaluators

Lixing Tan, Qing Xia, Yuting Guo, Shuai Li, Aimin Hao
任务设定 评估运动-语言模型评估器对结构的理解能力
痛点动机 评估器对时序顺序和镜像翻转等结构扰动不敏感
解决方案 提出 STRIDE 基准诊断评估器,并用结构化难负例改进对比学习
120

De-biasing Skeleton-based Action Recognition with Convex Hull Adaptive Shift

Mengyuan Liu, Yuhang Wen, Yi Zhang, Songtao Wu, Hong Liu, Junsong Yuan, Beichen Ding
任务设定 骨架动作及人机/人物交互识别任务
痛点动机 坐标原点选择引入实体偏置,损害识别精度
解决方案 提出凸包自适应偏移归一化,约束原点落在骨架凸包内以去偏
121

DRAM: Delta-rule Recurrent Associative Memory for Robot Manipulation Policies

Xinyu Zhao, Yixiang Shan, Tao Yang, Runyu Lei, Yiming Zhao, Jiaxin Fan, Zongbao Feng, Peng Jia
任务设定 为预训练机器人操作策略加入长程记忆
痛点动机 现有策略仅靠短时窗口,难以建模长程历史依赖
解决方案 提出 DRAM 插件式关联记忆模块,基于 delta-rule 线性注意力免改骨干
122

RE-0: Verified Recursive Improvement of Embodied Code-as-Policy Agents through Local On-Policy Distillation

Jiawei Zhang, Xiangrong Zhang, Rui Song, Huanbin Zhou, Chengye Song, Hongzhou Wang
任务设定 提升 Code-as-Policy 具身智能体长时任务能力
痛点动机 教师模型并非全局可靠,直接蒸馏会误学其错误行为
解决方案 对学生失败轨迹做局部验证式蒸馏,仅用校验过的教师纠正做监督
123

Affordance-Conditioned Decision Making: Bridging the Semantic-Spatial Gap in Zero-Shot Cross-Floor Vision-and-Language Navigation

Xuekang Yang, Lu Chen, Shuang Luo, Jialing Zhu, Qi Zhang, Yue Gao, Xiang Zhang
任务设定 跨楼层视觉语言导航中语义到物理执行的落地问题
痛点动机 到达楼梯/门口不等于能通过,易执行失败
解决方案 提出 PACE 模块,将语义目标转化为可执行的 affordance 位姿,并用偏好优化提升闭环纠错
124

DS-VLA: A Dendritic-inspired Vision-Language-Action Model for Robust Action Control

Yaxing Lyu, Jingyi Li, Mingkun Xu, Yujie Wu
任务设定 语言指导机器人操作中的动作鲁棒性问题
痛点动机 动作执行受扰动时 VLA 模型鲁棒性差
解决方案 引入树突脉冲动力学与抑制门控机制,提升动作控制稳定性
125

RoboSTAR: Next-Scale Autoregressive Sign Language Translation for Humanoid Robots

Yujia Zeng, Chensheng Peng, Yuxin Chen, Alex Shao, Nathan Jew, Masayoshi Tomizuka
任务设定 面向人形机器人的手语生成与执行
痛点动机 自回归方法难以兼顾长程与局部动作依赖
解决方案 采用多尺度自回归结合有限标量量化,逐步生成精细动作并重定向到机器人
126

Federated Subspace Guided Vision-Language-Action Policy Distillation for Non-IID Multi-Robot Manipulation

Biprodip Pal, Kaushik Roy, Yanming Zhu, Brendan Tidd, Alan Wee-Chung Liew, Peyman Moghadam
任务设定 多机器人非独立同分布下的操作策略联邦学习
痛点动机 数据异构导致朴素参数聚合破坏策略性能
解决方案 提出 FedDRMan ,用子空间蒸馏与聚类聚合保留策略几何结构
127

Skeletons in Flow: Graph Structured Flow Matching for Human Motion Prediction

Yixuan Wang, Brandon C. Fallin, Warren E. Dixon
任务设定 预测符合骨骼结构的未来人体运动轨迹
痛点动机 需同时满足骨骼刚性约束与时空运动一致性
解决方案 提出 图结构流匹配( GSFM ),用时空注意力建模关节演化并保持骨长不变
128

RAO-Nav: Probing Omni-Language Models for Zero-shot Semantic Audio-Visual Navigation

Qilang Ye, Meng Liu, Yu Zhou
任务设定 零样本语义视听导航任务
痛点动机 现有专用模型难以在无任务专训练下实现多模态导航
解决方案 提出 RAO-Nav 框架,直接利用全模态语言模型知识,结合 潜在导航推理 模块决策
129

Devol-ONE: One Autoregressive Mixture of Transformers to Unify Vision-Language-Action and Latent World Modeling

Hongyi Cai, Yi Herng Ong, Tingshiuan C. Wu, Lim Chiew Hui, Hanxia Li, Kehong Guo, Sze Yuan Cheong
任务设定 统一 VLA 与世界模型的机器人策略学习框架
痛点动机 现有方法中动作生成与未来场景预测架构分离,缺乏动态联动
解决方案 提出 Devol-ONE ,用 混合 Transformer 自回归联合预测潜在动态与动作
130

Auditing Quality Filters for Long-Tail Human Data Curation

Rishav Agarwal, Nirshal Chandra Sekar, Anirudh Vemula
任务设定 研究施工场景中下蹲/弯腰姿态数据被过滤丢失的问题
痛点动机 自动标注的质量过滤器易舍弃低置信度样本,导致长尾姿态稀缺
解决方案 用 NLF 姿态估计提取关节并聚类,结合多种姿态线索验证过滤器对低姿态的系统性偏差
131

Metro-WM: Long-Horizon Latent Planning with Realisable Sub-Goals

Royson Lee, Fady Rezk, Titouan Parcollet, Timothy Hospedales, Cristina Cornelio
任务设定 基于世界模型的长时程目标导向潜在规划任务
痛点动机 分层规划器常生成物理上不可实现的潜在子目标
解决方案 构建历史轨迹图,检索真实可达状态作为子目标并拼接路径,抗执行误差、速度更快
132

PHIRL: Aligning Learned Rewards with Task Progress for Inverse Reinforcement Learning

Hang Yu, James Staley, Cheng Xi Tsou, Xiujin Liu, Wenchang Gao, Jindan Huang, Shijie Fang, Zhegong Shangguan, Angelo Cangelosi, Reuben Aronson, Elaine Short
任务设定 结合示范与反馈的逆强化学习奖励学习任务
痛点动机 示范信息密集但不精确,反馈精确却稀疏,难以兼顾
解决方案 提出 PHIRL ,用任务进度信号对齐从示范学到的奖励,减少机器人标注需求
133

ConflictVLA-Bench: Benchmarking Behavioral Responses of Vision-Language-Action Models to Premise Conflicts

Liyu Hou, Yuan Wu, Yi Chang
任务设定 评测 VLA 模型在前提矛盾指令下的行为表现
痛点动机 仅看任务成败无法区分模型是拒绝执行还是盲目坚持错误目标
解决方案 构建 ConflictVLA-Bench ,基于 LIBERO 设计冲突任务,分析执行轨迹而非仅结果
134

Robot Manipulation with GPT-6-Astra: Body Knowledge, Experience Reuse, Emergent Skills, and Sim2Real Transfer

Sida He, Lingxi Xie, Yunning Cao, Pengfei Chen, Kaiwen Duan, Jiannan Ge, Xinyue Huo, Jiacheng Shao, Qi Tian
任务设定 研究如何用 GPT-6-Astra 控制机器人完成电梯按钮操作任务
痛点动机 通用多模态智能体控制机器人时探索慢、执行效率低
解决方案 通过具身知识、经验复用与自涌现技能提升效率,并验证仿真到真实迁移
135

What Stops Recursive Self-Improvement in Robotics? Lessons from 123 Rounds of Agentic Skill Discovery

Jiaming Wang
任务设定 探索机器人能否像编程智能体一样自我改进技能
痛点动机 级联感知模块难理解空间关系,技能链早期瓶颈锁死后续学习
解决方案 让智能体自主发现失败原因并编写新技能,仿真中 123 轮迭代测试
136

Calibration-Free Surface Normals Estimation in Vision-Based Tactile Sensing using Universal Photometric Stereo

Zdravko Dugonjic, Stefanie Speidel, Roberto Calandra
任务设定 视触觉传感器接触表面法线估计,无需传感器标定
痛点动机 传统标定方法依赖已知探针按压,难以跨传感器泛化
解决方案 用通用光度立体神经网络直接估计接触表面法线,跨多传感器验证
137

EgoTSR++: Egocentric Spatiotemporal Reasoning for Task Progress Understanding

Xiaoda Yang, Can Wang, Yuxiang Liu, Pengfei Zhou, Jianwen Lou, Shuicheng Yan
任务设定 第一人称视角下判断操作任务进度状态
痛点动机 VLM 易受时间顺序线索误导,难以真正理解任务状态
解决方案 构建 SpatialLogic-Bench 评测,用 CoT-to-Tag 课程训练提升顺序鲁棒性
138

LatentReRig: An SDF-Based VAE with Dual Decoders for Latent-Space Deformation Conditioning

Daniele Dolci, Fabrizio Poggioni, Carlo Melchiorri
任务设定 研究跨角色、跨拓扑的人体姿态形变迁移
痛点动机 传统绑定依赖角色专属结构,难以泛化到新角色
解决方案 用 SDF-VAE 双解码器学习隐空间形变方向,重建隐式场并预测顶点位置
139

PanoFuse: Panorama-Enhanced Vision-Language-Action Learning with Decoupled Semantic-Geometric Routing

Peng Xu, Haoran Lin, Wanjun Jia, Kai Luo, Wenrui Chen, Zhiyong Li, Kailun Yang
任务设定 语言指令下机器人操作的视觉感知增强
痛点动机 普通相机视野有限,遮挡干扰物易致操作失败
解决方案 引入全景视觉分支,通过解耦语义-几何路由融合全局与局部特征
140

Uranus: Building the Next-Generation Simulation Infrastructure for Embodied AI

Wenkang Qin, Yukun Zhou, Noah Shen, Jisong Cai, Dongxiao Mao, Baicheng Li, Yue Zhang, Wei Sui
任务设定 构建可扩展的具身智能机器人仿真基础设施
痛点动机 真实交互成本高,传统仿真器构建费时费力
解决方案 提出关节轨迹条件化自回归扩散模型,流式生成多视角机器人观测
141

PanOVOcc: Panoramic Embodied Open-Vocabulary Occupancy Mapping with Long-term Spatial Voxel Memory

Di Kuang, Mengfei Duan, Yuhang Wang, Weixing Peng, Kailun Yang
任务设定 全景序列下开放词汇语义占据地图的持续构建
痛点动机 透视相机覆盖有限,现有全景方法只能预测局部体素
解决方案 统一全景 SLAM 与长期体素记忆,免训练构建可全局查询的语义地图
142

Fysiverse-3D-SimReady Technical Report: Agentic Physical Simulation for Pragmatic 3D World Reconstruction

Lintao Wang, Mingyang Sun, Yang Liu, Dingkang Yang, Lihua Zhang
任务设定 单张 RGB 图像重建可物理仿真的多物体 3D 场景
痛点动机 现有单图 3D 生成仅视觉合理,无法满足物理仿真需求
解决方案 通过可微渲染校正位姿与接触关系,支持具身智能体的物理交互