Daily Paper Feed

2026 年 09 月 30 日 星期三 · 共 31 篇相关论文 · 全部存档
1

Skill-Space Shooting for Autonomous Robot Policy Improvement

Zihang Rui, Renhao Wang, Haoxu Huang, Yang Gao
任务设定 让机器人部署后自主改进策略、克服失败
痛点动机 人工纠错难扩展,基础模型可复用技能更高效
解决方案 提出技能空间射击,用基础模型引导探索可复用技能,将成功试验转化为策略改进
2

Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering

Jaewoo Jung, Hyeonseo Yu, Honggyu An, Jisang Han, Mungyeom Kim, Minkyeong Jeon, Heeseong Shin, Wonjun Moon, Federico Tombari, Daniel Barath, Marc Pollefeys, Seungryong Kim, Sunghwan Hong
任务设定 让 MLLM 从多视角图像理解 3D 场景后再回答问题
痛点动机 现有 MLLM 难以整合多视角证据形成连贯 3D 理解
解决方案 引入摘要 token 解码为 3D 高斯泼溅表示,联合训练增强跨视角对应
3

Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation

Zihan Wang, Zhen Wu, Pieter Abbeel, Rocky Duan, Jitendra Malik, Carmelo Sferrazza, C. Karen Liu, Guanya Shi, Angjoo Kanazawa
任务设定 让人形机器人学习抓取搬运多样物体的移动操作
痛点动机 真实人机交互视频采集昂贵,难以规模化训练
解决方案 提出 PRISM 框架,用反事实视频生成扩增数据,经 real-to-sim 重建后训练策略
4

Rethinking Representations for World-Action Modeling

Haoyi Jiang, Liu Liu, Xinjiang Wang, Zhihao Sun, Zequn Chen, Sen Wang, Xinjie Wang, Xia Chen, Jingfeng Yao, Weiheng Zhao, Shanglin Yuan, Zhizhong Su, Wei Sui, Wenyu Liu, Xinggang Wang
任务设定 研究世界-动作模型中表征空间的设计方式
痛点动机 单纯重建保真或预训练特征都难保证策略学习效果
解决方案 提出 ReWAM ,基于 DINO 特征做时序瓶颈压缩,用动作梯度塑造表征
5

Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies

Hui Ren, Lei Fan, Henry Pao, Han Guo, Zeeshan Zia, Ying Chen, Alexander Schwing, Gang Hua
任务设定 长视频问答中跨事件关联同一实体身份
痛点动机 时间线描述难区分同名异物,丢失实体连续身份
解决方案 构建 Grounded Entity Biographies ,聚合视觉锚定观测为可检索实体传记
6

HelixWorld: A Real-time Interactive Audio-Visual World Model

Lei Ke, Jiahao Pan, Zeyue Tian, Jiaming Wang, Haoyuan Huang, Kam Man Wu, Pengjun Fang, Hongyu Liu, Chenyang Qi, Lin Wang, Ruibin Yuan, Weijia Chen, Fangneng Zhan, Qifeng Chen, Wei Xue, Yike Guo
任务设定 实时交互式音视频世界模型生成
痛点动机 现有交互世界模型只有画面,缺同步空间音效
解决方案 用双向教师模型学习相机轨迹下的音画生成,蒸馏为流式学生模型,实现 24FPS 音画同步交互
7

Self-Aligned Forcing: Streaming Video Diffusion with Differentiable Noisy History

Weiqiang Wang, Zhuokun Chen, Yusheng Dai, Boying Li, Yi Zhang, Hossein Rahmani, Qiuhong Ke, Jianfei Cai
任务设定 自回归视频扩散的流式交互生成
痛点动机 长程生成易漂移,自回归训练与双向训练存在差距
解决方案 将历史 K/V 噪声水平与当前去噪阶段对齐,训练提速 1.8 倍,推理更快
8

MUGEN: Interactive Panoramic World Exploration via Camera Control

Jiaming Tan, Zhen Li, Shuwei Shi, Minggui Teng, Siqi Yang, Yuwei Wu, Bo Zheng, Chuanhao Li, Kaipeng Zhang
任务设定 基于相机控制的全景世界探索视频生成
痛点动机 全景视频数据集缺相机轨迹,现有模型不支持全景几何
解决方案 构建大规模全景数据集,提出 ERP 感知的 Wan360 模型实现精准相机控制
9

WorldLine: Action-Driven Visual Simulation for Robotic Manipulation

Shenghe Zheng, Wenbo Li, Jiyao Zhang, Bin Xia, Haoyang Huang, Nan Duan, Jiaya Jia
任务设定 面向机器人操作的动作驱动视觉仿真器
痛点动机 真实机器人数据昂贵,视频生成常忽略动作与物理一致性
解决方案 用图像空间动作表征统一跨本体控制接口,解耦动力学学习与动作对齐
10

EVO-WAM: Evolving World Action Models through Video-Action Verification

Shiyang Zhou, Xionghao Wu, Wenbo Li, Shenghe Zheng, Jiyao Zhang, Songsong Yu, Yijun Yang, Jianhui Liu, Haoze Sun, Senqiao Yang, Li Jiang, Jingyong Su, Haoyang Huang, Zhuotao Tian
任务设定 无需额外示范让世界动作模型适应新任务
痛点动机 生成视频可能动作不一致,难以验证任务是否真正完成
解决方案 用 VLM 筛选成功片段,逆动力学模型校验后迭代自训练
11

ORMA: Optimization-based Monocular 4D Reconstruction of Articulated Animals

Xuyi Hu, Francesco Palandra, Shangzhe Wu, Daniel Cremers, Riccardo Marin, Silvia Zuffi
任务设定 基于单目视频重建四足动物的 4D 关节化形状与运动
痛点动机 动物形态多样、缺乏 4D 监督数据,模型难以泛化新物种
解决方案 解耦姿态与形状,用 SMAL+ 配准,结合生成式 3D 先验与 DINO 时序一致性优化几何
12

PhysWAM: Physically Consistent World Action Model for Autonomous Driving

Dhruv Parikh, Fengcheng Yu, Quankai Gao, Jiawei Yang, Junjie Ye, Maulik Bhatt, Thang Vu, Charles Ochoa, Rowan McAllister, Igor Vasiljevic, Rajgopal Kannan, Viktor Prasanna, Vitor Guizilini, Yue Wang
任务设定 自动驾驶场景演化与自车动作联合预测
痛点动机 联合生成缺乏几何一致性约束
解决方案 流匹配 Transformer 联合去噪视频/深度/动作,耦合点投影对齐 LiDAR 几何
13

Does Local Video Understanding Transfer Across Encounters? The EgoGears Benchmark

Yuedong Tan, Lei Qi, Yu Liu, Di Wen, Ruiping Liu, Xiaoye Wang, Yufan Chen, Junwei Zheng, Chengzhi Wu, Chen Zhang, Zhihang Chen, Haiwen Sun, Zongwei Wu, Radu Timofte, Danda Pani Paudel, Kunyu Peng
任务设定 评测第一视角视频跨片段理解迁移能力
痛点动机 聚合准确率掩盖了证据对应能力缺陷
解决方案 构建 EgoGears 基准,含单/多视频问答测试跨视频证据绑定
14

Explore, Execute, Evolve: A Skill Acquisition and Reuse Loop for Embodied Agents

Sicheng Xie, Yitong Chen, Haidong Cao, Shunlin Lu, Zuxuan Wu, Yu-Gang Jiang
任务设定 具身智能体通过技能复用完成未见任务
痛点动机 每次从零探索物理世界,执行成本高昂
解决方案 提出 Explore-Execute-Evolve 循环,结合触觉反馈与代码化技能库降低开销
15

CogWAM: Aligning Semantic Cognition with World Action Modeling via Event-Driven Interfaces

Sen Wang, Liu Liu, Xinjiang Wang, Zequn Chen, Haoyi Jiang, Taojun Ding, Tingyang Xiao, Zhizhong Su, Jie Wang, Sanping Zhou
任务设定 机器人操作中对齐语义认知与世界动作建模
痛点动机 局部预测与动作易与任务进度脱节
解决方案 引入持久语义状态记录任务进展,用进度条件化的 WORLD/ACTION 查询 提取相关信息指导预测与动作生成
16

Generative Interactions: Weaving Multiparty Human Motion with Bilevel Latent Dynamics

Ojas Shirekar, Yash Surange, Agustinas Jučas, Chirag Raman
任务设定 多人社交互动动作的生成式建模
痛点动机 群体动态与个体差异相互影响,现有模型交互状态隐式、难迁移
解决方案 提出双层隐变量模型 BRAID ,用群体级与个体级隐状态分层建模,基于 SMPL 统一表示
17

Honeycomb: Constant-Size Scene Memory Representation for Video World Models

Jack Wei Lun Shi, Kaichen Zhou, Haoyu Chen, Yufeng Weng, Keane Ong, Ruojin Cai, Hang Hua, Justin K. W. Yeoh, Mengyu Wang
任务设定 长时程视频生成中的场景记忆一致性维护
痛点动机 现有空间记忆随生成推进不断累积,存储开销持续增长
解决方案 提出固定大小低秩记忆 HexMemory ,用六个空间/时空平面存储场景特征并增量更新
18

Beyond a single latent space: a dual-latent world model for long-horizon planning

Delin Zhao, Zhengrong Yue, Shaobin Zhuang, Junlin He, Xiaoyu Chen, Zikang Wang, Yuxin Liu, Limin Wang, Yali Wang
任务设定 长程目标条件规划任务中的世界模型学习
痛点动机 单一隐空间递归 rollout 误差累积,目标判别变弱
解决方案 提出双隐空间世界模型,高层规划宏动作、低层执行细节,配合加权长程 rollout 监督训练
19

Credit-Guided Policy Improvement for Test-time Adaptive Vision-Language Navigation

Yang Li, Sijia Zhang, Yihan Li, Aming WU, Zihao Zhang, Ziju Han, Yahong Han
任务设定 视觉语言导航(VLN)智能体的测试时自适应
痛点动机 环境分布偏移易致动作偏离指令目标,难判断对错
解决方案 提出 CGPI ,从动作引发的观测变化反推决策信度,仅保留可靠的策略更新
20

APM-Bench: Benchmarking Cross-session Persistent Memory for Egocentric Streaming Video Assistants

Jianguo Huang, Jinming Liu, Qiyao Wang, Liang Xu, Jianhang Li, Zhimian Wen, Mingda Li, Shule Lu, Zhicheng Wang, Yuhan Guo, Xin Jin, Wenjun Zeng
任务设定 跨会话持久记忆的第一人称流式视频助手基准
痛点动机 现实交互常被打断,需记忆跨多段会话延续调用
解决方案 提出 APM-Bench ,含 549 段会话/104 条轨迹,评测持久记忆机制的效果-延迟-存储权衡
21

RawVLA: Embodied Neural Image Signal Processor For Robotic Manipulation

Shuhong Liu, Heng Zhou, Lingfeng Qian, Yuhao Fang, Xianbao Hou, Qianyu Zhou, Lin Gu, Wei Sui, Jianfei Yang, Ziteng Cui
任务设定 研究 RAW 图像信号处理对机器人操作策略的影响
痛点动机 现有 VLA 直接用固定 ISP 处理后的 RGB 图,未纳入学习闭环
解决方案 提出 RawVLA 神经 ISP,自适应渲染 RAW 观测给冻结 VLA 策略,提升恶劣成像下的鲁棒性
22

Video2STL: Grounding VLM-Generated Temporal Specifications for Robot Learning

Merve Atasever, Keyan Azbijari, Cagan Bakirci, Bo-Ruei Huang, Tolga Izdas, Zahra Shahrooei, Richard Yang, Erdem Biyik, Jyotirmoy V. Deshmukh
任务设定 从无动作标注的视频中学习机器人策略
痛点动机 现有方法难以显式表达、检验和复用视频中的时序任务结构
解决方案 提出 Video2STL,用 VLM 把视频转成信号时序逻辑规范,支撑跨本体的奖励设计
23

BeatDance: Generating Beat-Consistent 3D Dance with Hierarchical Spatial-Temporal Modeling

Xiaojian Shen, Dahu Shi, Jianrong Zhang, Hai Li, Hongwei Zhao, Dawei Zhang, Yunzhi Zhuge, Zhiliang Wu, Guanghui Yue, Wei Zhou
任务设定 根据音乐生成与节拍对齐的 3D 舞蹈动作
痛点动机 现有方法动作虽合理,但难以精确对齐音乐节拍细节
解决方案 提出 BeatDance 扩散框架,用分层解耦注意力建模时空动态,并加入舞蹈-音乐循环一致性约束
24

Direct Experience World-Model Optimization: Learning the World Beyond Action Imitation

Xiangcheng Zhan, Zirui Chen, Yicheng Zhao, Ziteng Gao, Shuo Yang
任务设定 部署后持续优化世界-动作模型以提升灵巧操作成功率
痛点动机 现有部署后学习只改进动作模仿,未改善世界预测,误差在高维动作空间中累积
解决方案 提出 DEWO,用成功/失败的真实视觉续写优化世界表征,并用进度停滞触发无分类器引导
25

Do-JEPA: From Masking to Intervention in Latent World Models

Hossein Resani, Javen Qinfeng Shi
任务设定 在潜在世界模型中区分动作的因果效应与偶然共现
痛点动机 现有预测式目标(如 C-JEPA)无法分辨变化是动作导致还是仅仅同时发生
解决方案 提出 Do-JEPA,对比同一状态下真实动作与参照动作的潜在未来差异,显式学习因果效应传播
26

Encore: Few-Shot Agentic Discovery of Manipulation Strategies

Yifan Kang, Zihan Wang, Zhiwen Fan, Bangya Liu
任务设定 从少量演示中让智能体自主写出机器人操作策略
痛点动机 任务指令含糊,仅靠语言难确定抓取顺序与接触细节
解决方案 编程智能体读取演示提炼的关键帧证据包,迭代编写并冻结可执行的操作程序
27

Seek Before You Move: Evidence Seeking for Progress Grounding in Vision-Language Navigation

Zhimin Wang, Meiyuan Zhu, Duo Wu, Linjia Kang, Yajun Wang, Yuan Ni, Xiaohang Wang, Tianlu Pan, Jingyan Jiang, Yaowei Wang, Zhi Wang
任务设定 视觉语言导航中主动寻找证据以判断任务进度
痛点动机 智能体常在证据不足时仍盲目自信前进,导致迷路
解决方案 提出 SeekVLN 框架,结合逆向数据增强与对比式强化学习训练主动寻证能力
28

Why Cross-Skeleton Retargeting Is Non-Identifiable: Structural Limits of Generative Motion Models

Zhiyuan Li, Wenyan Yang, Pekka Marttinen, Joni Pajarinen
任务设定 分析跨骨骼动作重定向生成模型的根本局限
痛点动机 训练数据无法区分动作迁移与生成默认动作两种解释
解决方案 提出 SIF 诊断指标,证明多数方法退化为与源动作无关的平均结果
29

UniAfford: Token-Routed Multitask Learning for Generalizable 2D-3D Affordance Perception

Yuhao Liu, Yiming Zhong, Hanqing Wang, Shaocheng Yan, Yuhang Zhang, Wenzhou Lyu, Ziyang Ding, Wei Zhang, Xue Zhao, Jin Pan, Yuexin Ma, Xinge Zhu
任务设定 统一 2D 与 3D 的可供性( affordance )感知
痛点动机 2D/3D 任务长期割裂,难以学到可迁移的物体-交互语义
解决方案 提出 Token Router 多任务框架,让 MLLM 共享语义驱动 2D/3D 解码器
30

Collision-Aware and Observation-Aligned Object-Centric Scene Reconstruction from Point Cloud

Yuxuan Xie, Xuan Yu, Rong Xiong, Yue Wang
任务设定 基于点云的物体级场景重建与补全
痛点动机 现有图像条件生成方法存在尺度歧义,几何约束不足
解决方案 提出 COOL 框架,联合实例与背景点云约束生成,并用碰撞损失减少穿插
31

V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents

Yang Zhang, Jiangyuan Zhao, Chenyou Fan, Jiayu Hu, Xiu Yuan, Chenjia Bai, Xiu Li
任务设定 构建世界-动作模型( WAM )用于机器人策略学习
痛点动机 现有 WAM 依赖完整预训练视频生成模型,成本高昂
解决方案 基于冻结的 V-JEPA 2.1 潜空间,联合训练未来预测器与动作专家