Daily Paper Feed

2026 年 10 月 12 日 星期一 · 共 31 篇相关论文 · 全部存档
1

Splat2Act: From Captured Scenes to Personalized VLA Manipulation

Xiaomeng Ye, Krishna Jaganathan, Gyubeum Lim, Gunjan Chhablani, Muhammad Zubair Irshad, Zsolt Kira
任务设定 将通用机器人抓取策略适配到用户真实家居场景
痛点动机 真实场景部署泛化差,逐场景采集演示太贵
解决方案 手机扫描重建 3D 高斯数字孪生,仿真生成大量演示微调 VLA 策略π0.5
2

Chronos Policy: Learning Robot Policies on Physical Time

Changhao Wang, Jaden Clark, Shuran Song
任务设定 让机器人策略显式建模物理时间而非固定步长
痛点动机 观测频率、延迟或推理耗时变化时固定序列假设失效
解决方案 用时间感知 RoPE 编码观测与动作时刻,提升扩散策略鲁棒性
3

Dream to Remember: Continual Steering of Generalist Robot Policies with World Models

Bahey Tharwat, Iman Nematollahi, Marvin Alles, Xingyuan Zhang, Akshay L Chandra, Abhinav Valada
任务设定 让通用机器人策略持续学习新任务而不遗忘旧技能
痛点动机 微调或引导模块都会导致灾难性遗忘
解决方案 用冻结的世界模型想象演练旧任务,引导轻量模块学习新任务同时保留旧技能
4

SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models

Changhui Jing, Haochen Tian, Hongchen Li, Tianyu Li, Caojun Wang, Zihao Zhang, Yanhao Liu, Chengen Xie, Bailin Li, Hao Zhao, Zhenjie Yang
任务设定 优化自动驾驶世界动作模型的轨迹规划
痛点动机 候选轨迹缺少真实视频监督信号
解决方案 用 3D 高斯溅射渲染候选轨迹视频,结合 GRPO 强化学习优化轨迹规划
5

LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos

Zhiyuan Xiang, Peidong Liu, Mingyang Li, Jiawei Li, Wenhow Li, Wenbo Ding, Xiang Deng
任务设定 用无动作标签的人类视频预训练机器人操作策略
痛点动机 机器人交互数据采集昂贵,人类视频虽丰富但缺少动作标签
解决方案 学习连续隐动作刻画帧间视觉变化作为监督,结合多种对齐信号预训练 VLA 策略
6

GLIMPSE: Global-Local Indexing with Multi-Precision Spectral Encoding for Explorable Video World Models

Zhufeng Xu, Henglei Lv, Bailin Deng, Yikang Ding, Xiaoqiang Liu, Guoxin Zhang, Hongbo Fu, Lin Gao
任务设定 让相机可控的视频世界模型在重访场景时保持一致
痛点动机 现有记忆机制对深度、位姿误差敏感,容易产生重影伪影
解决方案 用多精度位置编码迁移历史 patch 地址,并结合几何引导的频谱衰减降低误差敏感性
7

RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation

Xuhui Kang, Sung-Wook Lee, Yan Zhuang, Tianle Zhong, Yen-Ling Kuo
任务设定 用少量演示微调 VLA 机器人操作策略
痛点动机 直接微调会破坏预训练表征,损害分布外泛化能力
解决方案 检索预训练中相似任务表征做对齐,微调时限制表征漂移
8

ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation

Shun Kato, Dixin Yang, Kotaro Amaya, Yuiga Wada, Kazumi Fukuda, Takashi Shibuya, Yuki Mitsufuji, Mariko Isogawa
任务设定 长时长文本到动作生成中的跨片段指代一致性
痛点动机 现有模型难保持跨片段的指代约束连贯性
解决方案 构建 ELMA 长时长动作数据集,含密集片段标注并微调模型
9

MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures

Loan Bernat, Matthieu Grard, Ariane Herbulot, Florent Lamiraux
任务设定 评估长时程具身智能体在动态多机器人任务中的表现
痛点动机 现有基准缺乏对执行失败、任务中断等在线扰动的综合评测
解决方案 构建 MAGMA-Bench 基准,含异构机器人协作与持续任务推理场景
10

Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics

Peiyan Tu, Cong Wang, Hanxin Zhu, Xin Jin, Zhibo Chen
任务设定 构建融合人类视频与失败动态的动作条件世界模型
痛点动机 机器人数据 少见失败案例,人机具身差异阻碍跨域学习
解决方案 用点流统一人机运动表示,结合 GRPO 后训练建模失败动态
11

RESCUE: Is This Alarm Worth Acting On? Counterfactual Evaluation of VLA Runtime Monitors

David Ahmedt-Aristizabal, Abdelwahed Khamis, Mohammad Ali Armin, Lars Petersson
任务设定 评估 VLA 运行时监控器的报警是否真正值得干预
痛点动机 准确报警可能为时已晚,误报又会打断本可成功的执行
解决方案 用反事实回放比较干预与不干预下的任务完成代价
12

AlphaNIST: Emergent Assembly Skills from Binary Task Rewards

Octi Zhang, Iretiayo Akinola, Rosario Scalise, Mateo Guaman Castro, Patrick Yin, Tobias Widmer, Miles Macklin, Chris Amevor, Dylan Turpin, Dirk Van Gelder, Jan Carius, Ankur Handa, Gavriel State, Yunrong Guo, Yashraj Narang
任务设定 用 RL 解决 NIST 装配任务板上的精密机器人装配
痛点动机 以往方法依赖演示和密集奖励,策略设计程度不明确
解决方案 仅靠稀疏二元奖励和任务多样性,单一策略跨 20 个任务从零训练,涌现灵巧装配行为,成功率达 98.2%
13

PAGE: Parts-Aware Guidance for Co-Speech Gesture Portrait Video Generation

Yabiao Wang, Jiafu Wu, Yicheng Xu, Teng Hu, Shengzhe Zhou, Yanxiao Sun, Jiangning Zhang, Ying Tai, Yong Liu, Ming-Hsuan Yang
任务设定 从单张参考图和语音生成协同语音手势肖像视频
痛点动机 扩散模型局部细节退化,且音画难以精准对齐
解决方案 训练用局部重加权强化关键区域监督,推理用一致性引导修正音画错位
14

Sonic-AMG: Streaming Human Motion Generation from Spatial Audio

Jingcheng Ni, Zekun Li, Zhiyang Dou, Xiaoyan Cong, Ziyao Zeng, Hongyang Du, Randall Balestriero, Taku Komura, Srinath Sridhar
任务设定 根据空间音频流式生成人体反应动作
痛点动机 人类对声音的反应是实时的,无法预知未来音频
解决方案 用因果 Transformer 结合流匹配逐步生成动作,并用排练训练降低训练推理误差
15

QCLR: A Plug-in Robustification Module via Quantization for Contrastive Learning in Self-Supervised Skeleton-Based Human Action Recognition

Nanzhu Chen, Feixiang He, Yunfeng Diao, Duygu Sarikaya, He Wang
任务设定 骨架动作识别自监督对比学习的对抗鲁棒性
痛点动机 对比学习表征易受对抗攻击,影响识别可靠性
解决方案 插入量化模块阻断梯度传播吸收扰动,并用注意力引导量化保持表征质量
16

Dual-Stream Memory for Vision-Language-Action Policies

Yang Wang, Ping Liu, Ruiyu Wang, Xuhua Chen, Lingfeng Zhang, Tao Zhang
任务设定 视觉-语言-动作策略中记忆依赖型操作任务
痛点动机 策略需追踪执行状态并回溯已不可见的视觉证据
解决方案 用双流记忆:时序压缩 token 记录进度,任务检索器找回关键历史帧
17

GeoGR: Spatial-Semantic Token Compression and Group Routing for Efficient 3D VLMs

Yongxin Zheng, Hao Wu, Fang Li, Hu Fu, Peiran Yin, Xudong Wang, Haozhe Hu, Xinghao Chen, Yunpu Ma, Wei Zhang, Xiaoyu Shen
任务设定 研究多视角 3D 场景下高效的视觉语言模型推理
痛点动机 长视觉 token 序列导致 3D VLM 推理成本高、信息冗余
解决方案 提出 GeoGR 框架,用体素级场景压缩与分组路由跳过冗余 token 降低计算量
18

What Visual Representations Do World Action Models Need?

Kai Liu, Jiangran Lyu, Tingyu Deng, Yixin Zheng, Jingtian Wan, Wenbo Cui, Mi Yan, Yizhou Zhou, Haoran Li, Dongbin Zhao, Zhizheng Zhang, He Wang
任务设定 探索世界动作模型(WAM)应采用何种视觉表征
痛点动机 VAE 表征偏重视觉重建,未必利于机器人操作任务
解决方案 系统对比多种视觉表征与融合机制,提出 R²-WAM 配方,在 RoboCasa 上达 SOTA
19

EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents

Jie Huang, Yanan Chen, Ruixun Liu, Kaichen He, Xinyi He, Rui Huang, Zilong Zheng, Zhenliang Zhang, Yiwu Zhong
任务设定 提出具身智能体的持续学习能力评测基准
痛点动机 以往持续学习研究未涉及具身环境与技能组合泛化
解决方案 以组合泛化为原则设计任务,测试智能体能否复用基础技能解决复杂未见任务
20

JoyInside-VLM-Agent: Product-Conditioned Multimodal Policy Learning for Embodied Agents

Gangyi Li, LuYao Wang, Jingfu Sun, Jingyi Yuan, Hang Liu, Hao Zong, Yujia Hu, Tingting Gao, Jianyong Wang, Xu Yang
任务设定 机器人与智能硬件的具身智能体产品条件策略学习
痛点动机 产品约束、目标变化和执行反馈下动作生成难以稳定适应
解决方案 用 ReAct 式智能体与闭环沙盒轨迹,结合监督微调与 DPER 强化学习训练
21

What Egocentric Video Embeddings Encode and How to Combine Them with Inertial Sensors for Human Activity Recognition

Kansuke Habano
任务设定 分析第一视角视频嵌入内容,并与惯性传感器融合做人体活动识别
痛点动机 头戴相机嵌入编码的信息及多模态融合方式尚不清楚
解决方案 发现视频嵌入主要反映头部朝向/场景布局,用视频图传播惯性预测大幅提升识别效果
22

OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models

Xule Gao, Xi Wang, Zehua Zang, Rui Wang, Changwen Zheng, Chuxiong Sun
任务设定 离线场景下对 VLA 模型做目标导向式后训练优化
痛点动机 纯模仿学习偏向演示路径,偏离轨迹后难以恢复
解决方案 提出离线目标条件策略优化,用关键状态可达性奖励替代逐步动作模仿,提升恢复能力
23

MeshBind: Point-to-Mesh Binding for Non-Rigid Scene Flow Automatic Annotation

Yinqi Chen, E Li, Shuaijun Wang, Weiyuan Peng, Meiying Zhang, Qi Hao
任务设定 用网格模型自动生成非刚性行人点云场景流标注
痛点动机 行人等非刚性物体的场景流真值很难人工获取
解决方案 多视角重建铰接式人体网格并绑定到 LiDAR 点云,自动生成逐点场景流标签
24

LeWAM: End-to-End World and Action Modeling with JEPAs

Minghao Fu, Tavis Siebert, Eryk Halicki, Randall Balestriero
任务设定 用 JEPA 端到端建模世界动态与动作,支持机器人控制和规划
痛点动机 现有 JEPA 方法把表征、动力学与控制策略分离训练,效率低
解决方案 联合训练潜状态预测与动作流匹配,并对潜空间加高斯约束,一个模型兼顾策略执行与快速规划
25

Reference-Free Food Volume Estimation from Egocentric Stereo Video

Vivan Kumar, Gautham Vinod, Fengqing Zhu
任务设定 用可穿戴立体视频重建食物并估计体积
痛点动机 传统方法需手机多拍或放参照物,使用负担大
解决方案 用 FoundationStereo 立体匹配与 SAM2 分割,结合设备位姿实现无参照物真实尺度重建
26

StereoEngine: Scaling Stereo Bimanual Robot Data without Stereo Cameras

Jason Chen, I-Chun Arthur Liu, Gaurav Sukhatme, Daniel Seita
任务设定 为双臂机器人操作合成立体视觉训练数据
痛点动机 真实大规模立体机器人数据稀缺,制约策略扩展
解决方案 用视频扩散模型将单目演示转立体,或在仿真中联合渲染双目画面
27

Zebra3D: Efficient Hybrid Foundation Models For Scalable 3D Reconstruction

Utkarsh Saxena, Ruijing Yang, Mehdi Rezagholizadeh, Akash Haridas, Vikram Appia, Emad Barsoum
任务设定 加速前馈式 3D 重建基础模型处理大量视角
痛点动机 全局注意力计算量随视角数平方增长,难以扩展
解决方案 按层混合线性/稀疏注意力,无需从头训练即可大幅提速
28

ForcingBooster: Adaptive Patch-wise Denoising for Fast Autoregressive Video Diffusion

Zekai Gu, Peng Wang, Jiahao Lu, Yongsen Mao, Cheng Lin, Yuan Liu
任务设定 加速自回归视频扩散的实时视频生成与世界建模
痛点动机 现有方法对所有图像块统一分配去噪步数,存在浪费
解决方案 提出逐块自适应去噪,简单区域提前停止,困难区域多做细化
29

CASTER: Formalizing Zero-Shot Manipulation from Synthetic Videos as Constrained Optimization

Yinlong Dai, Homanga Bharadhwaj, Dylan P. Losey
任务设定 由合成视频生成零样本机器人操作轨迹
痛点动机 生成视频缺乏物理一致性,机器人难以直接执行
解决方案 将问题建模为约束优化,用视频中物体轨迹做初始猜测,在数字孪生中优化为物理可行轨迹
30

Fly-by-Code: Embodied Coding Agents for Aerial Manipulation with Active Visual and Physical Feedback

Jaewoo Lee, Jeongyeon Seo, Sihyun Cho, Gyeongrak Choe, Yutong Wang, Bavin Saravanan, Jia-Bin Huang, Furong Huang, Sebastian Scherer, Guanya Shi, H. Jin Kim, Seungjae Lee, Dongjae Lee
任务设定 空中机器人操作任务中的具身编码智能体
痛点动机 载荷限制导致视角受限,物理反馈难以定位失败原因
解决方案 提出主动反馈机制,通过观察 (View) 或物理探测 (Probe) 主动获取缺失证据
31

Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination

Shenglan Li, Zhendong Mi, Hengyi Zhu, Jingwu Luo, Chun Kit Chan, Geng Yuan, Yanzhi Wang, Pu Zhao, Shaoyi Huang
任务设定 VLA 机器人操作中的高效推理
痛点动机 显式预测未来场景推理开销大,影响部署效率
解决方案 在潜空间中想象未来场景演化,压缩为 Scene Gist Token 后加速推理