Daily Paper Feed

2026 年 09 月 21 日 星期一 · 共 27 篇相关论文 · 全部存档
1

GALA: Geometry-Aware Latent Action Modeling for Vision-Language-Action Model Pretraining across Embodiments

Yichen Liu, Puzhen Yuan, Xiang Zhu, Yanjiang Guo, Jianyu Chen
任务设定 跨具身 VLA 模型预训练中的隐动作表征学习
痛点动机 现有隐动作模型难以捕捉手指级精细几何变化
解决方案 提出几何感知隐动作建模,用统一末端执行器运动表示融合视觉与 3D 运动信息
2

Info3R: Information-Adaptive Test-Time Training for 3D Reconstruction

Sunghyun Baek, Hanna Bae, Minchan Kwon, Junmo Kim
任务设定 长视频流的在线 3D 重建与位姿估计
痛点动机 现有方法忽略帧信息量差异和模型状态饱和问题
解决方案 提出信息自适应测试时训练,动态调整状态更新强度并触发状态重置
3

VideoReloc: Long-Term Indoor Video Relocalization against a Kilobyte-Scale Semantic Scene Graph

Qianru Li, Xuyang Chen, Xuqin Wang, Zhenghao Zhang, Hongyi Luo, Tao Wu, Daniel Cremers, Lu Liu, Yanfeng Zhang
任务设定 依据紧凑语义场景图做室内长时视频重定位
痛点动机 光照家具变化后外观失效,单帧证据稀疏难定位
解决方案 提出 VideoReloc,自适应片段累积里程计证据,假设验证式位姿配准结合朝向感知优化,仅需 100KB 地图
4

ForceTwin: Physics-informed Digital Twins for Robotic Manipulation from Instrumented Human Interaction

Tim Engelbracht, René Zurbrügg, Mayank Mittal, Marco Hutter, Marc Pollefeys, Hermann Blum, Zuria Bauer
任务设定 从人类手持力传感夹爪交互中学习关节物体的物理数字孪生
痛点动机 视觉外观相同物体可能动力学参数差异巨大,现有方法估计不准
解决方案 估计惯性、摩擦、阻尼及神经残差动力学,驱动机械臂阻抗控制完成操作
5

ZYT-World: A Real-Time Controllable World Model for Closed-Loop Autonomous-Driving Simulation

Boni Hu, Xiong Wei, Haoming Huang, Yong Huang, Chenbo Wang, Yi Yang, Jiancheng Wang, Ruicheng Zhu, Zhimin Yang, Guanglai Liu, Qiaowan Jin, Dongzhuo Wang, Haiwei Kuang, Jiajun Fan, Yue Wu, Jiaxin Wei, Hao Sun, Feihong Yan, Wei Bi, Kaixuan Wang, Zichao Guo, Xiaozhi Chen
任务设定 自动驾驶闭环仿真中的实时可控世界模型生成
痛点动机 需同时满足多视角鱼眼-针孔保真、低延迟与场景一致性
解决方案 用 Plucker 位姿编码与蒸馏加速,将 40 步模型压缩为单步流式生成器
6

SignGPT: Toward LLM-Mediated Sign Language Interaction through Gloss-Free Translation and Generation

Ronghui Li, Jun Dong, Zhongyuan Hu, Zunnan Xu, Jun Zhou, Liyuan Chen, Shuoling Liu, Jiangpeng Yan, Jie Guo, Xiu Li, Linchao Bao
任务设定 统一手语翻译与生成的无 gloss 标注框架
痛点动机 手语翻译与生成相互独立,对话中需反复切换模型
解决方案 基于姿态化表示融合身体、手部、面部动作,用 LLM 统一建模翻译与生成的双向转换
7

Outcome-Conditioned End-Effector Geometry Across Vision-Language-Action Policies

Xingyu Lin, Zhuang Li, Zhongrun Wu, Shouquan Zhou, Dehui Du
任务设定 对比不同 VLA 策略的末端执行器运动轨迹
痛点动机 任务成功不代表不同策略的执行几何轨迹一致
解决方案 基于 15000 条 LIBERO 闭环轨迹,用动态时间规整量化跨策略差异
8

SynthDemo-RL: Breaking the Zero-Reward Barrier in VLA Adaptation with LLM-Guided Synthetic Demonstrations

Hiroaki Kingetsu, Hiroaki Kurihara, Kaoru Yokoo, Kenji Fukumizu, Manohar Kaul
任务设定 VLA 模型在稀疏奖励下的强化学习微调
痛点动机 成功轨迹稀少致 RL 探索困难,部分任务成功率为 0%
解决方案 用 LLM 引导生成合成演示做 SFT ,再用 PPO 精调策略
9

Potential-Field Action Representation for Reinforcement Learning in Contact-Rich Manipulation

Xinyu Liu, Gökhan Solak, Arash Ajoudani
任务设定 接触密集型机器人操作任务的动作表示设计
痛点动机 直接笛卡尔动作空间让策略同时学运动与任务策略,负担重
解决方案 用人工势场参数化动作,经阻抗控制器生成运动
10

GestureFAR: Streaming Co-Speech Gesture Generation with Flow Autoregression

Pinxin Liu, Haiyang Liu, Jiahao Luo, Junhua Huang, Chunhao Zou, Luchuan Song
任务设定 根据流式语音实时生成协同手势动作
痛点动机 离散运动 token 压缩连续动作,限制手势真实感与多样性
解决方案 提出流匹配自回归框架,蒸馏为单步生成以降低延迟
11

2nd Place Solution to the HANDS 2026 Workshop Challenge-Dexterous Grasp Motion Track: Single-Shot Trajectory Warping for Grasp Motion Generation

Muneeb A. Khan, Woojin Kim, Shinwoo Kim, Muhammad Munsif, Binod Bhattarai, Seungryul Baek
任务设定 12 自由度灵巧手的抓取运动生成任务
痛点动机 逐步决策误差累积,测试物体和动力学分布外
解决方案 编辑单条成功演示的单次轨迹变形替代逐步生成,用 PPO 并行训练变形策略
12

Adaptive World Memory 3D Foundation Model for Scalable 3D Mapping, Localization, and Rendering

Tianchen Deng, Guole Shen, Yilin Shen, Wenhua Wu, Yilin Fang, Ziqi Ma, Tianjun Zhang, Shenghai Yuan, Wolfram Burgard, Hesheng Wang
任务设定 机器人 3D 建图、定位与渲染的统一基础模型
痛点动机 现有 3D 基础模型缺乏持久记忆和可扩展性
解决方案 提出自适应世界记忆机制结合门控更新与时空正则化,解码为高斯渲染
13

MT-WAM: Reorienting the One-Pass Predictive Representation Toward Action Generation

Yiguang Yang, Jiankun Peng, Xiaoming Wang, Yiran Zhang, Zhibo Fang
任务设定 基于视频扩散骨干的机器人动作生成
痛点动机 单次前向的预测表征未显式聚焦未来动态与视觉结构
解决方案 增设未来轨迹与视觉特征预测辅助监督,复用视频扩散 Transformer 生成动作
14

AtomEgo: Exploring Ego-Robot Integration for Embodied Foundation Model Pretraining

Di Wu, Dongchen Zheng, Junhe Sheng, Zhongxing Wei, Songxin Zhang, Zejian Xie, Xiaoquan Sun, Junyang Zheng, Zhuoyang Song, Jiaxing Zhang, Jiayu Chen
任务设定 研究第一视角人类数据与机器人协同训练做具身基础模型预训练
痛点动机 机器人示范数据稀缺,但人机具身与动作空间差异大,融合方式不明确
解决方案 系统对比三种 ego-robot 协同训练范式,提出数据规模×对齐质量决定能力提升
15

ME-Dex 1.0: Bringing Heterogeneous Tactile Sensing into World Action Modeling

Xuancheng Zhang, Xuetao Liu, Qianying Tang, Jizhe Wang, Zhijing Cheng, Bochen Lin, Haoran Wen, Ming Li, Kun Zhan, Yu Liu
任务设定 提出统一视触觉动作模型,联合建模视觉、触觉与动作用于机器人操作
痛点动机 已有方法只把触觉当条件输入,未联合预测未来视触觉状态和动作
解决方案 采用混合专家架构(视频/触觉/动作专家)配合 flow matching 联合去噪,并构建触觉数据引擎
16

A Scene Language Model for Open-Vocabulary Scene Mapping

Adam Lilja, Fabio Hübel, Siming He, Junsheng Fu, Claire Tomlin, Lars Hammarstrand, Jitendra Malik, Jonas Frey, Marco Pavone
任务设定 提出场景语言模型,用纯文本维护开放词汇 3D 场景地图
痛点动机 传统建图管线依赖复杂工程模块,存储特征表示导致内存开销大
解决方案 模型逐帧读取并增删改文本物体列表作为唯一记忆,可在四足机器人边缘设备实时运行
17

JEPA Guided Diffusion: Predictive Vision-Language Conditioning for Generative Traffic Forecasting

Trinh Tra Giang Nguyen, Thanh Nguyen Vo, Nguyen Hoai Thuong Bui, Ha Duc Bui
任务设定 利用世界模型预测特征生成未来交通场景视频
痛点动机 端到端扩散生成训练成本高,且场景理解与画面生成纠缠
解决方案 冻结 V-JEPA 编码器与扩散模型,仅训练轻量对齐模块连接二者
18

ProTracer: Proprioception-Guided Failure Diagnosis in Robot Manipulation

Chang Dong, Mehdi Hosseinzadeh, King Hang Wong, Lingqiao Liu, Francois Fraysse, Feras Dayoub, Minh Hoai Nguyen
任务设定 识别机器人操作失败的类型、原因及起始时刻
痛点动机 现有方法难以捕捉失败发生的精确时序起点
解决方案 结合本体感知信号与视觉语言模型推理,免训练分析失败
19

VLA-Scope: Shift-Aware Failure Prediction for Vision-Language-Action Models

Kaiwen Zhu, Dongfang Liu, Liangkai Liu
任务设定 预测 VLA 机器人策略在分布偏移下的执行失败
痛点动机 仅检测 OOD 输入不足以判断任务最终是否失败
解决方案 结合偏移类型分类与执行历史特征,动态更新失败风险预测
20

KnowDemo: Knowledge-Guided Robot Demonstration Generation from Human Videos

Zhiyuan Gao, Yanxiang Zhan, Mohammad Khoshnazar, Jeroen Schäfer, Michael Beetz
任务设定 从人类视频生成多样化机器人操作演示数据
痛点动机 现有运动迁移方法行为单一,生成效率也不高
解决方案 用 VLM 提取结构化操作知识,指导演示候选生成与筛选
21

FOCAL-VLA: Subtask-Guided Geometry Distillation and Implicit World Modeling for Vision-Language-Action Models

Zhiyuan Gao, Di Wen, Yanxiang Zhan, Mohammad Khoshnazar, Jeroen Schäfer, Kunyu Peng, Michael Beetz
任务设定 提升 VLA 模型对空间几何与交互动态的理解
痛点动机 全场景几何监督含冗余信息,干扰当前交互学习
解决方案 用子任务引导的几何蒸馏结合隐式世界模型聚焦关键区域
22

Fewer Steps, Better Actions: Rethinking Flow-Matching Inference for VLA Policies

Zhipeng Tang, Xinda Chen, Weining Rao, Xiao Li, Wenting Tan, Yuning Wang, Xiao Shi, Xiaofang Zhao
任务设定 加速基于流匹配的 VLA 机器人策略推理
痛点动机 增加积分步数提升成本,但成功率未必提高
解决方案 用轻量 Transformer 学习终点残差修正,减少所需步数
23

Visual Navigation Transformer with Pose Attention

Beiming Li, Jaime Romero, Jonathan Diller, Vijay Kumar, Alejandro Ribeiro
任务设定 让视觉导航策略复用历史轨迹经验
痛点动机 按时间顺序编码难以复用早期探索的观测
解决方案 以位姿索引关键帧代替时序,用位姿注意力做路径规划
24

Hand-Aware Transition Modeling for Bimanual Procedural Anomaly Detection

Di Wen, Jimmy Weissert, Luc Maria Scherrer, Cedric Zöllner, Kailun Yang, Ruiping Liu, Yufan Chen, Jiale Wei, Junwei Zheng, Kunyu Peng
任务设定 双手装配中的程序性异常检测
痛点动机 动作是否异常需结合执行历史综合判断
解决方案 提出 HACT 转移模型,用时间点过程为双手动作转移打分识别异常
25

4DGS-Fixer: Generative Sparse-View 4D Gaussian Splatting with Iterative Refinement Guided by Video Diffusion Priors

Haitao Huang, Shenghao Zhao, Boyuan Tian, Shin-Fang Chng, Songlin Yang, Sheila Lim, Huangying Zhan, Yi Xu, Anyi Rao, Frank Guan
任务设定 稀疏视角下的 4D 动态场景重建
痛点动机 视角过少导致几何初始化残缺、场景欠约束
解决方案 用视频扩散先验迭代修复渲染序列,反哺 4D 高斯优化
26

WM-VS: Progress-Aligned World Models for Closed-Loop Visual Servoing

Guanzhong Sun, Junyi Ma, Yixuan Zhou, Yuxuan Wu, Yanzi Miao, Hesheng Wang
任务设定 闭环视觉伺服中让动作预测与误差下降对齐
痛点动机 动作合理不等于误差下降,即预测-控制失配
解决方案 用 DINOv2 对应关系定义 4 维伺服坐标,训练世界模型与反应式速度策略
27

Making Latent Evolution Explicit: Operator-Structured Transitions for World Action Models

Xiaoxiao Lu, Yunlong Dong, Jiahao Shi, Ye Yuan
任务设定 研究世界动作模型中潜空间状态转移的架构设计
痛点动机 现有 Transformer 预测器偏重 token 交互,弱化时间演化建模
解决方案 提出 LEON ,用算子传播结合加性修正建模潜在演化,提升闭环控制鲁棒性