Daily Paper Feed

2026 年 11 月 04 日 星期三 · 共 36 篇相关论文 · 全部存档
1

DreamX: Video Diffusion Model is a Universal Latent Action Learner

Jisoo Kim, Chaehyun Kim, Junsu Kim, Jiho Park, Seongchan Kim, Eunbeen Hong, Soowon Son, Fu-En Yang, Seungryong Kim
任务设定 从视频中学习跨具身通用的潜在动作表示
痛点动机 现有潜动作模型将动作与视觉外观混淆,难以跨具身迁移
解决方案 复用预训练视频扩散模型提取紧凑潜在动作,支持跨具身视频与策略迁移
2

PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data

Kewei Zhang, Juncheng Ma, Guodong Lv, Duomin Wang, Feixiang Ruan, Ruiyang Si, Chuanrui Zhang, Yuxuan Chen, Hao Chen, Yichen Liu, Yintianrun Zhang, Yufan Deng, Enze Xie, Daquan Zhou
任务设定 用 LLM 智能体自动生成可直接训练的机器人数据
痛点动机 人工遥操作采集数据耗时昂贵,且难以泛化到新任务
解决方案 智能体在仿真中重建任务并由视频模型渲染逼真画面,产出带动作标签的训练数据
3

Möbius: A Unified Motion-Language Model Bridging Understanding and Generation

Jiazhi Shu, Chengfeng Zhao, Jinyi Wang, Yubo Zhao, Zhiyang Dou, Ronghui Li, Yu Lu, Xinwei Jiang, Zijiao Zeng, Yuan Liu
任务设定 构建统一的人体运动理解、生成与编辑模型
痛点动机 现有统一运动模型依赖独立的扩散模块,理解生成割裂
解决方案 将扩散过程纳入同一多模态表示空间,直接对原始运动帧建模,无需离散化或 VAE
4

RoboTryOn: Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On

Seungyong Lee, Suhyeok Jang, Minyoung Kim, Jinwoo Shin
任务设定 将人类操作视频转换为机器人灵巧操作演示数据
痛点动机 遥操作数据采集成本高,人类视频存在视觉/动作域差距
解决方案 借鉴虚拟换装思路:保留动作、替换人体为机器人,配合深度 IDM 生成动作标签训练策略
5

Asynchronous Robot Policies

Sombit Dey, Luc Van Gool, Danda Pani Paudel
任务设定 将 VLA 机器人策略的语义推理与动作生成解耦为异步双进程
痛点动机 大模型语义推理延迟会拖慢机器人的实时反应能力
解决方案 低频 VLM 更新语义记忆,高频轻量动作专家生成动作,兼顾语义与敏捷性
6

Trajectory Evaluation via Rollout-Free World Model for End-to-end Autonomous Driving

Junzhe Wang, Jinqing Zhang, Qingjie Liu
任务设定 端到端自动驾驶中给候选轨迹打分
痛点动机 传统世界模型需逐条 rollout 预测未来,耗时且误差累积
解决方案 提出无 rollout 世界模型 RFWorld,构建共享场景记忆,稀疏读出直接给轨迹评分
7

FloMo: 3D Scene Flow as a World Action Model Intermediate for Learning from Human Video

Jeremy Collins, Namra Patel, Ayush Agarwal, Shitij Govil, Animesh Garg
任务设定 从人类视频中学习机器人操作策略
痛点动机 完整视频信号冗余,运动才是视频预训练迁移到动作的关键
解决方案 微调视频生成模型预测 3D 场景流与动作 token,联合训练人类视频与机器人数据
8

Do Agentic Policies Need to Look at Every Step? Geometric Abstraction for Reasoning and Action

Yihang Liu, Yiming Chen, Mingzhe Zheng
任务设定 多模态大模型驱动的机器人操作智能体策略
痛点动机 每步都重新解读原始图像观测,带来大量冗余计算
解决方案 用 3D 几何抽象将场景转为符号化文本检查点,仅按需调用视觉推理
9

LLMs as MDP Designers: A Dependency-Aware Agentic Framework for Automated Robot Policy Generation

Hong Je-Gal, Jinwoo Kim, Chanbin Yi, Hyun-Suk Lee
任务设定 用 LLM 自动生成机器人强化学习策略流程
痛点动机 代码可执行但 MDP 设计不合理时策略仍学不出来
解决方案 提出 ARPG 框架,让 LLM 作为设计者按依赖顺序完成 MDP 建模与仿真实现
10

DPAGait: Dynamic Pose-Knowledge-Aware Network for Robust Gait Recognition in the Wild

Zenan Lin, Junduan Huang, Kun Liu, M. Saad Shakeel, Wenxiong Kang
任务设定 研究野外复杂场景下的步态识别身份认证
痛点动机 二值轮廓信息熵低,难应对姿态视角变化
解决方案 融合姿态解析轮廓与 SMPL 三维姿态双分支网络
11

Trusting Imagined Futures: Auditing Imagined Rewards for VLA Post-Training

Zicheng Kong, Zhenbo Xu, Haoyan Zhang, Jinghan Yang, Zhenzhen Li, Yiwei Ru, Liuyu Xiang, WanTing Xu, Min Ren, Zhaofeng He
任务设定 用视频世界模型想象结果筛选 VLA 训练轨迹
痛点动机 高预测奖励轨迹可能执行质量差,奖励易被误导
解决方案 用执行反馈审计想象奖励,筛选可信轨迹做行为克隆
12

HTCE: Homeomorphism-inspired Topological Cross-Scene Experience Canonicalization and Reuse for Object Navigation

Xiaoran Xu, Yupeng Wu, Tianyu Xue, Xuanran Dong, Yifan Xu, Xiaoshan Yang, Changsheng Xu
任务设定 物体目标导航中跨场景经验复用
痛点动机 场景拓扑表示不同,语义相似经验难复用
解决方案 提出同胚启发拓扑规范化框架 HTCE ,检索历史语义结构指导冻结视觉语言导航策略
13

VISAGE: Vertex-based Intrinsic Surface Appearance GEneration via Dual-Stream Diffusion for Arbitrary 3D Heads

Jeremias Krauß, Pragati Jaiswal, René Schuster, Didier Stricker
任务设定 从多视角图像生成任意 3D 人头的表面外观
痛点动机 UV 展开有接缝伪影,图像空间法缺乏表面一致性
解决方案 提出顶点级双流扩散模型,结合全局谱处理与局部几何细化,逐顶点生成反照率和粗糙度
14

Cycle WAM: Coupling Action and Video through Cycle Consistency

Qinglin Yang, Jiepeng Wang, Yuxing Huang, Haibin Huang, Kai Xu, Chi Zhang, Ruizhen Hu, Xuelong Li
任务设定 耦合视频生成与机器人动作预测的世界模型
痛点动机 现有方法未保证动作与视觉后果一致,难以用好预训练视频先验
解决方案 提出 Cycle WAM 框架,用双向转换与可微循环重建耦合视频和动作,支持正逆向动力学
15

CLARA: A Cognitively-Driven Clarification Framework for Grounding Ambiguous Requests

Dimitrios Bekris, Marios Glytsos, Panagiotis P. Filntisis, Niki Efthymiou, George Retsinas, Petros Maragos
任务设定 通过对话澄清模糊的机器人整理指令
痛点动机 LVLM 常高估对模糊指令的理解,导致执行出错
解决方案 认知启发式主动提问澄清细节,再用扩散生成渲染目标场景供用户确认
16

CANDO: Conservative Action-Noise Directional Optimization for Residual Reinforcement Learning

Zeyu Gao, Chengkai Hou, Chaoyue Li, Zhuangzhe Wu, Jiaming Liu, Yao Mu, Peng Jia, Li Zhang, Shanghang Zhang
任务设定 在线 RL 微调冻结的预训练生成式机器人策略
痛点动机 现有噪声空间残差法固定可行域,限制了可改进范围
解决方案 提出 CANDO ,结合噪声空间与动作空间残差,用保守约束优化策略方向
17

Spatial Memory for AR Glasses: Hierarchical Visual Acquisition and Source-Linked Recall

Tianxing Zhu, Dan Huang
任务设定 让 AR 眼镜能回忆此前遇到的真实场景
痛点动机 海量第一视角画面难以高效筛选、存储与溯源检索
解决方案 提出分层视觉采集与溯源式记忆,按需补拍 RGB 细节以支持历史问答
18

Hybrid Particle-Voxel Dynamics for Multimodal 3D World Simulation

Jimmy Wang, Yifan Chou, Kaifeng Zhang, Yixuan Wang, Binghao Huang, Tao Yu, Saleh Nabi, Yunzhu Li
任务设定 构建动作条件的 3D 世界模型预测场景演化
痛点动机 现有世界模型多在 2D 图像空间预测,缺乏跨视角空间一致性
解决方案 用粒子-体素自编码器压缩点云,结合潜空间动力学联合预测几何、外观与触觉
19

GVT3D: Gesture-Vision-Text Token Enrichment for 3D Embodied Reference Understanding

Vimarsh Shah, Dulanga Weerakoon, Ajinkya Deshpande, Saksham Agarwal, Nilesh Bhatia, Neel Kiran Naik, Parth Shah, Sravan Danda, Sanjay E. Sarma, Archan Misra, Vigneshwaran Subbaraju, Sougata Sen
任务设定 基于手势和语言在 3D 点云中定位目标物体
痛点动机 跨模态对齐弱,点云越大计算越慢
解决方案 提出 具身融合模块 联合建模三模态,用 注视机制 聚焦局部点云提速
20

Human-to-Robot Transfer via Bridging Representation and Action Space in VLAs

Junhyeong Park, Wook Jung, Taeyoung Kim, Huiwon Jang, Jinwoo Shin
任务设定 用人类示范数据适配预训练 VLA 机器人策略
痛点动机 人机具身差异大,机器人专属数据采集成本高
解决方案 通过几何对齐表征和解耦动作分词器,桥接人类与机器人的观测与动作空间
21

RAFT: Reasoning-Aligned Fine-Tuning Improves Robustness of VLA Post-Training

Shresth Grover, Andrey Kolobov, Dhruv Shah
任务设定 提升 VLA 策略微调后的分布外鲁棒性
痛点动机 小样本微调易过拟合,泛化和鲁棒性下降
解决方案 先用 LoRA 适配器学习任务推理标注,再冻结后微调动作策略
22

AceAction-5M: Hierarchical Goals for Generalist Action Learning Across 3D Game Worlds

Kailing Li, Ruoxuan Zhang, Zheyuan Zhou, Boyang Chu, Yingshan Lei, Hongxia Xie, Liang Du, Zixun Sun
任务设定 从 3D 游戏收集人类操作数据学习通用动作技能
痛点动机 现有 VLA 数据集场景覆盖有限、层级标注与目标脱节
解决方案 构建 AceAction 数据集,用 VLM 自动标注分层级目标,连接指令与键鼠动作
23

DiMuRe: Diagnosis-Guided Multilevel Recovery for Robotic Task Execution

Renkai Yi, Yuwei Wu, Haoyu Zhang, Penghao Dai, Zhi Gao, Jin Chen, Che Sun
任务设定 机器人程序执行中遇扰动后的诊断式恢复
痛点动机 现有恢复系统响应单一,难兼顾效率与成功率
解决方案 依阶段证据选择程序复用或 VLA 抓取恢复技能,由 MLLM 生成修正代码
24

Mamba3R: Fixed-Capacity Selective State Memory for Long-Sequence 3D Reconstruction

Zhenxiang Xiong, Tianchen Deng, Nailin Wang, Lei Zhao, Guole Shen, Weidong Che
任务设定 长序列流式 3D 重建的固定容量状态记忆
痛点动机 冻结骨干网络限制长程几何精度
解决方案 设计可训练状态记忆适配器,用选择性状态空间混合器读写辅助记忆
25

SettleSplat: Monocular Gaussian Mapping under In-View Scene Changes

Anh Thuan Tran, Xiyun Song, Yubin Zhou, Heather Yu, Jana Kosecka, Liang Peng
任务设定 单目 3D 高斯建图应对视野内场景变化
痛点动机 操作中物体瞬时与持久动态难以区分
解决方案 用不确定性场剔除瞬时物体,用几何矛盾分离真实持久变化
26

ReconDreamer#: Self-Evolving Closed-Loop Synergy of Reconstruction and Generation for Dynamic Driving Scenes

Songling Liu, Guosheng Zhao, Xiaofeng Wang, Chaojun Ni, Guan Huang, Jiwen Lu, Xingang Wang, Zheng Zhu
任务设定 动态驾驶场景的重建与生成协同演进
痛点动机 生成数据与真实传感器观测存在差距
解决方案 重建与生成模型闭环自演化迭代优化,并用几何先验自适应建模地面
27

Say the Same, Act Differently: Diagnosing and Steering Text-Action Divergence in Reasoning VLAs

Zihao Feng, Qingzhao Zhang, Chunyu Xia, Bo Yu, Z. Morley Mao, Ramesh Govindan
任务设定 诊断 VLA 模型文本推理与实际动作的脱节
痛点动机 视觉扰动可改变动作却不留文本痕迹,威胁安全监管
解决方案 找到文本中立的动作子空间,据此定向引导解耦攻击
28

What Remains in Sight? Autoregressive Video Decoding as Representation-Guided Context Rewriting

Lixuan He, Jihyeon Je, Yang You, Leonidas Guibas
任务设定 自回归长视频生成中可见历史帧的选择
痛点动机 现有方法隐式决定可见过去,缺乏显式控制
解决方案 用表征引导的方式重写上下文,动态挑选历史片段再解码
29

Compression Forcing: Hierarchical History Tokenization Enables Flexible World Models

Siqiao Huang, Partha Kaushik, Michael Chen, Hengkai Pan, Kaiwen Geng, Omar Chehab, Fernando Moreno-Pino, Max Simchowitz
任务设定 压缩历史信息以服务于世界模型预测任务
痛点动机 现有方法照搬视频生成式分词,偏重画面真实而非预测效用
解决方案 提出动态感知分词按显著性排序压缩历史,配合分层历史引导在推理时放大关键动态信息
30

A Practical Causal Framework for Autonomous Mobile Robots: From Simulation to Real-World Human Environments

Luca Castri, Gloria Beraldo, Nicola Bellotto
任务设定 研究移动机器人在人类环境中导航的因果决策框架
痛点动机 真实环境因果数据难收集,用户却期望机器人即时可用无需长时间训练
解决方案 保留仿真学到的因果结构,仅用少量真实数据更新参数,实现快速 sim-to-real 迁移
31

Controlling Action-Head Co-Adaptation to VLM Representation Anisotropy

Ruijie Zhang, Jiayin Zheng, Yequan Zhao, Liyan Tan, Ziyue Liu, Zhengyang Wang, Kunpeng Song, Nathan Zhao, Jian Yao, Yin Zhang, Zheng Zhang
任务设定 研究 VLA 模型中动作头与视觉语言表征的协同适配问题
痛点动机 动作头过度聚焦 VLM 输出的高方差维度,表征与任务不匹配时损害性能
解决方案 提出无参数的 AdaIE 机制,按下游敏感度动态重加权预训练表征,提升机器人操控成功率
32

FlowBench: Counterfactual Imagination Training for Spatial Intelligence

Yifan Liu, Baihan Zhang, Khai Loong Aw, Klemen Kotar, Daniel L. K. Yamins
任务设定 训练和评测模型对假设性运动的反事实空间想象能力
痛点动机 VLM 和世界模型难以推理假想动作导致的场景变化
解决方案 构建 FlowBench 数据集,自动配对运动-问题-结果帧/光流监督,微调后实现较强 sim2real 迁移
33

RoboScope Kit: Unified Interfaces for Fast and Scalable Embodied-AI Evaluation

Deng-Ke Wu, Yifan Jin, Yida Yang, Lei Qian, Zhaoye Zhou, Hongru Zhang, Kai Ye, Shuyuan Hu, Yiran Mao, Zewei Ye, Bo Zhao
任务设定 构建统一接口加速具身智能策略评测
痛点动机 现有仿真基准各自为政,评测速度慢, GPU 利用率低
解决方案 封装模型为 Policy 类,仿真与推理资源池分离调度,评测提速超 6 倍
34

AIRoA-0: Long-Horizon, Precise, Cross-Embodiment Manipulation from Handheld Data

Yueh-Hua Wu, Kei Ota, Hanlong Li, Hayata Yuasa, Jason Wang, Kengo Ikeuchi, Kensuke Chiyoma, Makoto Sugiura, Masafumi Takahashi, Masatoshi Tateno, Naoaki Kanazawa, Nicola Scianca, Petr Khrapchenkov, Satoshi Otsubo, Takehiko Ohkawa, Takuya Okubo, Tatsuya Matsushima, Yuki Noguchi, Yuma Shin, Zixuan Zhong
任务设定 基于手持抓手数据学习双臂机器人操作策略
痛点动机 机器人遥操作数据采集昂贵,跨本体迁移困难
解决方案 用开源手持抓手 YUBI 采集大规模演示,训练跨本体策略,仅用手腕相机
35

FlowRig: Unified Skeleton Generation for 3D and 4D Meshes via Flow Matching

Fengzhi Guo, Nate Morrill, Shiqi Li, Cheng Zhang
任务设定 统一 3D 静态网格与 4D 动态网格的自动骨骼绑定
痛点动机 逐帧处理 4D 网格时序不稳定,现有 4D 方法依赖昂贵逐序列优化
解决方案 提出 MoTWorld ,基于 flow matching 单次前向生成时序一致骨骼
36

VagueBench: Benchmarking the Robustness of Embodied Agents on Ambient Context Illusions

Yang Qu, Qiang Fu, Zonghao Ying, Jiayi Zhao, Yaoyuan Zhang, Jinyang Guo, Jian Yang, Aishan Liu, Yingxun Wang, Xianglong Liu
任务设定 评测具身智能体对模糊/简略指令的鲁棒性
痛点动机 现有评测偏重危险指令,忽视真实场景中上下文信息缺失的情况
解决方案 构建 VagueBench 基准,涵盖四类九种上下文缺失类型,发现 SOTA 智能体性能大幅下降