Daily Paper Feed

2026 年 11 月 06 日 星期五 · 共 36 篇相关论文 · 全部存档
1

EgoGeneralist: Unifying Egocentric Action-Video Tasks through Video-Native Modeling

Yanlin Jin, Bowen Yang, Cheng Zhang, Yifan Yang, Zhe Li, Jianfei Cai, Kai Zhu
任务设定 统一自中心动作-视频生成与姿态估计任务
痛点动机 预训练视频模型缺乏度量 3D 空间下的人体动作表征
解决方案 提出角色自适应动作渲染器,结合跨流动作-视频耦合,适配预训练视频生成器完成五类任务
2

VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding

Yu-Cheng Chou, Shihao Wang, Jin Huang, Chi-Pin Huang, Chiao-An Yang, Xianzhe Fan, Jing Wang, Zhiqi Li, Yuanguo Kuang, Ruijie Zheng, Johan Bjorck, Sifei Liu, Hang Su, Abhishek Badki, Lei Zhang, Alan Yuille, Linxi "Jim'' Fan, Jan Kautz, Zhiding Yu
任务设定 面向机器人等物理 AI 任务的视觉规划生成
痛点动机 自回归逐坐标生成点/框/轨迹计划速度慢、成本高
解决方案 提出 Flash Primitive Decoding ,用轻量 drafter 一次前向预测整条轨迹,速度提升约 25 倍
3

SM4RT: Cascaded Feed-forward Model for 4D Reconstruction

Pang-Chi Lo, Jhao-Syun Lai, Tsung-Wei Ke
任务设定 从 RGB 视频做动态场景的 4D 重建(几何+运动)
痛点动机 现有前馈方法分离处理几何与运动,且相机运动带来运动歧义
解决方案 级联式先重建 3D 几何再据此估计运动,每像素运动用相机坐标系表达降低歧义
4

Failure Prediction and Classification in Vision-Language-Action Models Via Calibrated Latent Probing

Michal P. Podolinsky, Yunhao Yang, Daniel Little, Hong Lu, Rohan Siva, Olin Goudey, Neel P. Bhatt, Matthias Scheutz, Ufuk Topcu
任务设定 预测 VLA 模型部署中的失败及失败类型
痛点动机 VLA 在分布偏移下表现脆弱,现有监测方法不及时也不可靠
解决方案 用潜层探针监测中间表示,实现早期失败检测与失败模式分类以支持纠正
5

T3R: Training-Free Two-Stage Token Refinement Towards Efficient and Robust VLA Models

Mohammed Hassan, Zhenyang Chen, Zheng Wang, Zhixin Zhu, Tianlong Chen, Yingyan, Lin, Chaojian Li
任务设定 提升 VLA 机器人控制模型的推理效率与鲁棒性
痛点动机 视觉 token 数量多导致推理开销大,无关背景易干扰动作预测
解决方案 无需训练,先分割引导剪枝去冗余 token ,再用注意力偏置聚焦关键区域
6

Social Humanoid: Socially Responsive Human-Humanoid Interaction

Vongani H. Maluleke, James Ni, Kie Horiuchi, Lea Wilken, Jiahui Lei, Evonne Ng, Roei Herzig, Jitendra Malik, Trevor Darrell, Angjoo Kanazawa
任务设定 让人形机器人与人类进行协同全身互动
痛点动机 机器人多为孤立训练,难以与人物理协作
解决方案 共享分词表征联合建模双方动作,分层生成反应式全身动作并执行
7

MOMASPLAT: Dynamic Novel-View Demonstration Augmentation for Mobile Manipulation

Sateesh Kumar, Arnav Balaji, Arpit Bahety, Skand Peri, Georgios Pavlakos, Roberto Martín-Martín
任务设定 移动操作机器人示教数据的新视角增强
痛点动机 机器人实际位姿常偏离示教,现有方法无法渲染动态物体交互
解决方案 结合 3D 高斯溅射与运动学动作重定向,合成新视角下完整操作轨迹
8

4D Point Splatting for mmWave Radar Micro-Doppler Differentiable Rendering

Adnan Armouti, Guanyue Qian, Rajalakshmi Nandakumar
任务设定 毫米波雷达微多普勒人体数据的可微渲染合成
痛点动机 真实雷达数据稀缺,现有仿真无法拟合真实动态人体
解决方案 用带材质速度的 4D 点溅射拟合真实场景,生成可训练姿态估计模型的数据
9

InstantHand: Feed-Forward 3D Gaussian Splatting for Animatable Hand Avatar Reconstruction from a Single Image

Chanho Kim, Muhammad Salman Ali, Kyeonghwan Gwak, Muhammad Shaheryar, Incheol Park, Jeongwan On, Seungryul Baek
任务设定 单图像前馈式可动画手部化身重建
痛点动机 现有手部化身重建依赖多视角或逐例优化,难以扩展
解决方案 基于 3D 高斯溅射,用软 Alpha 带正则化与可靠性引导外观迁移,免测试时优化
10

Learning the Task or Learning the Verifier? Rethinking Criteria Exposure in Embodied Self-Improvement

Wenbo Huang, Jianxin Bi, Shunyu Yang, Ruiyang Si, Rui Ni, Qiang Wang, Shulong Jiang, Yintianrun Zhang, Feixiang Ruan, Kewei Zhang, Ye Huang, Shukai Gong, Daquan Zhou
任务设定 审视具身智能体自我提升中的标准暴露问题
痛点动机 暴露评测标准会让智能体过拟合验证规则而非真正完成任务
解决方案 对比有无标准暴露的实验,提出更贴合指令的验证标准
11

Aligning Policy Encoders with a Shape Teacher

Madelon Bernardy, Mohammad Mahdi Derakhshani, David M Knigge, Riccardo Valperga, Artem Moskalev
任务设定 让纯图像机器人操作策略学到 3D 形状信息
痛点动机 3D 感知利于操作但部署额外依赖深度传感器
解决方案 用 Point-MAE 点云特征对齐图像编码器 patch ,训练时迁移形状知识,部署仍纯图像输入
12

La-JEPA: Compact Robot Policies with Latent World Modeling

Mateo Clémente, George Z. Xue, Amin Abyaneh, Liheng Ma, Rui Heng Yang, Tongtong Cao, Zhanguang Zhang, Yingxue Zhang
任务设定 从零训练紧凑的机器人策略世界模型
痛点动机 现有世界-动作模型依赖大型生成式骨干,推理慢
解决方案 基于 V-JEPA 特征从头训练策略,联合预测动作与未来特征,推理仅输出动作,更快更省参数
13

FreeOcc: Decoupling Ego-Motion for Efficient 4D Occupancy Forecasting via Continuous Flow Matching

Zeping Zhang, Zhuoya Zhao, Samy Metari, Robert Laganière
任务设定 高效预测自动驾驶场景的 4D 占据 演化
痛点动机 现有方法用重交叉注意力解耦自车运动,计算量大
解决方案 显式 SE(2) 几何解耦自车运动,结合流匹配仅对不确定区域用 ODE 求解,轻量高效
14

Reinforcing End-to-End Autonomous Driving Safety via Negative-Aware Planning in a Unified World-Action Model

Zihao Zhang, Xinyu Zhang, Bing Zeng, Xingyu Chen, Zhenning Li, Bin Yu, Ziyuan Pu
任务设定 提升世界-动作模型端到端自动驾驶安全性
痛点动机 现有方法仅模仿专家轨迹,对接近专家的危险轨迹约束不足
解决方案 构造近专家负样本轨迹作为排斥锚点,结合流匹配联合训练引导模型规避风险
15

WAM-Sim0.1: World Anchored Memory Meets Online RL for Consistent and Realistic Driving Simulation

Jiahao Cui, Jiaye Li, Wenhao Zhang, Yaoyi Li, Shan Luan, Quanhui Tang, Jianhua Han, Lin Cheng, Hang Xu, Siyu Zhu
任务设定 自动驾驶世界模型的长时序一致仿真生成
痛点动机 自回归生成长时序易出现结构/身份漂移
解决方案 用分层持久记忆锚定场景,结合在线 RL 提升真实感
16

GuidedWAM: Training-Free Energy Guidance for World Action Models in Autonomous Driving

Xiyan Su, Finn Rasmus Schäfer, Hojun Lim, Frank Diermeyer, Johannes Betz, Markus Lienkamp
任务设定 让冻结的自动驾驶世界动作模型支持新驾驶目标
痛点动机 换驾驶目标通常需重新训练模型,成本高
解决方案 采样时用免训练能量引导注入目标,无需重训
17

EDGAR: Efficient Diffusion-Driven Gaussian Avatar Refinement via Synthetic Failure

Kwan Yun, Minhyeok Bang, Colette Suhjung Koo, Junyong Noh
任务设定 基于扩散模型修复高斯头部虚拟人的渲染伪影
痛点动机 单目重建的高斯虚拟人常有模糊、拉伸等伪影
解决方案 用合成失败数据训练扩散修复器,配合 MoE 处理多种退化
18

PlayGen2: Learning Real-Time Playable Worlds with Explicit 3D State

Jihai Zhang, Yuhan Zhou, Junyou Li, Deheng Ye, Qi Dou, Yu Cheng
任务设定 学习实时可交互的 3D 世界模型
痛点动机 纯视频生成难以保持长期空间一致性
解决方案 分离 3D 状态演化与渲染,用体素占据网格维持持久世界记忆
19

Learning Robotic World Models with Semantic and Visual Feedback

Hao Wu, Yuqi Li, Yizhou Zhao, Kun Wang, Xiao Luo, Yu Cheng, Bo An, Yingli Tian, Laszlo A. Jeni, Ming-Hsuan Yang
任务设定 后训练提升机器人世界模型预测质量
痛点动机 纯视觉重建难反映任务进展,语义监督太粗
解决方案 用候选轨迹对比结合语义视觉反馈,做组相对优势策略优化
20

Seeing Beyond the Next Step: World-Model-Guided Human-Like Navigation in Multi-Agent Scenes

Seong-Eun Hong, JuYeong Hwang, Jinhyun Kim, Hanyoung Jang, HyeongYeop Kang
任务设定 多智能体场景下类人导航策略的学习
痛点动机 局部可行的动作可能违反社交规范或造成拥堵
解决方案 用世界模型在训练时蒸馏动作偏好,部署时仅用单步快速策略
21

Fast and Accurate Hand Estimation in Pixels, Interaction and World Space

Jinkun Cao
任务设定 单目图像的手部网格与交互、世界空间估计
痛点动机 直接回归参数再投影 2D 关键点误差较大
解决方案 先预测 2D/3D 关节点再拟合 MANO 网格,兼顾精度与速度
22

ReferClaw: Disambiguating User Intent for Egocentric Assistance

Hangyu Qin, Junbin Xiao, Angela Yao
任务设定 第一视角助手问答中的指代消歧
痛点动机 单一解读易给出与用户意图不符的答案
解决方案 ReferClaw 多智能体先主动澄清意图,再结合视觉证据回答,用代价感知策略控制澄清轮次
23

GEKey: Learning Geodesic Eccentric 3D Keypoints via Self-Supervision

Pierre Onghena, Santiago Velasco-Forero, Beatriz Marcotegui
任务设定 点云 3D 关键点的自监督检测(含人体数据集)
痛点动机 监督方法依赖人工标注,难以泛化到新实例
解决方案 基于 SE(3) 不变的测地离心率变换生成伪标签,训练模型对齐物体内在结构
24

Egocentric Action Recognition with Objects and Vision-Language Affordances

Raúl Boix-Aldeguer, Manuel Benavent-Lledo, David Ortiz-Perez, Jose Garcia-Rodriguez
任务设定 第一视角动作识别中建模物体信息
痛点动机 动作高度依赖物体,但现有方法较少显式建模
解决方案 融合 SlowFast 视频专家与物体可操作性专家,用视觉语言模型零样本生成可操作性线索
25

Which Objects Stay? Learning Hierarchical Persistence Beliefs for Lifelong Open-Vocabulary Object Maps

Thanh Nguyen Canh, Haolan Zhang, Nak Young Chong
任务设定 开放词汇物体地图中的物体持久性估计
痛点动机 现有方法依赖类别先验,难以应用于开放词汇场景
解决方案 提出 HiPer 分层持久性滤波器,基于相似实例检索估计贝叶斯存活概率并随物体迁移更新
26

ArtCrafter: Feed-Forward Generation of Articulated 3D Object with Analytic Joint Derivation

Minh Canh Tu, Quang-Binh Nguyen, Khoi Nguyen
任务设定 由成对图像前馈生成可动关节 3D 物体
痛点动机 需同时保证各部件几何与运动学一致,仅凭图像恢复困难
解决方案 用 DiT 扩散模型联合生成开合两态部件网格,并解析推导 URDF 关节参数
27

GraspBench: Execution-Aware Cross-Robot Evaluation of 6-DoF Grasp Generation in MuJoCo

Abdul Basit, Bibek Poudel, Muhammad Shafique
任务设定 跨机器人 6-DoF 抓取生成的可执行性评测
痛点动机 抓取评分高不代表机器人能真正执行成功
解决方案 提出 GraspBench ,在 MuJoCo 中结合逆运动学与运动规划评测完整抓取流水线
28

Concertina: Embodying Manipulation and Cognition in One Diffusion Vision-Language Model

Chengcheng Wang, Wei He, Wenhao Li, Hongguang Li, Kai Han, Jianyuan Guo, Chang Xu
任务设定 统一建模机器人操作与认知推理的具身 VLM
痛点动机 现有 VLA 外挂独立动作专家,与 VLM 割裂、梯度冲突
解决方案 用连续隐动作 token 在共享扩散骨干中联合去噪生成动作序列,动作参数仅占 0.21%
29

Compact Motion Embeddings for Feed-forward Unified Human Animation

Seonwook Park, Hyunsoo Cha, Amrita Mazumdar, Shengze Wang, Tianye Li, Hanbyul Joo, Koki Nagano, Shalini De Mello
任务设定 前馈式生成人脸、手部与全身人体动画
痛点动机 现有方法依赖外部姿态估计器,推理慢且外观易混入运动表征
解决方案 提出 FUHA ,用 Q-Former 学出紧凑运动嵌入,对比损失解耦运动与外观,无需姿态估计器即可实时生成
30

IMUDINO: Self-distilled Foundation Model for Inertial Sensing

Zhoutong Ye, Chengwen Zhang, Zixuan Wang, Xufeng Jian, Zhe He, Qingyang Wan, Xutong Wang, Jiaqi Liu, Mingze Sun, Yu Mei, Chun Yu, Yuanchun Shi
任务设定 构建惯性传感通用基础模型,覆盖动作识别、动捕、里程计
痛点动机 现有惯性基础模型局限单一任务,跨设备跨任务泛化差
解决方案 将 DINO 自监督范式迁移到 IMU 数据,结合语义保持的运动变换和频率感知 Transformer 编码器
31

MessyNav: Zero-Shot Navigation via Manipulation in Messy Environments

Kenneth Llontop, Cherie Ho, Dylan Zhou, Anuva Banwasi, Priya Sundaresan, Carlota Parés-Morlans, Jeannette Bohg
任务设定 混乱场景中通过操纵障碍物实现零样本交互式导航
痛点动机 现有方法依赖仿真训练或逐场景指令,难泛化到新物体新环境
解决方案 基于视觉语言模型先做可操作性推理(避让/推开/拿起),再生成高层导航规划
32

Kinematic Hypothesis Context: Embodiment-Conditioned Learned Video Coding for Bandwidth-Limited Robot Policy Uplinks

Yuze Lu
任务设定 带宽受限下压缩机器人策略上行视频流
痛点动机 现有编解码器浪费比特编码本可由机器人自身运动预测的内容
解决方案 用关节状态构建运动学假设上下文,作为零码率条件信号指导视频编解码,提升策略成功率
33

FFMT: Frequency-Factorized Multi-Rate Tokenization for Music-to-Dance Generation

Qirong Guo, Ruijie Li, Zeyan Li, Sicheng Shu, Guanzhi Ding, Weihang Ding
任务设定 音乐驱动舞蹈动作生成中的离散运动分词方法
痛点动机 舞蹈动作兼具缓慢整体姿态与快速局部细节,统一分词难以兼顾
解决方案 提出频率分解多码率分词,低频粗编码骨架动作、高频还原局部细节,先规划后细化生成
34

Efficient Diffusion Policy Fine Tuning with Latent Noise Representation Bridging

Yuanchu Liang, Yue Yang, An-Chi He, Hanna Kurniawati
任务设定 对预训练扩散/流机器人策略做强化学习微调
痛点动机 微调计算贵、样本效率低,且存在噪声别名问题缺乏理论保证
解决方案 提出 LNL-MDP 桥接方程对齐噪声与动作空间价值,用 LARBRID 学习最优初始噪声分布引导预训练策略,操控/移动任务性能提升 2-3 倍
35

MAC-v2: Long-horizon model-based value expansion from pixels

Kwanyoung Park, Sergey Levine
任务设定 像素输入下的离线强化学习长时域价值扩展
痛点动机 像素端世界模型需同时学表征与动力学,误差会递归累积
解决方案 提出 MAC-v2 ,训练无重建的潜在世界模型并结合动作分块,在 Robomimic、LIBERO-10 等操控任务上提升长时域想象的可靠性
36

VINO: Revisiting 3D Representation Learning with Volume Transformers

Adrian Kruse, Kadir Yilmaz, Daan de Geus, Francis Engelmann, Bastian Leibe
任务设定 面向 3D 场景的无标签自监督表征学习
痛点动机 3D 场景表征学习效果远不及 2D 视觉基础模型
解决方案 提出 VINO 框架,用 Volume Transformer 替代分层骨干,重新设计师生匹配、掩码预测与跨模态蒸馏目标