Daily Paper Feed

2026 年 11 月 13 日 星期五 · 共 39 篇相关论文 · 全部存档
1

Spatial Foundry: A Multimodal Dataset for Spatial Intelligence

Ethan Lin, Yang Song
任务设定 构建多模态室内 3D 场景数据集用于空间智能研究
痛点动机 现有数据模态割裂,难以统一关联几何、物体与场景时序变化
解决方案 提出 Spatial Foundry:含 5280 个可编辑场景,对齐 RGB、深度、点云、轨迹等多模态数据
2

UAV-Flow++: A Unified Suite for Benchmarking and Learning Language-Guided UAV Flight

Donglin Yang, Xiangyu Wang, Yantong Zhong, Wenhao Zheng, Zihan Ding, Yue Liao, Hongsheng Li, Ke Xu, Si Liu
任务设定 语言引导 UAV 短距离物体交互飞行任务
痛点动机 以往工作聚焦长程路径规划,短程机动欠探索
解决方案 构建真实+仿真数据集,提出 FlowVLA 模型,结合模仿学习与 TGRPO 强化学习后训练
3

SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models

Jiachun Jin, Zetong Zhou, Haonan Wang, Xiao Yang, Jun Zhu, Zhijie Deng
任务设定 跨人类视频与机器人数据学习统一动作表征
痛点动机 现有潜动作模型按视觉外观聚类,难以对齐人机动作
解决方案 用语言描述估计人机片段语义相似度,构建跨具身共享潜动作空间统一监督训练
4

Ropedia Xperience 2: A Gold Standard for Scaling Physical AI Environments and Behaviors

Hao Li, Fangzhou Hong, Zhaoxi Chen, Hui En Pang, Kairui Hu, Mingze Sun, Runmao Yao, Xinhao Ji, Xiyuan Zheng, Xuanli Chen, Yalun Dai, Yap Kim Hui, Dingwen Zhang, Yuanyuan Gao, Ziang Cao, Cheng Huang Yean, Jackson Peng, Rui Duan, Yaobo Liu, Zetong Wang, Ziwei Liu
任务设定 采集环境扫描与人类行为数据用于机器人学习
痛点动机 长时程、接触密集的真实任务中机器人策略仍然脆弱
解决方案 用 3D 扫描 和 自我中心视频 构建仿真环境,并转换为 全身机器人轨迹
5

Kosmo-GFM: A Production-Ready Geometry Foundation Model

Sheng Tang, Shengzhe Wei, Tiancheng Chen, Wenhua Jin, Xinyang Lu, Tinghao Jiang, Shuoxuan Feng, Yupeng Liu, Yu Zhang, Xingshuo Chang, Keren Zhou, Yuhan Xiong, Jiahao Li, Haoming Liu, Jituo Tian, Hui Liang, Chaoqun Tang, Feng Tian, Wentao Ouyang, Kaojin Zhu, Xiaolin Chai, Peihuang Fu, Miao Zheng, Yunbo Hu, Feixue Cai, Zizhen Zou, Weigang Wang, Yexuan Yang, Haoyu Feng, Weiqi Zhang, Juntong Fang, Zesong Li
任务设定 构建几何基础模型,统一预测位姿、深度与动态 3D 结构
痛点动机 现有动态场景重建方法精度与效率难以兼顾
解决方案 几何基础模型结合位姿优化引擎,并用重建数据反哺训练,支持 4D 高斯泼溅
6

EgoX: Egocentric Cross-Embodiment Manipulation with Embodiment Dreaming

Yaru Niu, Binghong Chen, Changwei Yao, Shangtao Li, Zhenlong Fang, Revanth Krishna Senthilkumaran, Shuai Zhou, Yuemin Mao, Kalie Ching, Po-Ju Chao, Yudong Luo, Peiqi Yu, Heng Zhang, Hao Zhang, Bingqing Chen, Chen Qiu, H. Eric Tseng, Ye Yuan, Umar Iqbal, Changliu Liu, Jonathan Francis, Ding Zhao
任务设定 统一学习人类、机器人、仿真等跨具身操作策略
痛点动机 形态、感知与控制接口差异使跨具身示范数据难以联合利用
解决方案 提出 EgoX 框架,用模块化跨具身 Transformer ( MXT+)统一编码各具身模态,并引入「具身梦境」目标预测未来状态以增强泛化。
7

ActWorld-JEPA: Action-Conditioned JEPA World Models Meet Latent Planning for End-to-End Autonomous Driving

Ziying Song, Shengkai Zhang, Caiyan Jia, Lei Yang, Lin Liu, Yuchen Liu, Ziyang Liu, Zirui Li, Gang Wang, Peiliang Wu, Li Wang, Yadan Luo, Chen Lv
任务设定 基于 JEPA 世界模型的端到端自动驾驶轨迹规划
痛点动机 仅靠隐空间预测一致性难以判断候选轨迹优劣
解决方案 提出 ActWorld-JEPA,用动作条件隐空间预测结合关系残差重排序挑选最优轨迹
8

HeMeR: Heterogeneous Memory Reconciliation for Embodied Agents via Structured KV Reuse

Saehun Chun, Wonje Choi, Jinwoo Jang, Taeyoon Kwack, Honguk Woo
任务设定 具身智能体中异构记忆模块的高效推理问题
痛点动机 记忆更新频繁导致 KV 缓存需全量重算,拖慢决策速度
解决方案 提出 HeMeR ,仅对变化的记忆内容做 KV 重算,其余复用缓存
9

Can an LVLM Perceive Event Boundaries Like a Human?

Hyolim Kang, Jungsoo Lee, Yeji Song, Whie Jung, Janghoon Cho, Juntae Lee
任务设定 评估 LVLM 在长时第一人称视频中检测事件边界的能力
痛点动机 直接逐帧预测边界效果差,小时级视频语义尺度更难把握
解决方案 提出粗到细时序发现+LVLM 局部精化判别流程,构建 EgoBoundary 基准
10

PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning

Haofeng Wang, Pengcheng Wen, Ruiqi Li, Yuhao Zhang, Tiange Zhang, Boren Zheng, Xuanyi Liu, Siyu Tao, Danni Yu, Gan Lin, Haocheng Tang, Tianzizhe Guo, Mingyuan Su, Boyuan Chen, Zhongyuan Wang
任务设定 评测视频字幕能否保留物理交互信息,服务于世界模型预训练
痛点动机 语义正确的字幕常遗漏物理交互与状态变化细节,监督信号不足
解决方案 构建跨第三人称/第一人称操作/手持抓取器三域的人工标注基准评估字幕物理保真度
11

I See What You Want: Decoding Hierarchical Operator Intent from Visual Teleoperation History

Xiangyi Jia, Kaixian Qu, Shengzhi Wang, Chenyu Yang, Robert Katzschmann, Marco Hutter
任务设定 从遥操作视觉历史中解码人类操作员的分层意图
痛点动机 现有 VLM 难以在无显式指令下推断操作员的动作与任务目标
解决方案 构建 VIAMO 数据集微调出 VIM 模型,预测意图使 VLA 策略能中途接管任务
12

VBot Exo2Ego Policy: Lightweight Data Collection and Exocentric-to-Egocentric Video Generation

Tong Rao, Zhihao Zhang, Yuntian Wang, Siyu Zhou, Hailong Qin, Yinan Yu
任务设定 将第三人称视频转换为指定人物的第一人称视角观测
痛点动机 第一人称操作数据稀缺,需从海量第三人称网络视频中扩充
解决方案 基于视频扩散 Transformer ,用几何引导与手部关键点监督提升手物交互生成质量
13

Hand in Silhouette: Synthetic-to-Real Multi-View Hand Reconstruction via Binary Masks

Leiyao Cui, Lecheng Ruan, Zihang Zhao
任务设定 多视角手部三维重建,用二值掩码缩小合成真实差距
痛点动机 真实多视角手部数据采集成本高、几何多样性有限
解决方案 提出 SilHand ,用 掩码-射线证据融合 代替 RGB 特征做 3D 提升,可在大规模合成数据上训练后迁移真实场景
14

Reconstruct What You Can: Distractor-free 4D Gaussian Splatting

Joel Julin, Liuyue Xie, Ananya Bal, Mose Sakashita, Koichiro Niinuma, Laszlo A. Jeni
任务设定 从随意拍摄视频中重建动态 4D 场景并剔除干扰物
痛点动机 静态假设或联合建模会抑制真实运动或产生重影伪影
解决方案 用 4D 高斯泼溅,依据形变场敏感度分离核心高斯与干扰高斯
15

WorldDraft: If Code Builds the World, Can Video Models Just Render It?

Zhiyu Hou, Wen-Jie Shu, Harold Haodong Chen, Weilin Ruan, Chenfei Liao, Liuzhou Zhang, Disen Lan, Xiaogang Xu, Qi Chen, Ser-Nam Lim
任务设定 评测视频模型能否作为代码构建 4D 世界的渲染器
痛点动机 世界结构保真与视觉属性绑定难以兼顾,现有模型存在张力
解决方案 提出 WorldDraft 基准及即插即用提示策略 WorldDraft-Primer
16

Sub-actions in Action: Text-Guided Hand-Role Alignment for Sub-Action Recognition

Sadegh Rahmaniboldaji, Filip Rybansky, Quoc Vuong, Frank Guerin, Andrew Gilbert
任务设定 识别第一视角视频中左右手角色及其操作对象的子动作
痛点动机 现有 VLM 难以区分高层动作中左右手各自的具体分工
解决方案 提出 BiScopeNet ,用文本引导注意力模块对齐视频与语言,并构建大规模数据集 BiScopeCap-100K
17

Topology-Aware 4D Gaussian Splatting for Egocentric Videos

Leonardo Vanni, Stefano Gasperini, Federico Tombari, Chiara Plizzari
任务设定 从单目第一视角视频重建含拓扑变化的动态场景
痛点动机 现有 4DGS 方法难以处理切割、拆装等导致表面分裂合并的日常交互
解决方案 提出 Topo-4DGS ,为交互部件分配独立刚体变换,并动态激活/关闭高斯基元适应拓扑变化
18

Iris-Z: Scaling One Generative Model Past Specialist Geometry Models

Alejandro Cañada, Chema Garabito
任务设定 用单一生成模型统一完成图像生成与单目深度估计
痛点动机 几何理解长期依赖专用架构,缺乏可扩展的统一视觉方案
解决方案 Iris-Z 用同一骨干网络同时去噪、理解图像与深度,扩大规模后超越专用深度模型
19

JustRUA: A Controlled Study of GPT-6 Robot-Use Agents

Zefan Wang, Yufan Dang, Xuanwei Shi, Mingqi Gao, Cheng Yin, SikYuen Tam, Hanyu Liu, Yasheng Wang, Yaxi Lu, Songyang Zhang, Xin Cong, Yuan Yao
任务设定 评测 GPT-6 驱动的机械臂机器人操作智能体各设计因素
痛点动机 已有系统常同时改动多项设计,难判断哪些选择真正带来性能提升
解决方案 拆解 harness、动作接口、经验复用与场景几何,精简版 JustRUA 大幅提升 RoboDojo 基准得分
20

MOSAIC: Modular Obstacle and Spatial-Aware Framework for Manipulation In Cluttered Scenes

Richard Shi, Mohammad Mahdavian, Mehrdad Momeni Zadeh, Mohammed Elmahgiubi, Amir Rasouli
任务设定 杂乱场景下机器人操作的 VLA 策略增强
痛点动机 现有 VLA 仅依赖 2D 视觉与语言,缺乏显式几何与障碍物理解
解决方案 预测目标/障碍掩码并结合深度构建几何 token ,配合障碍感知注意力监督注入动作专家
21

Where to Generate Touch: Do Image Latents Preserve Material Recognition?

Wanghao Ye, Aarosh Das, Sihan Chen, Yiting Wang, Bowei Tian, Guoheng Sun, Shwai He, Zheyu Shen, Ziyao Wang, Yexiao He, Zhaoyi Liu, Meng Liu, Yuning Zhang, Meng Feng, Ziyi Wang, Yilong Dai, Yifei Dong, Siyuan Peng, Zhenle Duan, Joshua Liu, Lang Xiong, Daeun Jung, Aditya Sarkar, Parastoo Pilevar, Xiaochuan Gong, Yancheng Zhu, Yingying Fan, Qiong Wang, Ang Li
任务设定 探究图像潜空间能否保留材质识别信息以生成触觉
痛点动机 生成式触觉可扩展机器人学习,但需选对合适的潜在表示空间
解决方案 对比多种图像编码器重建后的材质分类准确率,选用 SD-VAE 潜空间训练光到触觉生成器
22

RUMI: A Robotiq-Matched Universal Manipulation Interface for Robot Learning with Augmented Reality and Haptic Feedback

Kevin Avdiu, Seongjin Bien, Yannik Blei, Philine Meister, Johannes Hechtl, Philipp Schmitt, Kai Wurm, Georg von Wichert, Wolfram Burgard
任务设定 面向机器人操作任务的手持式数据采集接口
痛点动机 现有手持接口力学特性与机器人爪不匹配,缺力觉数据
解决方案 设计匹配 Robotiq 爪型的手持装置,结合 AR 视觉反馈与触觉反馈采集含接触力的示教数据,训练模仿策略
23

Latent Imagination for Parameterized Action Spaces

Atahan Cilan, İhsan Mert Muhacıroğlu, Ümit Can Bekar
任务设定 参数化动作空间下基于世界模型的强化学习
痛点动机 无模型方法需大量交互,有模型方法规划耗时导致决策慢
解决方案 在世界模型潜空间中想象训练混合动作策略,部署时单次前向推理即可快速决策
24

CoCode-World: Shared 3D Proxy Representation for Multi-Player World Models

Qirui Li, Xin Zhang, Yabo Chen, Jinkun Hao, Paul L Rosin, Yu-Kun Lai, Haibin Huang, Yin Chen, Ran Yi, Chi Zhang
任务设定 双人游戏场景下多视角一致的视频生成
痛点动机 共享 3D 实体下摄像机视角不同易导致外观不一致
解决方案 提出可编程 3D 代理分离结构控制与外观合成,基于预训练视频模型联合生成双视角画面
25

EMS-Nav: Embodied Multi-Scale Navigation

Zenghui Yang, Xinan Wang, Danyang Li, Zhe Xu, Zheng Yang, Jingao Xu, Qiang Ma
任务设定 工业巡检机器人跨尺度具身导航任务
痛点动机 现有多尺度导航方法环境表征开销大,难以端侧部署
解决方案 提出 EMS-Nav ,以区域为基本感知单位,构建分层空间表征实现在线端侧多尺度导航
26

Marginal-Preserving Coupled Diffusion Composition for Long-Horizon Planning

Hengrui Zhang, Qiyu Wang, Yuhu Cheng, Brooks Paige, Xuesong Wang
任务设定 扩散模型长时域轨迹规划中的片段拼接任务
痛点动机 多模态环境下各轨迹片段独立去噪易导致拼接处不一致
解决方案 提出耦合扩散初始化,使相邻片段噪声正相关,同时保持边缘分布不变提升拼接一致性
27

SCR-Mamba: Skeleton-conditioned Mamba with cross-scale incremental refinement for efficient 3D human pose estimation

Jie Wang, Xuejing Gu, Congzhe Zhang, Zibo Zhao
任务设定 基于视频的 3D 人体姿态估计
痛点动机 Mamba 建模长序列缺乏骨骼结构先验,全分辨率计算开销大
解决方案 提出骨骼条件状态建模引入骨骼关系,结合跨尺度渐进细化降低计算量并保精度
28

What Makes a VLA Reactive? A Study of Execution Strategies for Dynamic Manipulation

Zhuoyue Li, Zhendong Han, Pankhuri Vanjani, Wenting Li, Rudolf Lioutikov
任务设定 研究动态操作任务中 VLA 模型的反应性
痛点动机 物体运动时,预测的动作块在执行前就已过时失效
解决方案 对比同步/异步推理与不同预测执行时域,发现保持轨迹连续性优于单纯降低延迟
29

IncR-3DSGG: Incremental Posed RGB Image Based 3D Scene Graph Generation via Privileged Depth Supervision

Mrunmai Phatak, Daniel Kienzle, Roman Küble, Jörg Hähner, Rainer Lienhart
任务设定 基于位姿 RGB 图像增量生成 3D 场景图,无需深度传感器
痛点动机 现有 3D 场景图方法依赖深度输入,限制了实际部署场景
解决方案 提出参数化关系预测器从 2D 特征学习物体间距离角度,经位姿图优化融合多视角构建全局一致场景图
30

Driving World Models Move the Camera, Not the Scene

Yuqiao Feng, Xiaoyu Ao
任务设定 评估自动驾驶世界模型对规划指令的场景响应能力
痛点动机 现有控制指标只看相机是否跟随指令,忽略场景几何是否真实变化
解决方案 提出 ReTime-Compose ,用真实日志几何替换相机输入,无需训练即可提升场景响应
31

AFTER: A World Model with Adaptive Fast--Slow Timescales for Error-Driven Retention

Haoyi Zhang, Qi Zhang, Yunfan Ren, Yi Bin, Lei Zhu, Heng Tao Shen
任务设定 面向机器人具身智能的动力学突变自适应世界模型
痛点动机 机械臂抓取未知负载等突变发生时,现有世界模型难兼顾响应与稳定
解决方案 提出 AFTER-WM ,借鉴大脑预测编码,用快慢双时间尺度误差驱动专家权重调整
32

Multi-View 3D Reconstruction Using V-JEPA Features

Anwar Shamim, Jeffrin Sam
任务设定 用 V-JEPA 视频特征做多视角 3D 重建与相机位姿估计
痛点动机 预测式视频编码器表征丰富,但缺乏显式深度和跨视角几何约束
解决方案 结合预训练视频特征、相机回归、场景聚合、极线传输与残差点图,对比多种位姿估计方案
33

Duo: A Reciprocal World Model for Full-Duplex Interaction

Hengyuan Cao, Biao Gong, Guoshan Lu, Qiyuan Zhang, Lin Liu, Yiding Tian, Yilei Jiang, Yuxin Ma, Chengzhang Wu, Kun Chen, Yiqian Xie, Ting Liu, Xin Zheng, Xijun Gu, Tianren Ma, Jiancheng Pan, Chi Zhang, Xuzhe Zheng, Siyi Li, Zhenzhong Lan
任务设定 构建实时感知并响应用户的全双工世界模型 Duo v1
痛点动机 现有世界模型只模拟物理环境,推理决策被视为外部控制而非内在能力
解决方案 提出 Reciprocal World Model ,用 Intent 与 Realization 两模块在统一时间线上自回归建模协同交互
34

CFGComposer: Compositional Audio-Text-to-Motion Generation via Copula Score Correction

Pengyang Shi, Jinlu Zhang, Chunze Lin, Yizhou Wang, Li Yi
任务设定 生成与语音节奏同步、语义对齐的全身手势动作
痛点动机 独立训练的音频、文本扩散模型组合时丢失跨模态交互信息
解决方案 联合训练扩散模型估计 copula 分数作 ε 空间修正,在人形机器人上实现 sim-to-real 部署
35

Prediction or Persistence? What Future-Prediction Scores Miss About World Models

Animesh Maheshwari
任务设定 评估视频世界模型的未来预测分数是否真实反映预测能力
痛点动机 未来预测分数混杂编码器质量与过去帧相似性,掩盖真实预测贡献
解决方案 设计 persistence 对照组做配对比较,分离出预测器对结果的真实贡献
36

The Posterior-Prior Epistemic Gap: When World Model Imagination Fails to Carry Task-Relevant Signals

Jaerock Kwon, Elahe Delavari, Donghyun Kim, Haewoon Nam
任务设定 研究世界模型想象推演中任务信号逐渐丢失的问题
痛点动机 现有不确定性指标(集成分歧)无法察觉这种想象失效
解决方案 用监督探针对比后验与先验状态,证明转移模型是信息瓶颈,并提出任务条件化的自由能权重方法
37

HeadIO: Body-Frame Heading Decomposition for Neural Inertial Odometry on Head-Mounted Devices

Taeyoung Yeon, Yiquan Li, Chenfeng Gao, Vasco Xu, Karan Ahuja
任务设定 头戴设备上基于 IMU 的惯性头部追踪
痛点动机 现有世界坐标系方法对头部倾斜不具偏航不变性
解决方案 提出体坐标系朝向分解分离重力与水平分量,配合双向 Mamba 网络实现轻量高精度追踪
38

Learning Low-Latency Action Verification for Frozen Vision-Language-Action Models

Wen-Han Hsieh, Ken Jiankun Zheng, Chia-Chien Chen, David M. Chan, Trevor Darrell
任务设定 对冻结的 VLA 模型生成的候选动作做低延迟验证选择
痛点动机 用重型验证器逐个打分评估候选动作会带来明显推理延迟
解决方案 用策略自身部署的回放数据训练轻量验证器预测成功率,并挑选最佳动作片段执行
39

BirdDreams: Joint Perspective and BEV Video Generation for a Plausible, Reactive Driving World Model

Junyoung Seo, Jaewoo Seo, Seungryong Kim, Laura Leal-Taixé, Xiuming Zhang, Seung Wook Kim
任务设定 自动驾驶场景下联合生成透视视频与鸟瞰图视频的世界模型
痛点动机 仅靠透视视频学习车辆运动,易受外观纠缠和遮挡干扰
解决方案 用两个视频扩散 Transformer 联合注意力生成透视与 BEV 视频, BEV 同时作为自车轨迹控制接口