Daily Paper Feed

2026 年 09 月 23 日 星期三 · 共 22 篇相关论文 · 全部存档
1

φ-RIE: From Photorealistic Reconstruction to Interactive Environments

Runyi Yang, Deheng Zhang, Xiaoye Wang, Kanzhi Wu, Lei Sun, Ajad Chhatkuli, Kunyu Peng, Luc Van Gool, Danda Pani Paudel
任务设定 把 3D 高斯静态场景转为可交互机器人仿真环境
痛点动机 静态重建缺少物体级物理交互与遮挡补全能力
解决方案 耦合物体资产提取与背景补全,生成可移动可操作的仿真体
2

HARMONY: Hierarchical Agentic Reasoning for MONocular Image-to-Scene Synthesis

Shufan Sun, Chen Wang, Enxin Song, Jiatao Gu, Lingjie Liu
任务设定 单张室内图像重建带精确关系的 3D 场景
痛点动机 语义推理与几何还原难以兼顾,单图重建质量受限
解决方案 结合 VLM 层级推理与几何精修,分层放置物体并逐步反馈修正
3

DreamStream: Towards Policy-Oriented Generative Simulation for End-to-End Driving

Ziyang Leng, Sicheng Mo, Seth Z. Zhao, Haoyuan Cai, Yu Zeng, Rowan McAllister, Bolei Zhou
任务设定 面向端到端驾驶策略评测的生成式闭环仿真
痛点动机 仿真与真实的视觉差距会扭曲策略的场景感知
解决方案 用自回归视频世界模型保留布局特征,提出 FDπ新指标衡量差距
4

Beyond End-Task Success: How to Audit Visual Experience Retrieval in Robotics

Eshika Pathak, Leela Krishna
任务设定 审计机器人视觉经验检索策略的选择质量
痛点动机 仅看任务成功率无法判断检索策略是否真的选得好
解决方案 让每条历史经验在每个场景都执行一遍,对比近邻检索与 oracle 上限
5

Code Plans, Diffusion Renders: Open-Ended Generative World Modeling

Zixun Fang, Yawen Shao, Kai Zhu, Jie Xiao, Shihan Chen, Yu Liu, Xueyang Fu, Yang Cao, Wei Zhai, Zheng-Jun Zha
任务设定 用代码显式构建世界动态,视频扩散模型负责渲染观测
痛点动机 现有视频世界模型隐式表征动态,难支持长期记忆与多智能体交互
解决方案 多角色协作将高层概念转为可执行规则,用扩散模型渲染逼真画面
6

Latent Dataset Distillation for Human Motion Prediction

Ge Tian, Guang Li, Takahiro Ogawa, Miki Haseyama
任务设定 将人体运动预测数据集蒸馏为紧凑合成集
痛点动机 原始空间梯度匹配易生成不合理、不稳定的动作
解决方案 在隐空间中用 RVQ-VAE 编码运动,蒸馏更新可学习潜在库
7

QuantWM: Temporally Consistent 2-Bit KV Cache Quantization for World Models and Video Generation

Jiaqi Zhao, Xiaobin Hu, Bo Yin, Junpeng Jiang, Miao Zhang, Shuicheng Yan
任务设定 为视频生成与世界模型的 KV 缓存做 2 比特量化
痛点动机 现有 2 比特量化方法导致明显时序闪烁与画质退化
解决方案 通过注意力感知聚类选取关键量化中心,并用低秩补偿恢复注意力精度
8

Sample, Simulate, Select: Physics-in-the-Loop Text-to-Motion for Humanoids Without Training

Raphael Memmesheimer, Sven Behnke
任务设定 免训练地为人形机器人执行文本生成的动作
痛点动机 文本生成运动不建模机器人动力学,跟踪控制器又无法重新规划
解决方案 对每条提示采样多个动作,经物理仿真执行后择优选择最佳候选
9

MAVP: Map-Aware Visuomotor Policies for Mobile Manipulation

Jinhe Tang, Ruixiao Dai, Weiming Zhi
任务设定 移动操作中基座与机械臂的协同运动控制
痛点动机 示范训练策略常复现基座运动不准,导致空间偏差与操作失败
解决方案 预测显式基座位姿目标,用定位反馈闭环跟踪并做位姿噪声增强训练
10

TriWorldBench: A Tri-View Consistency Perspective on Embodied World Models

Xuanyi Liu, Haofeng Wang, Ruiqi Li, Danni Yu, Rui Wan, Ruixu Zhang, Siyu Tao, Xue Yang, Shaofeng Zhang, Zicheng Zhang, Jiaqi Zhang, Siwei Ma
任务设定 评估具身世界模型在双臂操作中头/腕视角预测一致性
痛点动机 现有评测只看单视角画质,无法判断预测是否描述同一动作
解决方案 提出 TriWorldBench 基准,用头/双腕同步视频和 19 项指标评估跨视角一致性
11

Skytopia: Monocular Drone Navigation with Action-Conditioned Latent World Models

Yuhang Zhang, Rangya Zhang, Yujing Shang, Zhuoyuan Yu, Weiying Wang, Steven Yang, Qingsong Yan, Chao Yan, Mir Feroskhan
任务设定 单目无人机在未知环境中的目标导航
痛点动机 传统世界模型推理时仍需生成完整预测画面,开销大
解决方案 提出动作条件隐世界模型,仅学习动作对应的表征变化,基于 3D 高斯泼溅训练,推理时丢弃预测器降低成本
12

Metric-Bench: Exploring In-context Spatial Metric Reasoning in VLMs for Indoor Scenes

Yuling Xi, Haokai Zhang, Muzhi Zhu, Hao Zhong, Zongze Du, Hengyu Zhao, Chenchen Jing, Yufei Yin, Bin Qin, Yongjie Yang, Zhenbo Luo, Hao Chen, Chunhua Shen
任务设定 评估并提升 VLM 在室内场景的度量空间推理能力
痛点动机 像素级监督的空间训练易损害模型通用推理能力
解决方案 引入含参考物体的 Metric-Bench 基准,用强化微调结合可验证数值奖励训练
13

Fysiverse-3D-Vision Technical Report: Generating Executable 3D Worlds from Images through Unified Spatial Reasoning

Dingkang Yang, Yizhou Liu, Wendong Cheng, Zizhi Chen, Shunli Wang, Yang Liu, Hongsheng Li, Lihua Zhang
任务设定 从单张图像生成可执行的 3D 场景与物体布局
痛点动机 现有方法难以联合建模物体语义、几何与场景空间关系,限制具身应用
解决方案 提出统一视觉-语言-几何 Transformer 框架,联合空间推理与几何重建,用碰撞感知优化提升物理一致性
14

CODA: Depth-Aligned Scene Completion and Object Decomposition from a Single RGB-D Image

Dongwon Son, Junhyek Han, Yoontae Cho, Minseok Lee, Hong-seok Choi, Jiwook Choi, Hyungjin Kim, Beomjoon Kim
任务设定 单张 RGB-D 图像的场景补全与物体分解
痛点动机 先检测后重建易漏检/融合/穿模,几何不一致
解决方案 提出 CODA 生成模型,先补全整体场景几何再分解出物体,用两种 3D 约束机制减少漂移
15

GameDirector: Decoupling Gameplay Logic from Rendering for Player-Configurable Game World Models

Zijun Lin, Zhiyang Deng, Yuzhe Wu, Bihan Wen, Yeying Jin
任务设定 玩家可配置的游戏世界模型生成
痛点动机 端到端视频世界模型难以保证游戏规则与状态一致
解决方案 提出 GameDirector 智能体框架,解耦游戏逻辑与视觉渲染,用文本引导视频世界模型渲染
16

MachEmbodied-U0: Unified Understanding and Generation Model for Embodied Intelligence

Haoran Wen, Wenfu Wang, Kunsong Shi, Jingke Wang, Wancheng Feng, Yiren Zhang, Yueran Zhao, Xuancheng Zhang, Nanfei Ye, Xingru Chen, Zhaohong Sun, Chengmin Yang, Zikang Yu, Penghao Bi, Jia Shi, Yu Liu, Kun Zhan, Yan Xie
任务设定 统一理解与生成的具身智能基础模型
痛点动机 VLA 模型缺场景动态建模,世界-动作模型缺细粒度语义
解决方案 提出 ME-U0,用混合 Transformer 架构联合预测子任务、可操作区域与视觉动态并生成动作
17

IndustrialVLA-Bench: A Traceable Multi-Axis Evaluation of Open Robot Policy Models

Yiqi Wang, Zhifeng Rao, Jiaqi Zhang, Xiaoyang Li, Zhangkai Wu, Yiqun Duan, Mingkai Zheng, Fei Wang, Shan You, Taotao Cai
任务设定 统一评测 VLA 与世界-动作模型的机器人操控能力
痛点动机 不同评测协议下各模型指标不可比,能力鲁棒性不明
解决方案 构建 IndustrialVLA-Bench ,在 LIBERO 系列基准上统一测评六种开源策略模型
18

SAM-V: Geometry-Aware Segment Anything for Multi-View Instance Segmentation

Jiangshan Gong, Yuqun Wu, Qiqian Fu, Yao Xiao, Chuhang Zou, Shenlong Wang, Derek Hoiem
任务设定 多视角一致的 3D 物体实例分割
痛点动机 视角/遮挡变化大, 3D 标注稀缺且离线匹配易错认物体
解决方案 将几何模型 VGGT 特征融入 SAM ,端到端预测跨视角一致的实例掩码
19

VLAQuantBench: Closed-Loop Evaluation of Post-Training Quantization for Vision-Language-Action Models

Jiuyi Xu, Qing Jin, Meida Chen, Song Wang, Yang Sui, Yangming Shi
任务设定 评估 VLA 模型训练后量化对机器人操作成功率的影响
痛点动机 层范围、数值格式与校准方式相互影响,量化效果难以预测
解决方案 构建 VLAQuantBench 闭环评测,发现保护关键层与少量校准数据可大幅恢复量化后性能
20

Geometric and Semantic Coupling for Interaction Understanding in 3D Scenes

Hanyang Kong, Xingyi Yang
任务设定 理解 3D 场景中可动部件与把手的交互关系
痛点动机 现有方法难以联合建模部件、把手与运动的关联
解决方案 用几何先验约束运动、按把手位置选铰链轴,结合语义预测修正部件类别
21

X-Planner: Event-Structured Task Planning for Embodied Intelligence

Howard Lu, Shalfun Li, Porter Pan, Cris, Lumen, Cyril, Eric Hu, Lily Li, Maeve Zhang, Robert Wang, KZ Zheng, Viggo Chen, Tim Ding, Regsis Cheng, YJ Xiao, Kian, Hai Lin, Alan Song, Elise Ma, Gody Li, Victor Yao, Yohann Tang, Ingrid Yu, Jason He, James Wang, Ryan Yu, Ping Yang, Chris Pan, Vincent Chen, Roy Gan, Hao Wang, Qian Wang
任务设定 长时程机器人操作任务的规划中间表示设计
痛点动机 现有 VLA 系统规划结构隐式, CoT 标注粗粒度且串行推理慢
解决方案 提出 X-Planner ,共享 VLM 主干输出离散事件状态与隐式 CoT 两种规划形式
22

4DGS-JEPA: Temporally Compositional Joint-Embedding Prediction for Dynamic Gaussian Splatting

Yongchao Huang
任务设定 对动态 3D 高斯泼溅 场景做多步骤预测建模
痛点动机 现有方法只做重建渲染,缺乏可复用的预测动力学
解决方案 提出 联合嵌入预测架构 (JEPA),用层级化场景-运动-高斯表示和时序组合转移算子实现多步预测