Daily Paper Feed

2026 年 10 月 28 日 星期三 · 共 44 篇相关论文 · 全部存档
1

ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning

Chaehyun Kim, Chi-Pin Huang, Jisoo Kim, Min-Hung Chen, Yu-Chiang Frank Wang, Seungryong Kim, Fu-En Yang
任务设定 VLA 机器人操作中融合人类视频学习动作推理
痛点动机 动作标注数据稀缺,人类视频无动作标签难监督
解决方案 提出离散运动令牌链表示动作,用世界想象强化学习对齐预测与真实状态
2

Repurposing Video Diffusion Transformers for Cross-View Temporal Object Correspondence

Siyoon Jin, Dahyun Chung, Honggyu An, Sangbeom Lim, Wonjin Nam, Jaewoo Jung, WonJun Moon, Seungryong Kim
任务设定 跨视角(第一/第三人称)时序物体关联与追踪
痛点动机 现有方法逐帧匹配易受遮挡/外观变化影响,产生误差累积
解决方案 复用预训练视频 DiT 做跨视角 RGB-to-mask 迁移,并用 Ego-Exo4D 伪标签训练
3

Perceiving and Predicting Dynamic Sports: Spatiotemporal Intelligence in Vision Models for Egocentric Tennis Video

Tudor Braicu, Joseph DelPreto, Jared Boyer, Mónika Farsang, Maximilian Stölzle, Tim Niklas Seyde, Daniela Rus
任务设定 第一人称视角下体育场景时空感知与预测
痛点动机 缺乏对第一人称视觉模型时空推理能力的系统评估
解决方案 构建网球数据集,训练模型对球员和球做 3D 定位 与未来轨迹预测
4

Understanding the limits of latent world models

Rodrigo Gonzalez Laiz, Steffen Schneider
任务设定 评估世界模型学到的潜在动态是否忠实反映环境
痛点动机 现有评测只看任务表现,未验证潜在动态是否真实建模环境结构
解决方案 提出潜在回滚一致性( LRC )指标,发现现有模型均未忠实建模动态
5

Kinematic Constraint-Referenced Evaluation for Articulated Object Manipulation

Baptiste Bonin, Caro Strickland, Audrey Durand
任务设定 评估机器人操作铰接物体时动作是否合理
痛点动机 二元成功率无法判断动作是否贴合物体的运动学约束
解决方案 提出 CRS 指标,将末端执行器运动投影到关节轴,区分有效进展与离轴浪费
6

When, Where, and What to Correct: Human-Guided Adaptive Residual Correction for Robot Policies

Anukriti Singh, Maxime Caniot, Pratap Tokekar, Firas Abi-Farraj
任务设定 修正机器人精细操作中的局部失败
痛点动机 全局重训或处处探索成本高,难以只修复局部误差
解决方案 用强化学习在冻结策略上学习残差修正,稀疏人类纠正引导探索区域
7

Which Hand Was Late? Diagnosis for Robot Failure Recovery in Bimanual Tool Use

Baptiste Bonin, Caro Strickland, Audrey Durand
任务设定 诊断双臂工具使用中机器人的失败原因
痛点动机 现有诊断器只针对单臂失败,双臂场景故障模式更复杂难辨
解决方案 分析不同传感通道对滑脱、手臂延迟等失败类型的可辨识性,设计升级式修复策略
8

Representing the Unseen: Rethinking Visual Imagination for Spatial Reasoning

Zengqi Zhao, Zun Wang, Shoubin Yu, Mohit Bansal, Yue Zhang
任务设定 研究世界模型生成的想象表征对空间推理的作用
痛点动机 RGB 想象未必最优,不同空间问题需不同表征支持
解决方案 提出 ImagiRep 基准及 GEARS 自适应表征选择策略
9

Learning Quality-Controllable Robot Policies with Iterative Hindsight Relabeling

Sinjae Kang, Dong Kyu Shin, Jaehong Kim, Kamin Lee, Hyoeun Kim, Kaixin Wang, Li Zhao, Seonghyeon Ye, Kimin Lee
任务设定 学习质量可控的机器人操作策略
痛点动机 真实部署需按需调节速度、平稳性等执行质量
解决方案 提出 QCP 并用迭代事后重标记在线微调提升质量与成功率
10

PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations

Hanqing Wang, Zhaotian Cai, Ruichuan An, Bohan Zeng, Tao Zhang, Yilin Chen, Xu Jiang, Kaiquan Chen, Chongyang Wu, Haoran Li, Fan Yang, Mingan Lin, Wentao Zhang, Zenan Zhou, Youzheng Wu
任务设定 增强 VLA 模型对物理动力学的理解
痛点动机 视频世界模型预测未来帧延迟高,难以实时控制
解决方案 提出 PDRVLA,轻量物理动力学模块提取物理 token 辅助生成动作
11

ScIntBench: Physical Interaction Plausibility in 3D Scene Generation

Wendi Ying, Daochang Liu, Leonid Sigal, Ajmal Saeed Mian
任务设定 评测文本生成 3D 场景的物理交互可靠性
痛点动机 现有评测忽略交互时的物理可靠性表现
解决方案 提出基准 ScIntBench ,在物理仿真中执行推拉开合等动作评测交互能力
12

GameVerse: A Minute-Scale Gameplay Dataset for Long-Horizon Interactive World Modeling

Kang He, Wenshuo Peng, Chuanhao Li, Zihui Gao, Xiaojie Xu, Zhengyuan Lin, Yuzhe Ding, Donghong Ji, Kaipeng Zhang, Yongtao Ge
任务设定 构建分钟级游戏视频数据集,训练长时序交互式世界模型
痛点动机 现有数据片段过短,模型难维持长时序一致性
解决方案 GameVerse 含 69.7K 个片段、1655 小时数据,并标注相机轨迹与事件字幕
13

Vision-Language-Action or World-Action? Just Action Models

Yonghao Yu, Lang Huang, Runyi Li, Toshihiko Yamasaki
任务设定 统一 VLA 与世界动作模型为通用动作模型
痛点动机 厘清两类模型性能差异的真正来源
解决方案 解耦骨干初始化与前瞻损失,预测未来观测特征而非生成视觉,提升机器人操作成功率
14

TopoField: Technical Report for ECCV 2026 SceneFun3D Challenge

Zhiwei Chen, Zhiheng Fu, Zixu Li, Mingyu Zhang, Jiale Huang, Yupeng Hu
任务设定 室内点云中小型可交互部件的功能分割
痛点动机 语义概率场与离散实例评测间存在场到实例鸿沟
解决方案 基于 VOLT 构建确定性解码器,融合多轮预测为语义共识场,再用图测地线分割解码实例
15

Zhengrong-Spatial-Aware 1.0: Advancing 3D Multimodal Intelligence

Yu Zhang, Xiaogang Wang, Yuhang Cheng, Jingrui Li, Wenbo Chen
任务设定 构建 3D 空间感知多模态问答微调方案
痛点动机 通用多模态模型缺乏度量级 3D 空间推理能力
解决方案 基于 HiSpatial-3B 与 Qwen3-VL 做 QLoRA 微调,融合 3D 点图提升空间问答准确率
16

Retrieve to Act: Motion Primitive Graph Retrieval for Robust VLA Execution

Pham Tri Quang, Bao-Ngoc Dao, Minh Duc Nguyen, Duc-Duy Nguyen, Hung T. Ho, Linh Dang Le, Trong-Bao Ho, Thien-Loc Ha, Tan Q. Nguyen, Tuan Dam, Vu N. Duong, Daniel Sonntag, Ngan Le, Khoa D. Doan, Jan Peters, An Thai Le, Duy M. H. Nguyen, Vien Anh Ngo
任务设定 VLA 策略在视觉分布外场景下的鲁棒执行
痛点动机 现有方法只抑制虚假视觉线索,忽略训练数据中的运动先验
解决方案 构建运动基元图检索结构兼容的未来轨迹,用门控机制融合纠正 VLA 动作
17

3D-SceneQ: Empowering 3D LLM With Query-Guided Adaptive Pruning and Multi-Modal Feature Enhancement

Yongqi Shan, Lu Zhang, Jiazuo Yu, Yunzhi Zhuge, Huchuan Lu
任务设定 3D 场景理解中的 3D-LLM 推理与定位
痛点动机 无关物体 token 引入噪声,纯点云缺乏 2D 语义信息
解决方案 提出查询引导自适应剪枝筛选相关物体,融合 2D 特征增强物体语义表示
18

How Much Can Best-of-N Help a World Action Model? Measuring Selectable Headroom and Realizing It in Closed Loop

Haojia Gao, Yue Cao, Yumin Liu, Haohua Que, Mingkai Liu, Guanqiu Guo, Zhuo Zou, Bokui Chen, Xueqian Wang
任务设定 评估世界动作模型测试时选择的可提升空间
痛点动机 标准最优采样估计混淆了候选质量与后续随机性
解决方案 提出去噪反事实协议精确测量可选空间,构建失败门控选择器提升闭环成功率
19

GCSR-OCC: Geometry Calibration and Semantic Routing for Open-Vocabulary Occupancy Prediction

Bohua Wang, Congyang Zhao, Tianxiong Lv, Chenxu Zhao, He Zheng, Hangqi Fan, Leigang Luo, Zhihao Liao, Yihong Guo, Yang Cai
任务设定 基于单张 RGB 图像的室内开放词汇 3D 占据预测
痛点动机 高斯基元尺度膨胀和跨类别语义混淆影响占据预测精度
解决方案 提出几何校正算子抑制尺度膨胀,并用文本条件语义路由聚合体素语义
20

SplatScout: Query-Driven Part-Level Referring Segmentation in Gaussian Scenes

Yihan Zang, Da Li, Shinkyu Park, Ivan Viola, Dominik Engel
任务设定 3D 高斯场景中的部件级指代分割任务
痛点动机 现有方法依赖固定候选框,难以捕捉细粒度部件目标
解决方案 VLM 闭环控制选视角、分割并检视渲染结果迭代修正
21

Learning to Code the World: Harness Evolution for Compositional 3D Reconstruction

Haoyu Yao, Chenguo Lin, Ruize Du, Yadong Mu
任务设定 从单张图像重建可编辑的组合式 3D 场景
痛点动机 需同时推理几何、物体结构与空间关系,泛化到新场景很难
解决方案 把场景表示为可执行代码,通过 harness 进化让小模型学会可复用的重建流程
22

Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception

Lai Wei, Yatai Li, Liangbo He, Jun Lan, Renjie Gu, Linhan Cao, Junkai Lin, Huijia Zhu, Weiqiang Wang, Linghe Kong, Yue Wang, Zhuosheng Zhang, Weiran Huang
任务设定 合成数据提升多模态空间感知与长上下文理解
痛点动机 面向具身智能的针对性训练数据难以低成本合成
解决方案 提出 EvidenceConnect 框架:用局部放大视图生成证据关联问答,结合 RLVR 训练
23

GPA-VGGT: Geometry-Preserving Acceleration of VGGT

Muyeol Sung, Jangwon Kim, Jongwoo Lim
任务设定 加速 VGGT 等前馈式多视图 3D 几何模型的推理
痛点动机 全局注意力随帧数平方增长,现有加速方法精度损失明显
解决方案 用跨帧共享 K/V 的帧注意力替代全局注意力并合并冗余键值,几乎不损失位姿精度
24

Vision-Language Agents Can Learn in Their Own Latent Worlds

Haoxi Li, Sikai Bai, Jianfei Ma, Qinglin Hou, Xiaocheng Lu, Tao Han, Jie Zhang, Song Guo
任务设定 让预训练 VLM 智能体通过潜在世界模型学习改进策略
痛点动机 策略更新导致交互分布漂移,持续微调大模型代价高昂
解决方案 把 VLM 变成潜在转移算子,融合世界模型与策略双重角色,结合真实交互与潜在想象提升策略
25

ActiveAlign: Aligning Egocentric Manipulation via Active Perception

Ri-Zhao Qiu, Bowen Wen, Yifeng Jiang, Chen Tessler, Eric Heiden, Xue Bin Peng, Xiaolong Wang, Stan Birchfield, Erwin Coumans
任务设定 机器人操作的 Real2Sim2Real 真实-仿真对齐任务
痛点动机 被动感知观测不准,导致真实与仿真存在差距
解决方案 提出 ActiveAlign ,用主动感知(挥手标定+触觉反馈)实现毫米级精细对齐
26

TAPESTRY: A Single Backbone for Video Generation and Robot Control

Jeremy A. Collins, Seungjae Lee, Rachanon Wachakorn, Krishnan Srinivasan, Animesh Garg, Vitor Campagnolo Guizilini, Paarth Shah
任务设定 复用预训练视频模型做机器人控制策略
痛点动机 视频生成推理开销大,动作头难利用预训练骨干
解决方案 将动作编码为单 patch token ,复用视频扩散 Transformer 骨干联合训练,单步生成动作序列
27

Evaluation-Guided Demonstration Refinement for Vision-Language-Action Policies: The Winning Entry in the MetaFine Open Competition

Lifan Zheng, Guotao Chen, Zhenyang Li, Shujie Cui, Qiang Huang, Fan Liu
任务设定 微调 VLA 策略完成机器人操作比赛任务
痛点动机 初始演示存在抓取、推动、插入失败模式
解决方案 通过评估引导修正演示并补充专家续接动作,逐指令对比优化
28

Making Self-Driving Laboratories Auditable:A Unified Framework for Hybrid Actions,Measurements, and Safe Execution

Zihan Zhang, Zeyu Wu, Xin Zhang, Mingyu Luo, Haohui Que, Tong Zhu
任务设定 构建自驱动实验室的可审计执行框架
痛点动机 机器人控制与仪器 API 集成缺乏可追溯性与安全监控
解决方案 提出扩展 VLA 范式的 LAM 模型同时生成轨迹与 API 调用,配合安全运行时监控
29

Hy-Nomas: Towards Free-form Interactive World Generation

Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, Jiaqi Li, Yifan Liu, Tao Lu, Junshu Tang, Yu Tang, Yao Teng, Yu Tian, Heng Wang, Weizhi Wang, Xiyao Wang, Xilun Wu, Mingyu Yang, Yangbin Yu, Rui Zhao, Longjun Cao, Linghao Chen, Haoyi Duan, Jiaming Han, Mingji Han, Enhua Jiang, Shunkai Li, Yanzhe Liang, Qinwei Ma, Cong Wang, Lei Wang, Bing Wu, Ke Xing, Ray Ying, Zhentao Yu, Key Zhang, Yuan Zhou, Zhengguang Zhou, Kai Zou
任务设定 实现自由交互式世界生成与连续相机控制
痛点动机 多轮交互需保持历史一致性与动作后果连贯
解决方案 用 8B 视频世界模型结合结构化字幕与动作感知因果注意力,多阶段课程训练
30

TOPS: Reshaping Flow Source and Transport for Multi-Task Robot Manipulation

Tuo An, Chuhao Zhou, Jiahua Dong, Jingliang Li, Jiaqi Bai, Jindou Jia, Jianfei Yang
任务设定 语言条件下多任务机器人操作的流匹配策略学习
痛点动机 共享高斯源先验和线性路径难适配不同任务运动需求
解决方案 按任务定制流匹配源分布与去噪调度,无需改网络结构
31

SWIM: Learning What Matters from Behaviors for JEPA World Models

Jiaming Hu, Shi Bo, Yan Zheng, Tian Wang, Florian Dubost, Alejandro Mottini, Junze Liu, Arvind Srinivasan, Kai Zhong, Kun Qian, Sharon Gao, Vianne Gao, Houyu Zhang, Qingjun Cui
任务设定 基于 JEPA 世界模型的机器人操作规划
痛点动机 视觉预测目标未显式包含任务状态,均匀状态权重易被无关特征干扰
解决方案 用逆动力学模型从离线轨迹学习状态权重,指导潜空间对齐训练
32

Adapting Video Models for Robot Control via Motion-guided Asymmetric Prediction

Taeyoung Kim, Junyoung Sung, Heeseung Kwon, Minseop Kim, Jinwoo Shin
任务设定 将预训练视频模型改造为机器人控制的世界动作模型
痛点动机 现有视觉预测对各区域一视同仁,忽略动态区域更关键
解决方案 提出运动引导的非对称预测,对动态区域加更多噪声、用静态区域辅助重建,提升策略成功率
33

4D Reconstruction with Events & RGB

Dulanga Weerakoon, Darshana Rathnayake, Van Minh Do, Hemanth Sabbella, Kaichen Zhou, Fangneng Zhan, Alok Prakash, Sanjay E. Sarma, Archan Misra, Paul Pu Liang
任务设定 单目相机结合事件相机进行动态场景 4D 重建
痛点动机 纯 RGB 方法在快速运动下易产生运动模糊和时间混叠
解决方案 在 Monst3R 基础上加入事件相机输入分支,轻量融合提升重建鲁棒性
34

Camera-to-Quadruped Robot Pose Estimation from Sequential Images

Seobin Hwang, Ji-Seong Beom, Yeong-Jun Cho
任务设定 从单目视频序列估计四足机器人全身 18-DoF 姿态
痛点动机 关节对称、自遮挡多导致关键点对应歧义,且缺乏公开基准
解决方案 提出 QuadPose 模型与 QuadSyn 基准,联合估计基座姿态与关节角
35

LabWorld: Learning Interactive 4D Worlds for Scientific Experimentation

Suozhi Huang, Kelsey Fu, Binxu Li, Luna Lyu, Kaize Wu, Wenbo Lu, David Smerkous, Jiahan Li, Siqi Zhu, Zhizhou Sha, Jiacheng Guo, Zhixuan Liang, Shilong Liu, Le Cong, Mengdi Wang
任务设定 从单目 RGB 视频重建可交互的 4D 实验室场景
痛点动机 现有实验室仿真器依赖人工建模,视频中信息未被显式利用
解决方案 提出 Real2Sim 智能体框架 LabWorld ,重建 3D 资产、场景、物体状态与操作事件
36

REACH: An RL-based Hierarchical Humanoid Crawling Framework for Adaptable Confined Space Traversal

Shengzhang Xu, Yuning Guo, Weiyi Hu, Yifeng Xu, Zhongyu Li, He Kong
任务设定 人形机器人在受限空间中变身高行走与爬行穿越
痛点动机 现有方法仅支持变高度双足行走,无法应对更低矮空间
解决方案 用分层强化学习衔接双足行走与爬行技能,结合 LiDAR 路径规划
37

RoboAuto: Autonomous Robot Program Search through Multi-Level Physical Understanding

Buzhao Liu, Jianing Ye, Xiu Yuan, Yangtong Feng, Chengsong Huang, Tyler Dinh, Yevgeniy Vorobeychik, Ning Zhang, Chongjie Zhang
任务设定 机器人操作中程序搜索的自动生成与优化
痛点动机 现有方法只靠执行反馈修正,缺乏对物理交互的理解
解决方案 构建分层知识库结合场景对齐与多阶段规划,主动验证物理假设
38

SO-101 Bench: Accessible Spatial Manipulation

Truman Hickok
任务设定 评测低成本机械臂的语言条件空间操作能力
痛点动机 现有 SO-101 基准仅限实体硬件、任务简单,缺乏统一评测
解决方案 基于 Isaac Lab 构建数字孪生仿真基准,评测 VLA 与世界动作模型等策略
39

SOMA: A Benchmark for Fine-Grained Egocentric Behavior and Body-Motion Understanding

Matea Tashkovska, Naël Ouerghemi, Haozhe Qi, Alexander Mathis
任务设定 评测 MLLM 对第一视角人体动作的精细理解能力
痛点动机 现有评测忽视躯体本身推理,第一视角遮挡使之更难
解决方案 提出 SOMA 基准覆盖身体配置、动作动态与时序推理,并给出配套训练数据与多模态基线
40

HIDRA: Hierarchical Dual-Routing Attention for Replay-Free Lifelong Imitation Learning

Fanqi Yu, Matteo Tiezzi, Cigdem Beyan, Tommaso Apicella, Vittorio Murino
任务设定 免回放、单次流式的机器人持续模仿学习
痛点动机 流式更新会扭曲表征空间,导致专家路由选择退化
解决方案 提出 HIDRA ,用分层双路由注意力解耦指令检索与情境细化,并加几何正则稳定路由
41

BoxWorld: Let World Engines Control and Video Generators Render

Zike Wu, Ahmed Hatem, Chintan Trivedi, Wallace Michel Pinto Lira, Xuebin Qin, Lele Wang, Renjie Liao
任务设定 构建支持用户自定义规则的实时交互视频世界模型
痛点动机 现有端到端视频世界模型把交互逻辑和渲染耦合,难以指定物体级规则
解决方案 用编码代理构建 Box World Engine 推理交互状态,再用状态驱动生成渲染器自回归渲染视频
42

UT-HMR: Uncertainty-Guided Temporal Modeling for Robust 3D Human Mesh Recovery

Zhibo Wang, Sirisha Rambhatla, Yuhao Chen, Maria Koshkina, David Clausi
任务设定 单目视频中的单阶段 3D 人体网格恢复
痛点动机 远距离、遮挡、运动模糊下 2D 投影存在歧义,恢复不稳定
解决方案 预测 SMPL 姿态的低秩协方差建模关节间不确定性,结合时序早融合引入邻帧信息消除歧义
43

Rollback: Experience Backtracking in World Models for Policy Improvement

Jiayi Luo, Yang Zhang, Liliang Chen, Nan Wang, Chen Gao, Boxiang Qiu, Zhuoxuan Li, Baorui Peng, Chuankang Li, Yuxiang Yan, Si Liu, Qingyun Sun, Shuicheng Yan, Maoqing Yao, Jianxin Li, Guanghui Ren
任务设定 用世界模型辅助机器人策略改进
痛点动机 现有世界模型只能前向模拟,无法回溯决策点探索反事实
解决方案 提出 Rollback :回滚到关键决策点分支对比,蒸馏出动作级监督信号,并用真实交互数据持续修正世界模型。
44

OmniBrain-0: A Unified Agentic Model for Embodied Intelligence

Xiaomi Embodied Intelligence Team, Yuechen Luo, Chong He, Fang Li, Shaoqing Xu, Jingkai Wang, Menglun Su, Jiaxin Liu, Shengyin Jiang, Zhiyi Lai, Long Chen, Longlong Wang, Liang Hu, Haochen Liu, Yuncheng Jiang, Hongwei Xie, Jieming Cui, Hanbing Li, Junjie Huang, Zhixiang Duan, Hexin Zhang, Weixiang Liang, Ying Gong, Yuhan Wang, Yong Pan, Pengna Li, Kangyi Wu, Ken Deng, Kun Ma, Fuxi Wen, Zhi-xin Yang, Hangjun Ye
任务设定 统一具身智能体协调操作与导航等长时任务
痛点动机 专用策略难保证可靠性,大模型推理成本太高
解决方案 用多教师蒸馏与自我改进数据飞轮训练轻量统一决策模型