Daily Paper Feed

2026 年 10 月 23 日 星期五 · 共 32 篇相关论文 · 全部存档
1

Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success

Yunfei Xie, Howard H. Qian, Shiyi Lan, Kaiyu Hang, Chen Wei
任务设定 提出离线指标评估具身模型表征与运动的对齐度
痛点动机 闭环机器人评测成本高,缺少低成本能力代理指标
解决方案 提出 Sensorimotor Alignment 指标,衡量表征与物理运动几何的匹配度,可预测任务成功率
2

Reading, Writing, Sharing, and Interacting with the World through Video

Shengqiong Wu, Meng Luo, Bobo Li, Ziwei Liu, Shuicheng Yan, Ming-Hsuan Yang, Philip Torr, Hao Fei
任务设定 综述视频基础模型与世界模型的统一视角
痛点动机 视频理解与生成目标不同,缺乏统一建模框架
解决方案 提出读取、生成、共享、交互四种操作系统梳理相关工作
3

METTA: Memory-Enhanced Test-Time Adaptation for Meta-Reinforcement Learning

Ali Najar, Hosein Hasani, Amir Kooshan Fattah, Yasamin Rajabi, Mahdieh Soleymani Baghshah
任务设定 研究元强化学习智能体对新任务的快速适应
痛点动机 循环网络记忆有限, transformer 检索成本高
解决方案 提出 METTA ,用因果神经记忆结合 episode 级摘要实现双尺度快速适应
4

WorldForge V2: Eliciting Camera-Trajectory Alignment in Video Diffusion Models

Chenxi Song, Yanming Yang, Tong Zhao, Ruibo Li, Joey Tianyi Zhou, Chi Zhang
任务设定 研究视频扩散模型中相机轨迹的精确控制
痛点动机 现有方法易产生伪影,相机运动与场景动态纠缠难分离
解决方案 提出免训练引导框架,用光流分离运动通道并引入 Trajectory LoRA 精调控制
5

DuoCook: An Overcooked-Inspired Benchmark for Visual Planning and Coordination

Ziyi Jiao, Heng Zhang, Drishti Regmi, Xiaokang Ye, Lianhui Qin, Peter Yichen Chen
任务设定 评估视觉语言模型双人协同完成厨房任务的基准
痛点动机 需同时追踪场景、排程步骤并分配共享资源,难度大
解决方案 基于 Unreal Engine 构建 20 张地图,用 VLM 控制双角色执行高层动作完成协作任务
6

A Sparse Topometric Graph for Scalable Cross-Session Indoor Navigation

Eun Sun Lee, Minkyun Seo, Gwangtak Bae, Junho Kim, Seunggu Kang, Jaesik Park, Young Min Kim
任务设定 跨会话室内导航中的地图匹配与定位
痛点动机 细粒度场景匹配计算量大,易受场景变化干扰
解决方案 构建稀疏拓扑度量图表示场景连通性,用图匹配网络实现跨会话鲁棒匹配
7

PhysTrace: Interpretable Temporal Evaluation of Physical Consistency in Video Generative Models

Taekoan Yoo, Wonkyung Jung, Kyunghun Kim, Kyeongbo Kong
任务设定 评估世界模型预测视频的物理一致性
痛点动机 现有评测难以定位具体违反物理规律的时刻
解决方案 用 MLLM 生成历史条件预期并与观测对齐,定位物理违例时刻
8

FocusVLA: Future-Intent Guided Dynamic View Routing for Vision-Language-Action Models

Huixin Xu, Ziya Yu, Peng Li
任务设定 多视角 VLA 模型的机器人操作任务
痛点动机 现有模型过度依赖腕部视角,缺乏视角动态切换能力
解决方案 预测未来交互意图指导动态视角路由,自适应融合全局与局部观测
9

Stream4D: Streaming 4D Reconstruction with Training-free Motion Decoupling via Causal KV-Cache Attention

Wei Zhang, Ying Feng, Mengtong Wu, Shiqiang Gong, Huaqi Zhang, Qi Zhang
任务设定 流式 4D 场景重建中动态物体导致相机位姿漂移
痛点动机 现有流式方法假设场景静止,长序列易出现位姿漂移和鬼影
解决方案 从因果 KV 缓存中挖掘运动线索并融合深度先验生成动态掩码,用软掩码抑制动态区域干扰,无需训练即可解耦静动态
10

PiHand: Latent Hand-Object Interaction Priors for Physics-Based Policy Learning

Niklas Berndt, Xianghui Xie, Enes Duran, Yixiao Wang, Gerard Pons-Moll
任务设定 物理仿真中合成手物交互抓握与操作动作
痛点动机 新物体泛化与接触真实性难以兼顾
解决方案 蒸馏专家策略为隐空间先验,再残差探索泛化到新任务
11

RecallGS: Geometry-Grounded Recall for Online Semantic Gaussian Splatting

Thanh-Khoi Nguyen, Thien-Phuc Tran, Minh-Triet Tran
任务设定 在线语义高斯溅射实现开放词汇场景理解
痛点动机 现有方法需额外训练 3D 网络来补全几何语义,开销较大
解决方案 提出免训练的检索-关联-融合机制,复用历史观测的几何语义先验
12

Retrieval-Augmented Online Textual Memory for Episodic Memory Video Question Answering

Raffaele Cali, Giuseppe Lando, Rosario Forte, Antonino Furnari
任务设定 基于检索增强的长时自我中心视频问答
痛点动机 检索证据覆盖越多未必答案越准,易引入干扰项
解决方案 文本化记忆配合层级检索,先匹配细粒度片段再给完整上下文
13

Inside-JEPA: From Prediction to Relational Grounding in Latent World Models

Hossein Resani, Javen Qinfeng Shi
任务设定 在潜在世界模型中接地实体间关系
痛点动机 JEPA 潜在状态不透明,难以推理实体关系
解决方案 在状态中嵌入关系通道,用逆向动力学损失在无关系标签下接地
14

Memory before Goal: Role of Pre-History Memory for Humanoid Loco-Manipulation

Chenyuan Chen, Ran Ding, Lechen Zhang, Zewen He, Yoshihiko Nakamura
任务设定 人形机器人 loco-manipulation 中的记忆建模
痛点动机 动态场景非马尔可夫,线索消失或移出视野
解决方案 提出物体引导的感知记忆, SAM3 追踪关键帧并跨注意力读取
15

HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games

Zecong Tang, Zian Guan, Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Bo Dai
任务设定 Minecraft 开放世界中的 VLA 智能体控制
痛点动机 现有方法难兼顾长时序自主与原生界面操控
解决方案 分层 VLA 架构结合结构化记忆、VLM 规划器与完成检测器
16

Dual Exam: Controlled Evaluation of Multimodal Agents and World Models

Zhefan Rao, Meng Chu, Xuan Zhang, Jingfan Chen, Guohao Cai, Runyi Li, Shiyi Du, Ning Lu, Xu Huang, Zhixuan Chen, Feng Nie, Harold Haodong Chen, Hanwen Wang, Wen-Jie Shu, Yajing Bai, Xianfeng Wu, Xuanhua He, Shuhan Guo, Ziyue Ma, Ruichuan An, Long Bai, Miaosen Chai, Wenhao Chai, Jingye Chen, Qi Chen, Xuhang Chen, Wei Chow, Minghao Fu, Yunhao Gou, Haokun Gui, Dong Huang, Wei Huang, Zi Cheng Huang, Haibo Jin, Lingdong Kong, Leung Chun Ho, Tianqin Li, Yanheng Li, Jiayuan Liu, Jiyang Liu, Mingyu Liu, Shaoteng Liu, Xiaocheng Lu, Yawen Luo, Zeyu Qin, Tiancheng Shen, Yueqi Song, Zhaolong Su, Hengkai Tan, Tianhao Tang, Yiran Tao, Juncheng Wang, Qinghe Wang, Shangshang Wang, Yingying Wang, Fang Wu, Tiange Xiang, Qiushi Yang, Weicai Ye, Weichen Yu, Jiarui Zhang, Jize Zhang, Liuzhou Zhang, Renrui Zhang, Sheng Zhang, Wenhu Zhang, Junru Zhao, Lingting Zhu, Yuxin Zuo, Yutong Bai, Long Chen, Yang Deng, Ziqi Huang, Yeying Jin, Weijia Li, Kevin Qinghong Lin, Quande Liu, See-Kiong Ng, Hongliang Ren, Hongru Wang, Shujun Wang, Qifeng Chen, Haoxuan Che et al. (53 additional authors not shown)
任务设定 联合评测多模态智能体与世界模型的协同能力
痛点动机 动作决策与环境状态演化能力需分开检验才可靠
解决方案 提出 Dual Exam 基准,固定环境响应测智能体、固定动作干预测世界模型状态演化
17

Revisiting Distribution Matching for State-to-Vision Policy Distillation in Laparoscopic Robotic Manipulation

Mingyu Sheng, Jianan Fan, Dongnan Liu, Guoyan Zheng, Ron Kikinis, Weidong Cai
任务设定 腹腔镜手术机器人的状态到视觉策略蒸馏
痛点动机 手术场景难获取精确物理状态,专家演示稀缺
解决方案 用状态策略作为教师,通过分布匹配蒸馏训练基于 RGB 的视觉操作策略
18

DRILL: Training World Models to Improve Policies, Not Predict Pixels

Zhaolu Kang, Tailong Luo, Lei Wei, Guangyuan Dong, Sihan Liu, Yingjie He, Siheng Wang, Shuaibo Li, Rongchao Zhang, Zhen Tian, Richeng Xuan, Zhichao Hu
任务设定 训练 世界模型 以提升 VLA 策略,而非预测像素
痛点动机 像素 MSE 低不代表策略梯度更优,存在目标错位
解决方案 提出 DRILL 双层优化,用策略回报而非像素误差更新 世界模型
19

An Introduction to World Models for Generalist Agents

Zhihui Zhu
任务设定 系统梳理世界模型与通用智能体的关系
痛点动机 世界模型概念定义松散,缺乏统一理论视角
解决方案 从 POMDP 出发连接经典控制与强化学习,将世界建模与策略学习统一为条件预测
20

DeXplicit: Making Physical State Explicit in Dexterous Manipulation World Models

Adam Lee, Mutian Xu, Yukang Cao, Shulin Tian, Ziwei Liu
任务设定 预测灵巧操作中手部动作引起的 3D 场景演变
痛点动机 现有方法把动力学、相机运动与视觉生成纠缠在一起,缺乏显式几何结构
解决方案 先用轻量 3D 动力学网络显式预测物体运动,再据此引导视频生成渲染未来画面
21

SmolVLA-MoE: Sparse Mixture-of-Experts for Efficient Multi-Task Robotic Manipulation

Shiyang Zhang, Miao Yang, Zhengda Li, Yang Shao, Ruifang Zhai, Hui Peng, Peng Song
任务设定 多任务机器人操作中的轻量级 VLA 模型
痛点动机 单一稠密动作专家难以在有限算力下兼顾多任务
解决方案 在动作专家 FFN 中引入稀疏 MoE ,并设共享专家平衡预训练能力与任务特化
22

Learning from Next-Frame Prediction: Towards Unified and Scalable Visual Representation Learning

Yifeng Yao, Jinghan Li, Zhihao Zhang, Yajiao Xiong, Yang Jin, Kun Xu, Huishuai Zhang, Dongyan Zhao
任务设定 统一图像视频的自监督表征学习框架
痛点动机 掩码视频预训练缺乏未来预测信号
解决方案 用因果编码器在冻结语义嵌入空间预测下一帧,轻量解码器重建细节保留空间信息
23

AgentDreamer: Agentic 3D Motion Reasoning for Text-Controllable Physics Simulation

Mijeong Kim, Suho Park, Junha Park, Bohyung Han
任务设定 文本指令驱动的 3D 物理运动仿真生成
痛点动机 纯文本转运动难以保证物理合理性
解决方案 智能体生成 3D 运动先验,再优化可微 MPM 仿真器参数拟合先验
24

GSHeadRelight: Fast Relightability for 3D Gaussian Head Synthesis

Henglei Lv, Bailin Deng, Jianzhu Guo, Xiaoqiang Liu, Pengfei Wan, Di Zhang, Lin Gao
任务设定 基于 3D 高斯 的人像可重光照与新视角合成
痛点动机 现有方法依赖昂贵光场数据,或基于 NeRF 质量速度欠佳
解决方案 用统一神经辐射传输表征建模光照,仅靠生活图像训练,渲染提速 12 倍
25

Unified Trajectory and 3D Pose Forecasting for Multi-Agent Sports Analysis

Marc Peral, Guillem Capellera, Luis Ferraz, Antonio Rubio, Stella Graßhof, Dan Witzner Hansen, Antonio Agudo
任务设定 联合预测体育比赛中多人的轨迹与 3D 姿态
痛点动机 轨迹与姿态强耦合,团队运动中社交互动使联合预测更难
解决方案 用时空融合编码器结合共享因子化注意力联合建模,辅以逐关节损失加权与频域轨迹平滑
26

PhysibleMDM: Enforcing Inference-Time Physical Feasibility Constraints on Motion Diffusion Models via Noise Optimization

Maximilian Stölzle, David Müller, Agon Serifi, Ruben Grandia, Espen Knoop, Moritz Bächer
任务设定 让运动扩散模型生成的人体动作满足物理约束
痛点动机 扩散生成的动作常穿地、打滑,限制了仿真与控制中的应用
解决方案 推理时优化扩散噪声而非重训练模型,用代理物理约束结合 CMA-ES 黑盒优化求解
27

Externalise the Memory: A Pre-Registered Study of Where an Embodied Agent's Experience Should Live

Cheng-Yin Tu
任务设定 研究具身智能体的经验该存于权重中还是外部记忆
痛点动机 不清楚策略蒸馏能否保留外部检索带来的情境纠错能力
解决方案 预注册实验对比显示,将教师的冻结检索缓冲区接到学生权重上效果远超单纯权重蒸馏
28

MPBRS: Multi-Potential-Based Reward Shaping for Unified Reward Configuration in Humanoid Locomotion

Van Chung Nguyen, Hung Manh La
任务设定 设计统一奖励结构用于人形机器人运动控制
痛点动机 奖励函数设计易冲突、调参敏感,难跨机器人复用
解决方案 基于势函数奖励塑形统一奖励结构,仅需机器人元数据即可适配 9 种人形机器人
29

R4DGS: Referring Segmentation in 4D Gaussian Splatting

Bangpu Chen, Yaxuan Li, Shirui Peng, Xiangtian Si, Liuxin Chu, Xitong Cao, Hongbo Jin, Jiayu Ding
任务设定 在 4D 高斯溅射动态场景中实现指代分割
痛点动机 现有 4DGS 方法难支持复杂语言指代及多目标/零目标查询
解决方案 提出 ReferGaussian 框架,将动态高斯转为可语言寻址实体,结合 MLLM 分解查询实现免训练指代推理
30

Self-Distilling Future Video Representations for World Action Models

Huiwon Jang, Suhyeok Jang, Hyeonmo Kang, Seungku Kim, Jinwoo Shin, Sihyun Yu
任务设定 世界动作模型中预测未来视频表征用于机器人策略
痛点动机 单步去噪提取的未来表征质量不足,制约动作预测效果
解决方案 通过自蒸馏让模型从噪声直接预测未来表征,并引入历史观测提供时序上下文
31

EgoHand: Monocular 3D Hand Reconstruction from Egocentric Video

Chao-Yeh Chen, Tiffany Chen, Lin Duan, Tianyi Hu, Yu-Hsiang Huang, Umar Iqbal, Jiefeng Li, Edy Lim, Yanchen Liu, Yihan Pang, Hang Qiu, Jun Saito, Shao Su, Qingsi Wang, Xiufeng Xie
任务设定 从第一视角视频进行单目 3D 手部重建
痛点动机 高质量第一视角手部数据稀缺制约泛化能力
解决方案 构建 1400 万图像语料库,结合 SOMA-Hand 表示与 transformer 编码器实现低延迟高精度重建
32

V-JEPA 2 Meets AQA: Phase-Based Scoring and Reference-Based Feedback for Mountain Biking

Santhiya Rajan, Savio Cardoz
任务设定 评估山地自行车跳跃动作质量( AQA )
痛点动机 仅有二分类弱标签,缺乏细粒度专家评分和阶段标注
解决方案 用冻结的 V-JEPA 2 视频特征结合 2D 姿态运动量,训练小型 Transformer 打分并给出参考反馈