Daily Paper Feed

2026 年 11 月 18 日 星期三 · 共 48 篇相关论文 · 全部存档
1

FastFrames: Video Generation at Interactive Latency

Gene Chou, Guandao Yang, Fujun Luan, Lars Mescheder, Wei Dong, Stephan Richter, Vladlen Koltun
任务设定 实现交互式延迟的自回归视频扩散生成
痛点动机 VAE 解码与 KV 缓存更新占推理延迟一半以上
解决方案 用轻量模块替换这些环节, 1.3B 模型仅 36ms/帧,画质媲美慢 8 倍的现有模型
2

$π^4$: A Foundation Model for 4D Scene Geometry and Motion

Yifan Wang, Weiguang Zhao, Ni Yang, Haoyu Guo, Junting Dong, Weinan Zhang, Chunhua Shen
任务设定 统一基础模型从任意 RGB 输入恢复 4D 场景几何与运动
痛点动机 现有方法难以统一处理单图、多图、视频等多种输入且模型臃肿
解决方案 几何分支与运动分支联合预测稠密几何、相机位姿、2D/3D 点轨迹及运动物体掩码,仅 0.5B 参数单次前向完成联合重建
3

TCP4D: A Unified Tool-Center-Point Tracking and Generation Model for Robot Manipulation

Haosong Peng, Xiangyang Liu, Zhengshen Zhang, Yunfeng Fan, Tianyu Qi, Xin Xia, Yufeng Zhan, Wenchao Xu
任务设定 统一追踪并生成机器人工具中心点(TCP)位姿轨迹
痛点动机 从 RGB 视频恢复机器人动作标注困难,跨本体数据稀缺
解决方案 共享 4D 场景表示同时追踪已观测 TCP 运动并生成未来轨迹,支持跨本体数据增强以零动作标注完成策略训练
4

GameRealm: Grounding Visual Learning in Interactive Games

Weiguang Zhao, Yifan Wang, Ni Yang, Yating Wang, Xingyu Miao, Yankai Jiang, Mulin Yu, Tao Lu, Haoyu Guo, Junting Dong, Weinan Zhang, Chunhua Shen
任务设定 构建游戏场景大规模多模态视觉学习数据集
痛点动机 现有视觉基础模型训练数据碎片化、标注不一致、监督模态单一
解决方案 提供 1.2 亿帧游戏画面及深度、相机参数、3D 点轨迹等同步多模态标注,提升视觉生成与几何学习能力
5

RFW-S: Everyday Deformable Objects with Independent Simulation Verification

Jiarui Guo, Saining Zhang, Jiaying Wan, Jiawei Weng, Junhao Chen, Rui Zhang, Yuanbo Lyu, Zhiheng Lee, Peishuo Li, Jingrun Du, Weiqing Xiao, Weiyi Lin, Zenan Meng, Hu Wei, Lin Qu, Zongzheng Zhang, Hao Zhao, Chaojian Li
任务设定 构建大规模可变形物体仿真资产数据集
痛点动机 现有 3D 资产缺乏可扩展的物理属性验证
解决方案 自动化流程生成物理验证的可变形资产,支持机器人抓取仿真到真实迁移
6

Refin3R: Geometry-Guided Refinement for Feed-Forward 3D Reconstruction

Jongmin Lee, Jaeyeong Kim, Seungryong Kim
任务设定 前馈式多视角图像 3D 点云重建
痛点动机 缺少几何约束导致跨视角不一致、精度低
解决方案 引入 SfM 几何先验,双分支网络双向交互精细化点云
7

Residual-Guided Lightweight Reinforcement Learning for Risk-Aware Trajectory Selection with a Frozen World Model

Jiaqi Wu, Yongqi Dong, Yijie Zhong, Maple Shao, Yide Tao, Linsen Cai, Weize Cai, Hai L. Vu, Alvaro Garcia Hernandez
任务设定 自动驾驶中基于世界模型预测选择驾驶轨迹
痛点动机 固定选择规则难以适应场景相关的风险权衡
解决方案 用强化学习微调候选选择与轨迹残差,冻结世界模型保持轻量部署
8

SpikWM: Efficient End-to-End Spiking World Modeling for Visual Planning

Shuhan Ye, Hongbin Yu, Chong Wang, Hui Lu, Jiaming He, Yi Yu, Jiangbo Qian, Xudong Jiang
任务设定 面向图像目标的视觉规划任务,构建脉冲世界模型
痛点动机 单步脉冲易丢失运动线索,难区分不同动作后果
解决方案 提出脉冲潜在世界模型 SpikWM ,结合区域编码与因果膜电位预测,兼顾精度与低能耗
9

Code World Model 2.0: Towards Infinite Controllable Video Generation

Ruoyu Wang, Hao Zhong, Yanming Yang, Jiahao Tian, Lin Liu, Biao Gong, Guoshan Lu, Yiding Tian, Chunhua Shen, Zhenzhong Lan, Chi Zhang
任务设定 基于结构化代理实现可控无限长视频生成的统一渲染器
痛点动机 流式推理易产生误差漂移,几何控制粒度在不同场景下难统一
解决方案 提出 Invoker-Render ,用渐进式强制训练衔接双向生成模型与因果流式模型,实现稳定长时流式渲染
10

Wear and Go: Calibration Free Sparse Inertial Motion Capture via Online Sensor Setup Estimation

Yuanshuo Tan, Licheng Zhong
任务设定 稀疏惯性动捕中免标定恢复传感器身份与朝向配置
痛点动机 传统方法依赖已知的传感器解剖位置与安装朝向,标定流程繁琐
解决方案 提出 MOSAIC ,用时序-跨传感器注意力从日常运动中在线累积证据估计配置,再接入预训练姿态模型
11

Learning Agent-Centric Vision-Language-Action World Models for Autonomous Driving

Guoqing Wang, Pin Tang, Xiangxuan Ren, Chao Ma
任务设定 面向自动驾驶规划的智能体中心化世界模型
痛点动机 像素级未来帧预测含大量无关外观细节,规划相关信息占比低
解决方案 提出 AgentWorld ,用离散智能体 token 编码几何、运动与交互,联合推理与轨迹规划
12

Outcome-Balanced PPO and Policy-Induced Flow Rectification for Flow-Based VLA Policies

Yuhan Wang, Ruiyang Wang, Jiaguan Zhu
任务设定 基于强化学习对流式 VLA 策略进行后训练优化
痛点动机 策略更新会破坏速度场几何,稀疏多任务奖励使学习信号不均衡
解决方案 提出结果平衡 PPO 与策略诱导的流矫正机制,提升流式 VLA 在操作任务上的成功率
13

ForceBody: Force-Paired Parametric Body Motion with Torque Uncertainty

Joonwoo Kwon, Yufei Zhang, Xiaoming Liu, Zijun Cui
任务设定 构建带力矩标注的参数化人体运动数据集
痛点动机 现有数据集缺力标注且与参数化人体模型不兼容
解决方案 提出 ForceBody,将 SKEL 人体模型与地面反力、关节力矩及逐帧不确定性配对标注
14

RefCloth: Transferable Adversarial Tablecloths for Vision-Language-Action Models

Shaozhen Liu, Zhiwei Li, Jiayang Sun, Shuangjun Du, Yi Zhong, Shenrui Ma, Yaozu Liu, Qi Li, Zhenan Sun
任务设定 研究对 VLA 操作策略的可迁移物理对抗攻击
痛点动机 现有攻击需重训且依赖 2D 贴片,难以零样本迁移
解决方案 优化一块持久对抗桌布纹理,跨任务、跨策略零样本迁移,大幅降低操作成功率
15

Evolve in Panorama, Render in View: Panoramic World State Evolution for Video World Models

Longtao Jiang, Mingfei Han, Jianmin Bao, Tingjun Dai, Jinjie Wei, Zhiran Zhang, Xin Tao, Zhihui Li, Salman Khan, Xiaojun Chang
任务设定 构建能持续演化未观测区域的视频世界模型
痛点动机 镜头转开再转回时,现有模型常冻结或丢失未观测场景
解决方案 用全景扩散模型在隐空间演化世界状态,再用透视渲染器生成清晰视角
16

Making the World React Realistically: A Closed-Loop Interactive World Model for Autonomous Driving

Jia Hu, Yang Chang, Panqu Wang, Zhijun Fu, Chang Liu, Changjian Yu, Jintao Lai
任务设定 构建自动驾驶闭环交互式世界模型
痛点动机 现有世界模型难以兼顾行为真实性与视觉保真度
解决方案 用多智能体强化学习微调背景车策略,结合 3D 高斯补全渲染车辆外观与信号灯
17

CascadeJEPA: Enhancing 3D Geometric Representations via Spatially Coupled Cascaded Prediction

Kailai Zhou, Ziqi Chen, Xiaoning Xu, Yuefeng Wu, Zixuan Fu, Zijun Lin, Zhihao Li, Youwei Pang, Xiaoqi Zhao, Xun Cao, Bihan Wen
任务设定 改进 JEPA 预训练中退化的 3D 几何表征
痛点动机 I-JEPA 语义学习提升的同时几何表征会退化
解决方案 提出级联预测框架,全网格上下文编码+跨阶段交叉注意力,助力世界模型规划
18

Beyond the Camera: A Tri-Modal Driving World Model for Future RGB, Thermal, and LiDAR Forecasting in Adverse Weather

Faysal Mehrab Chowdhury, Md. Mahfuzur Rahman, Ahmed Rafi Hasan, Kishor Datta Gupta, Mohd Ariful Haque, Savannah Shannon
任务设定 驾驶场景下联合预测 RGB、热成像、LiDAR 三模态未来帧
痛点动机 恶劣天气中现有世界模型很少同时预测三种传感器
解决方案 对预训练视频世界模型分传感器后训练并联合建模,提升 LiDAR 预测精度
19

VSpark: Speculative Decoding for Autoregressive Vision-Language-Action Models

Suho Yoo, Youngjoon Jang, Hyebin Cho, Taeyeop Lee, Jaewook Jeong, Joon Son Chung
任务设定 加速自回归 VLA 模型生成机器人动作 token
痛点动机 逐 token 解码慢,且相近动作 token 易被投机解码错误拒绝
解决方案 用特征对齐训练草稿模型并复用被拒续写,实现 1.28-2.10 倍无损加速
20

SpatialCast: Reading the 3D World via Cast Shadows

Enhan Li, Jinghao Zhou, Jiaze Zhang, Hongyang Du
任务设定 用投影阴影评估多模态大模型的 3D 场景空间推理
痛点动机 现有基准少系统评估模型能否关联物理场景条件与视觉观测
解决方案 构建含 21000 题的阴影基准,测场景投影一致性与物理变化推断
21

Distilling World Action Models for Efficient Bimanual Manipulation via Anchored Path Matching

Jialong Liu, Junjie He, Yandu Chen, Bin Zhou, Heng Su, Peijun Tang, Jianan Wang, Changhao Chen
任务设定 双臂机器人操作中蒸馏世界动作模型以加速推理
痛点动机 少步蒸馏易使学生偏离教师轨迹,动作质量下降
解决方案 提出锚点路径匹配监督终点与中间状态,结合锚点优先梯度消除模态间梯度冲突
22

Plausible Videos Can Lead to Poor Decisions: Diagnosing and CURE-ing World Models for Planning

Raphael C. Kim, Michele Santacatterina, Jingsen Zhu, Ramin Zabih
任务设定 判断动作条件世界模型何时可信以用于机器人规划
痛点动机 逼真视频生成的世界模型也可能做出糟糕决策,视觉质量≠决策质量
解决方案 提出 CURE 框架,用置信证书评估可信度,并据此选择数据加权/多次采样/主动探索三种应对策略
23

JointGV: Structure-Aware Correction of Visual World Models with Parallel Graph Dynamics for Long-Horizon Modeling

Tian Lyu, Yichen Jiang, Ziyuan Cheng, Yunda Yan, Xiangyu Pan, Junjie Jiang, Jialin Yu, Boyu Ning, Pietro Liò, Fan Mo
任务设定 长时域视觉世界模型预测中用场景图动态修正位姿漂移
痛点动机 视觉世界模型长程预测易累积实体位姿和空间关系误差
解决方案 提出 JointGV,并行预测任务相关场景图并耦合图-视觉变化量,计算有界残差修正视觉状态
24

From Perception to Simulation: Unveiling and Empowering Mental Spatial Dynamics in MLLMs

Jiachun Li, Zhuoran Jin, Kang Liu, Jun Zhao
任务设定 评测并提升 MLLM 在无视觉反馈下的动态空间模拟能力
痛点动机 现有模型静态空间感知尚可,但动态空间模拟能力明显不足
解决方案 提出 MentalGrid 基准和三阶段课程学习框架,训练出 SpatialWalker,显著提升空间模拟与泛化能力
25

Towards Data-Efficient, Real-Time World Models

Raluca Stevenson, David Bignell, Jennifer C. White, Tabish Rashid, Emanuele Aiello, Mariya Hendriksen, Junha Hyung, Sadegh Aliakbarian, Abdelhak Lemkhenter, Marko Tot, Katja Hofmann, Sarah Parisot
任务设定 游戏场景下实时交互式世界模型生成
痛点动机 高质量世界模型推理慢、训练数据需求大,难以实时交互
解决方案 用两阶段离散扩散替代自回归预测,轻量精调 Transformer 迭代掩码预测,推理提速 79 倍
26

Manufacturing Differential Sparsity: Planner-Hardware Co-Design for Efficient World Model Planning

Wenbo Zhu, Paul Yi-Chia Chen, Yuanhan Li, Zishen Wan, Christopher Torng
任务设定 JEPA 世界模型规划的硬件加速
痛点动机 采样式 MPC 反复推理导致单步规划耗时过长,难以实时具身控制
解决方案 规划器-硬件协同设计,利用动作间潜变量局部性制造差分位稀疏,大幅提速降耗
27

MAVE: Reconstructing Editable 3D Blockouts from Film Shots

Yifan Chang, Jian Yang, Jiangnan Shao, Xiaofeng Wang, Zhaoxin Fan, Renjing Xu, Ming Lu, Xingang Wang, Zheng Zhu
任务设定 从电影镜头重建可编辑的 3D 分镜场景
痛点动机 人工重建动画分镜成本高,限制创作与配对训练数据生成
解决方案 先恢复相机、人体动作与几何证据,再由智能体结合证据验证构建可编辑 Blender 场景
28

SpatialMind: Adaptive Multi-Level Geometric Fusion for Spatial Reasoning in Multimodal Large Language Models

Shibin Zhao, Hao Tan, Fan Yang, Haixin Wang, Feilong Chen, Yidong Ma, Chaoyang Zhao, Ming Tang, Jinqiao Wang
任务设定 多模态大模型中的三维空间推理任务
痛点动机 不同空间任务所需几何粒度不同,固定融合方式难以兼顾
解决方案 提出自适应多层几何融合框架,用门控网络动态调节浅、中、深层几何特征在推理中的权重
29

CoBoVLA: Decoupling Language from Action with Discrete Codes for Robust and Interpretable Robot Manipulation

Mehul Arora, Dhruv Agarwal, Ambuj Agrawal
任务设定 机器人操作中视觉-语言-动作模型对指令复述敏感的问题
痛点动机 语言理解与动作生成联合学习,失败时难以定位是理解错还是执行错
解决方案 用离散编码本解耦语言、规划与控制,文本映射为共享步骤码再转为与语言无关的动作序列
30

Seeing What Still Holds: How Waiting Control Changes Cooperative Recovery

Kangjie Huang, Yucheng Xin, Xinchun Wang, Dong Liu, Yan Fan, Shuming Liu
任务设定 评估机器人抓取失败后视觉恢复方法的表现
痛点动机 等待时长内保持参考系不同会颠倒恢复方法排名
解决方案 提出 AuditEmbodied 成对评估框架,独立控制保持参考与等待时长,对比 CAD 反馈与地标恢复方法
31

FailureGen: Scalable Robot Failure Data Generation with World Models

Akul Santhosh, Chaitra Sathe, Aastha Jhunjhunwala
任务设定 生成带时序事件标注的机器人失败视频数据
痛点动机 真实机器人失败数据难以大规模采集,限制失败学习研究
解决方案 基于 Cosmos 世界模型微调,将失败片段迁移到成功轨迹中合成新的失败视频
32

Inertial Video World Models

Yuan Gao, Fan Xu, Yu Guo, Yuxu Lu, Zhengru Fang, Hao Wu, Xiaomeng Huang
任务设定 视频世界模型的自回归场景状态预测
痛点动机 现有视频世界模型缺乏惯性机制,自回归生成易累积误差
解决方案 提出 InertialWorld,用惯性记忆结合欧拉网格与拉格朗日载体传递场景证据
33

Perception into Imagination: Executable Memory for World Models

Xianyao Li, Ruitong Tian, Rui Min, Fang Xu, Jing Du
任务设定 为世界模型引入可执行的感知记忆机制
痛点动机 物体离开视野后,智能体仍需记住其状态来决策
解决方案 提出可执行感知记忆(EPM),在想象推演中显式维护感知状态,驱动奖励预测与策略学习
34

When the World Is the Test Suite: Agentic Intelligence for the Physical World

Kaixin Li, Meng Luo, Yanlin Li, Yuchen Tian, Xiang Liu, Xiangru Jian, Yan Yang, Zhiheng Xi, Yang Zhang, Ziyang Luo, Mingfei Cheng, Hongzhan Lin
任务设定 探讨面向物理世界的智能体编程与测试范式
痛点动机 物理任务没有现成测试用例,正确性需靠真实运行验证
解决方案 系统梳理机器人策略生成、物理试验/仿真测试及经验学习的方法框架
35

Heave-Ho: Decentralized Long-Horizon Multi-Humanoid Collaboration

Ting-Hsuan Chen, Siheng Zhao, Han Jiang, Qi Pan, Louison Lu, Jiaheng Luo, Henghui Bao, Yiyu Chen, Quan Nguyen, Yue Wang
任务设定 多台人形机器人长时程协作搬运与操作任务
痛点动机 全身耦合交互、长时程规划与多机同步协调难度大
解决方案 提出去中心化框架:底层多智能体后训练实现耦合全身控制,上层视觉语言规划器配合语音领导-跟随机制协调
36

PhyVGGT: Feed-Forward Articulated Object Reconstruction from Monocular Videos

Qi Shao, Zhihao Cao, Shuhao Zhai, Anh Nguyen, Hong Liang, Baoru Huang, Liang Li
任务设定 单目视频前馈式重建关节物体的部件、关节与运动
痛点动机 逐场景优化慢且依赖深度/位姿,现有前馈模型分不清可动部件
解决方案 基于冻结的 3D 基础模型,解耦部件分割与闭式关节估计,实现单次前向重建
37

ARG-Avatar: Animation-Rendering Guidance for Efficient Feedforward Avatar Reconstruction

Jianjin Xu, Soham Dasgupta, Fernando De la Torre
任务设定 从少量图像前馈重建可动画 3D 人体 Avatar
痛点动机 现有方法靠堆参数堆数据,训练代价高昂
解决方案 利用 FACRoPE 注意力与中间 Token 渲染对齐几何,仅 68M 参数达 SOTA
38

Reconfiguring Procedural Knowledge for Compositional Robot Skill Adaptation

Daehee Lee, Dongsu Lee, Sanghyun Ahn, Minjong Yoo, Honguk Woo
任务设定 组合复用已有技能以适配新机器人任务
痛点动机 新任务多是重组已有能力,而非从零学习
解决方案 提出 RecPo 框架,用多视角程序知识库存储技能转移并组合生成可执行序列
39

HandRSI: Recursive Self-Improvement for Hand Pose Estimation

Zhekai Wang, Luqing Luo, Wenhao Yao, Junjie Lu, Huanan Zhu, Feifei Gao, Yuhua Jiang
任务设定 提升第一人称 3D 手部姿态估计的鲁棒性
痛点动机 手部在边缘/遮挡处易丢失且人工调优繁琐
解决方案 用编码代理递归优化推理流程,再以选择性蒸馏微调估计器迭代提升
40

EgoHandWAM: Probing the Role of Hand Motion in Egocentric World Action Modeling

Kailin Wang, Haoxiang Jie, Yaoyuan Yan, Zhiyou Heng, Zhaosong Li
任务设定 探究手部运动对预测第一人称未来视觉的作用
痛点动机 缺少对手部动作预测未来视觉信号的量化研究
解决方案 用手腕/指尖轨迹预测未来视觉特征,基于 DINOv2 编码器训练验证
41

RoboTeam: Benchmarking Vision-Based Multi-Agent Control of Many Robot Arms in Real Time

Changxuan Fan, Zhongwei Xie, Boyi Zhang, Shaoli Hu, Chang Xu, Xiyu Ren, Yufei Li, Qiao Xiao, Huihao Jing, Kawai Chung, Wenbin Hu, Hongyu Luo, Lingyun Xie, Yisen Gao, Chunyang Li, Haoyu Huang, Wuganjing Song, Yuxuan Liu, Chiu Yeung Tang, Fangneng Zhan, Xi Yang
任务设定 评测多机械臂仅凭视觉实时协同控制能力
痛点动机 现有基准臂少、任务短,且依赖真值坐标和暂停式决策
解决方案 提出 RoboTeam 基准, 4 到 16 个机械臂仅凭相机图像实时协作完成长任务,对比多种智能体架构
42

HubEgo-100K: In-the-Wild Egocentric Video of Skilled Work for Robot Learning

Javad Amirian, Armin Kiani, Loïc Schaeffer, Tim Sprecher, Mohamed Taha, Karthik Yadati
任务设定 构建大规模第一视角技能工作视频数据集,助力机器人模仿学习
痛点动机 现有第一视角数据多为日常生活场景,场景多样性不足限制机器人泛化能力
解决方案 采集万小时级头戴式视频及 IMU 数据,覆盖多场景多任务并提供动作语言标注
43

ALOHA Lightning: Learning Fast and Precise Manipulation

John Hua Yao. Qi Wu, Yihuai Gao, Chelsea Finn, Zipeng Fu
任务设定 学习快速精确的双臂机器人操作
痛点动机 学习型策略执行远慢于人类,缺高速示教接口
解决方案 用可反向驱动双臂平台做触觉示教采集近人速数据,配合测试时动作平滑实现高速执行
44

FaceRiff: Data-Efficient Unified Text-to-3D Face Asset Synthesis via Geometric Conditioning

Elly Akhoundi, Mathieu Lamarre, Thibault Goyallon, Patrick Anderson, Étienne Danvoye
任务设定 文本驱动生成统一 UV 空间的 3D 人脸资产
痛点动机 高质量人脸扫描数据稀缺,现有方法速度慢且单模态
解决方案 用 LoRA 适配预训练 SDXL,以 UV 法线图为几何条件联合生成网格、反照率与位移贴图
45

AR-WAM: efficient streaming world-action modeling for autonomous driving

Baiting Luo, Shatadal Mishra, Ahmadreza Moradipari, Nejib Ammar
任务设定 自动驾驶中的世界-动作联合建模与轨迹预测
痛点动机 视频基础模型历史编码与迭代生成代价高,难以实时部署
解决方案 提出自回归流式世界-动作模型,单次前向获取未来特征,并用强化学习优化驾驶策略
46

Can a World Model Predict a Deepfake Video? A Consistency Margin Prior for Deepfake Detection

Pradip Gupta, Shubham Mandloi, Ravi Kumar Satzoda, Sujeeth Bharadwaj, Yassine Benajiba, Dan Roth
任务设定 利用视频世界模型预测误差检测深度伪造视频
痛点动机 现有检测器依赖生成器特定伪影,跨数据集泛化差
解决方案 冻结 V-JEPA 编码器并用 LoRA 微调预测器,以预测残差作为一致性先验判别真伪
47

Every Camera Grows Up: Camera-Height Regression in Interactive Video World Models

Sheng Lu, Guangpin Tao, Tong Lu, Ying Tai
任务设定 评估交互式视频世界模型是否保持相机高度稳定
痛点动机 模型受人类视角训练数据影响,会把非人高度相机拉回人眼高度
解决方案 提出 EyeHeight 基准,用多视角高度估计量化相机高度回归现象
48

EgoLink: Egocentric Language-Vision Interactive Network Knowledge Challenge Summary

Renhe Sun, Yueying Feng, Bohan Yu, Tong Niu, Yunqi Liu, Zitong Wang, Haolin He, Kexin Shi, Hualei Wang, Qiuqiang Kong, Chang Yao, Yuge Huang, Weiqiang Wang, Jingyuan Chen, Jian Liu
任务设定 面向第一视角视频的社交推理与交互式智能体挑战基准
痛点动机 现有基准只关注可见物体动作,忽视情感社交线索与闭环执行能力
解决方案 提出 EgoLink 双赛道基准,涵盖社交推理问答及工具调用交互任务,并给出多阶段数据构建流程