Daily Paper Feed

2026 年 11 月 19 日 星期四 · 共 46 篇相关论文 · 全部存档
1

$Z$-sight: Unifying Vision-Language-Action and Latent World Modeling

Junjie Ye, Yiqi Zhao, Muchen Xu, Celina Shiyu Wang, Hao Dong, Ruohai Ge, Rong Xue, Benjamin J Kolligs, Aditya Dutt, Sasanka Nagavalli, Nassim A. Samad, Gaurav S. Sukhatme, Jyotirmoy V. Deshmukh, Yue Wang, Yuliang Guo
任务设定 统一 VLA 与隐空间世界模型的机器人基础模型
痛点动机 视频世界模型计算昂贵,隐空间方法又脱离 VLM 原生特征空间
解决方案 用混合专家架构在 VLM 视觉 token 空间直接预测未来并联合去噪生成动作
2

WorldRuler: Interactive World Modeling under Configurable Rules

Mingliang Zhai, Chuanhao Li, Jiaming Tan, Zhen Li, Yuwei Wu, Yunde Jia, Zian Meng, Yuanyang Yin, Kaipeng Zhang
任务设定 让生成式世界模型支持用户自定义规则的交互仿真
痛点动机 规则状态持久化与规则到视觉的精确映射难以兼顾
解决方案 构建 3D 规则图,闭环连接规则执行、视频生成与感知反馈
3

NereidVLA: Learning to Understand and Navigate the Underwater World

Chenjie Zhao, Zhiliang Zhu, Quan Chen, Yuquan Xue, Xingxue Shi, Puyue Wang, Zhiqiang Zhao, Kangye Zheng, Boyang Xu, Mingwei Lin, Dejun Li
任务设定 语言指令驱动的水下 3D 导航视觉-语言-动作模型
痛点动机 海洋视觉-语言数据缺乏配对机器人轨迹监督
解决方案 先用 Sea2Know 学习海洋空间知识,再用专家轨迹微调预测 3D 运动
4

Gaspard: Expressive unified speech and gesture synthesis with continuous autoregressive flow-matching and decoupled classifier-free guidance

Téo Guichoux, Théodor Lemerle, Catherine Pelachaud, Nicolas Obin
任务设定 统一生成语音与协同手势的多模态模型
痛点动机 现有方法级联生成导致语音与手势相互独立、不同步
解决方案 采用自回归流匹配和解耦的无分类器引导联合生成语音和手势
5

Does the Action Matter? Probing Action-Conditioned Semantic Forecasting as a World Model for Autonomous Driving

Binay Kumar Singh, Niels Da Vitoria Lobo
任务设定 评估自动驾驶动作条件世界模型是否真正依赖动作
痛点动机 现有评估只看预测精度,未验证预测是否真响应条件动作
解决方案 用测试时动作干预比较正确/错误动作下的分割指标差异
6

Counterfactual World Models: JEPAs That Reason About "What If"

Randall Balestriero, Yann LeCun, Kerda Varaku
任务设定 让世界模型对动作结果做反事实推理
痛点动机 仅用真实轨迹训练的模型无法回答反事实问题
解决方案 证明动作与扰动二阶可分离,借助 JEPA 在冻结编码器上免训练构建反事实世界模型
7

HandWorldBench: A Unified Benchmark for Hand-Centric World Models

Zhaolu Wang, Jiacheng Xu, Lihong Wang, Shuqing Wang, Jianjie Fang, Ziyou Wang, Xvyuan Liu, Rongze Tang, Yiding Ma, Xin Zhang, Jiawei Chen, Wei Wu, Chen Gao, Yong Li, Zhibo Chen
任务设定 评测以手为中心的世界模型的生成能力
痛点动机 手-物交互建模缺乏系统性、多维度评测基准
解决方案 构建 2 万余条第一视角手物交互片段,从手部保真度等六维度统一评测多种模型
8

F$^3$: What Makes Good Experience in World-Action Models?

Zihe Huang, Sirui Zhou, Haozhi Han, Ruge Zhang, Teng Ma, Tao Ma, Zheng Liu, Ce Zhang, Ting Cao, Yunxin Liu, Yunquan Zhang, Yifeng Chen, Kun Li
任务设定 研究世界-动作模型如何利用自身经验持续改进
痛点动机 现有经验复用方法常使已解决任务重新失败
解决方案 提出 Form-Fit-Fusion 框架,把成败轨迹压缩成操作记录,作为动作先验注入策略
9

EgoJev: Finding Evidence in Egocentric Video by Reading VLM Decisions

Chunggi Lee, Hanspeter Pfister
任务设定 在第一人称视频中定位回答问题的关键证据帧
痛点动机 均匀采样帧常错过决定性瞬间,难以捕捉证据
解决方案 让冻结 VLM 自身从带标签候选帧中选出证据时刻,无需额外模型
10

Beyond Appearance: Evidence-Guided Programmatic 3D Scene Reconstruction with Agentic Lighting Reasoning

Zeting Luo, Yifan Li, Shuai Yang
任务设定 基于 VLM 智能体的图像到代码 3D 场景重建
痛点动机 仅靠外观相似难以区分几何、材质与光照误差
解决方案 引入光照推理记忆,结合几何/材质/光照证据迭代验证修正
11

Comparing Each Generation with Independent Siblings Gives Video World Model Post-Training a Proper Objective for Outcome Frequencies

Xin Li, Yiwen Chen
任务设定 视频世界模型后训练中多可能结果的评估问题
痛点动机 仅对比单一真实结果会使模型坍缩到最可能输出
解决方案 提出 SibPO ,用同历史的兄弟采样估计频率权重来训练
12

ShoWorld: Shape-Faithful Multi-Hypothesis Occupancy World Model

Zhiqiang Yan, Guangfa Wang, Yuan Wu, Jian Yang, Gim Hee Lee
任务设定 预测驾驶场景中动态物体的未来占据状态
痛点动机 单一轨迹平均化导致运动不确定性与形状失真
解决方案 分离运动与形状建模,多假设轨迹融合、亚体素点刚性跟随以减少形状畸变
13

Probing Physics in Motion Diffusion Models Against Their Own Estimate

Saeed Ghorbani
任务设定 检验运动扩散模型内部是否藏有物理知识
痛点动机 此前“模型知道更多”的结论可能只是读出偏差而非真知
解决方案 对比每层激活与模型自身的干净样本估计,在平衡/飞行/跌落等运动学指标上验证差异
14

PhysResponse: Probing the Physics of Video Generation with Controlled Interventions

Yuhan Li, Shuran Zhang, Haixin Tian, Baonuo Rao, Weipeng Li, Yujia Hou, Zhenyu Wang, Zijun Wang, Luoyang Lin, Lijing Luo, Jiehui Huang, Kaiyuan Yang, Jingbin Tan, Panwen Hu, Xiaodan Liang
任务设定 评测视频生成模型对物理参数变化的响应能力
痛点动机 现有基准只看运动合理性,未检验模型是否真响应物理参数
解决方案 构建 PhysResponse 基准:场景反演恢复重力/摩擦力参数,并用 7.2 万条模拟视频微调验证
15

Risk-Triggered Search: Behavior-Preserving Safe Control

Xinyu Deng, Bohao Lan, Kunpeng Li, Mingkai Yuan, Weihang Pan, Binbin Lin
任务设定 基于冻结世界模型实现行为保持的安全控制
痛点动机 视觉世界模型缺乏碰撞几何,难防止违规区域穿越
解决方案 训练轻量风险头预测动作风险,触发局部 CEM 搜索修正,用幅度保持度量防止动作衰减
16

StrideWorld: Benchmarking Scene Rigidity and Action Consistency in Interactive Video World Model

Chuang Wang, Rui Nie, Jie Song, Junyuan Gao, Jiahe Song, Haitao Zhou, Boyu Zhu, Xing Li, Jiang Wu, Conghui He, Qian Yu, Weijia Li
任务设定 评测交互式视频世界模型的场景刚性与动作一致性
痛点动机 现有基准用拟合参考评测,渐变形变等误差难以检测
解决方案 用起始视角真实几何及模型自身步长作固定参考,测多模型表现
17

Towards Pose-Robust Few-Shot Vision-Language-Action Models

Wenhao Li, Zhongyi Han, Yuhao Wei, Liang Han, Yilong Yin, Liqiang Nie
任务设定 提升 VLA 模型对相机/机器人基座位姿变化的鲁棒性
痛点动机 少样本微调策略记住训练时外参,机位移动就操作失败
解决方案 用机械臂正运动学和静态场景做世界锚定,单帧估计并校正位姿偏移后微调
18

One Shot, Any View: High-Fidelity Video Reshooting with Geometry Guidance and Visual References

Kai Huang, Runze Xu, Hui Ren, Taiyi Wu, Xinyuan Li, Xun Gao, Quande Liu, Dong Tang, Tongtong Shen, Xuefeng Su, Alan Zhao
任务设定 输入单段视频,按指定相机轨迹生成重拍视频
痛点动机 长焦浅景深等影视镜头使前馈 3D 重建质量下降,现有方法照搬该误差
解决方案 基于点云视频几何先验,结合真实多机位数据训练,并用几何锚定 RoPE 保持时序和外观一致
19

Target-Consistent Action Guidance via Semi-Unbalanced Optimal Transport for Drifting World Models

Md Abtahi Majeed Chowdhury, Md Rifat Ur Rahman, Md Sakib Hossain Shovon, Jaesik Choi, Minhyuk Sung
任务设定 提升单步生成的动作条件世界模型的动作引导精度
痛点动机 现有引导方法对准确预测仍存在目标偏差,导致动作跟随不足
解决方案 提出 Mass-Share Accentuation,用半松弛最优传输消除偏差,使引导在目标处自然归零
20

WM^MLLM: Turning MLLMs into World Models

Baiang Li, Enze Xie, Jincheng Yu, Jin Wang, Haozhe Liu, Yitong Li, Juanxi Tian, Felix Heide
任务设定 基于 MLLM 构建单图输入的可持续编辑世界模型
痛点动机 现有视频世界模型把状态藏在生成器内,重访场景易漂移或编辑丢失
解决方案 用全景图加修订历史将世界状态外置,MLLM 负责选区编辑与校验,生成器只负责出视图
21

TrajWAM: Trajectory-Conditioned Future Learning for Vision-Language Driving

Xuerui Fang, Gulimila Kezierbieke, Chen Wangxing, Hui Li
任务设定 面向视觉-语言自动驾驶的轨迹条件世界动作模型
痛点动机 已有驾驶记录中执行轨迹与观测未来配对的监督信号未被充分利用
解决方案 用轨迹条件的 BEV 未来预测作为辅助任务训练共享规划器,推理时直接输出路径点
22

Worth Another Look:Constrained World-Model Planning for Visual Inspection

Ziyue Kang, Zixi Qi, Yuchen Dai, Nana Lv, Xirong Cheng, Liang Liu, Ying Li, Haoyan Wei, Haiyang Yao
任务设定 严格算力预算下多目标视觉巡检的观测路径规划
痛点动机 穷举扫描浪费算力,近视策略难应对异构代价与编辑延迟显现价值
解决方案 用轻量循环世界模型结合符号可行性规则做前瞻束搜索,并动态调整预算定价
23

ART: Bridging the Embodiment Gap in 3D Human-to-Robot Affordance Transfer

Zichen Zhang, Wei Zhai, Xuji Zhang, Yang Cao, Yu Kang
任务设定 将人类 3D affordance 迁移到机器人执行场景
痛点动机 人手与机械手形态差异导致 affordance 失配
解决方案 可靠性门控过滤人类先验,图扩散重建为机器人可执行分布
24

Efficient World-Model Planning via Physics-Guided Search Distillation

Hongyu Zhang, Xiaoshuai Hao, Heye Huang, Qingwen Meng, Wenjun Shi, Jianao Xu, Xin Hu, Xuanru Jin, Jingyi Zhang, Baicang Guo
任务设定 用 世界模型 辅助自动驾驶轨迹规划纠错
痛点动机 预测场景准确不代表轨迹合规,候选全违规时难修复
解决方案 物理引导搜索蒸馏,单次推理修正替代多轮搜索回放
25

Ego2X: Contact-aware Transfer from Egocentric Human Data to Any Robot

Xinke Lyu, Bowen Yang, Zhicheng Wang
任务设定 第一人称人类视频迁移为机器人可执行数据
痛点动机 现有方法只看视觉相似,忽略物理接触致抓取落空
解决方案 提出物体中心的 接触感知表征(CORE),校正手物漂移并指导逆运动学
26

Embodied Graph: A Relational World Model for Long-Horizon Tasks

Zongyuan Wu, Xin Wang, Tongtong Feng, Yuan Meng, Zeyang Zhang, Ling Feng, Wenwu Zhu
任务设定 长时序具身任务中的 世界模型 规划想象
痛点动机 像素级观测冗余,误差在长序列想象中累积放大
解决方案 构建 关系图状态抽象,用图循环状态空间模型建模节点间动态
27

AeroRSI: Recursive Self-Improvement for Aerial Vision-Language Navigation

Shiwei Wu, Yuwen Pan, Zhi Li, Yaowen Li, Yan Zhou, Xuemiao Xu, Yu Liu
任务设定 无人机依据语言指令完成视觉语言导航飞行
痛点动机 失败后的修复动作难以由人工或规则可靠标注
解决方案 让策略对自身修复动作续飞自我评判,递归自我提升生成监督信号
28

SemPhys: Semantic-Physical Co-Learning for Humanoid Motion Generation via Differentiable World Models

Zejian Kang, Yeqiang Wang, Zekai Chen, Boyang Shen, Mingyu Ma, Bingqian Wu, Fan Zhou, Jianjie Zhang, Chentao Shen, Wentao Yang, Rui Qian, Xiangru Huang
任务设定 依据语言指令生成人形机器人全身动作
痛点动机 跟踪控制执行后动作会偏离指令原本语义
解决方案 用可微分世界模型预测执行片段,对完整轨迹做语义打分并反传训练
29

WAM-Policy: World Action Models with On-Policy Distillation for Quadrupedal Loco-Manipulation

Junlin Long, Xu Deng, Yiran Wang, Yue Yang, Yang Zhao, Zeyu Zhang
任务设定 让四足机器人按语言指令完成移动操作任务
痛点动机 世界动作模型只为机械臂预训练且推理慢,四足缺语言策略
解决方案 两阶段跨本体迁移:先在线自蒸馏加速,再用强化学习和多教师蒸馏提升性能
30

TOMAS: Topology-Aware Operation Modeling and Adaptive Staging for Egocentric Hand Forecasting

Guanzhong Sun, Junyi Ma, Yuxuan Wu, Erhang Zhang, Chenyang Xu, Yanzi Miao, Hesheng Wang
任务设定 从第一视角视频预测未来手部运动轨迹
痛点动机 同一物体下不同操作意图导致手部轨迹差异很大
解决方案 构建拓扑感知手物推理关联骨骼与物体语义,再用自适应分阶段机制逐步细化轨迹
31

TRoPE: Topology-aware Relative Positional Encoding for 4D Generation

Chengzhuo Gui, Zhenglin Zhou, Fan Ma, Zongxin Yang, Yi Yang
任务设定 从单目视频生成带运动的 4D 网格几何
痛点动机 前馈方法易出现粘连伪影,把拓扑疏远顶点错误关联
解决方案 提出拓扑感知相对位置编码,用图拉普拉斯谱特征调制顶点与运动的注意力交互
32

HOForce: Motion and Force Reconstruction of Hand-Object Interaction Using a Single-View RGB-D Video

Jiahui Wang, Wanqing Du, Yuanbin Zou, Zhefeng Xu, Feng Xu
任务设定 从单视角 RGB-D 视频重建手-物体交互的运动与接触力
痛点动机 单目视角遮挡严重,现有方法难以恢复准确的接触力
解决方案 联合建模双手指尖力与物体间接触力,反过来约束遮挡区域姿态提升跟踪精度
33

LAGR: Language-Aware Grasp Re-Ranking for Task Oriented Grasping

Manav Kulshrestha, Shreyans Jain, Apoorva Vashisth, Ankush Gupta, Damon Conover, Aniket Bera
任务设定 根据下游任务选择合适的机器人抓取方式
痛点动机 现有任务导向抓取数据集规模小、合成化、标注成本高
解决方案 构建 268 万条抓取标注数据,提出 LAGR 用语言条件重排序器联合评分候选抓取
34

RePlan-VLA: Progress-Aware Replanning for Long-Horizon Vision-Language-Action Models

Apoorva Vashisth, Manav Kulshrestha, Damon Conover, Zachary Kingston, Aniket Bera
任务设定 VLA 模型执行长时程、多步骤机器人操作任务
痛点动机 长时程任务中缺乏进度跟踪和错误恢复导致性能下降
解决方案 提出 RePlan-VLA 框架,监控执行进度并自适应重新规划,无需微调原策略
35

Learning Martial Arts Motion Skills for Animating Opponents in VR Sparring Games

Jiqing Wen, Qixuan Shi, Robert LiKamWa, Pavan Turaga
任务设定 VR 格斗游戏中虚拟对手的武术动作生成
痛点动机 传统手工动画与状态机限制了动作多样性
解决方案 用强化学习结合对抗式风格奖励学习动作库,再按任务奖励适配攻防交互
36

SWIFT: Slow World, Instant Freshness, and Timely Action for Asynchronous Autonomous Driving

Jiazhe Wang, Tianyi Yang, Ruihang Li, Fan Lu, Xianming Zeng, Jianyun Xu, Xingliang Liu, Lei Yang
任务设定 自动驾驶中世界模型与动作规划的实时协同
痛点动机 场景持续变化,世界模型计算慢会拖慢实时控制的新鲜度
解决方案 提出 SWIFT 异步系统,后台 Video DiT 生成世界先验,前台快速 Action DiT 结合实时反馈决策
37

GTA: Generative Tower of Agents for Scalable Holonic Scene Generation

Zeng Tao, Yunuo Chen, Xiang Feng, Yumeng He, Peihao Li, Nanxiang Jiang, Yaowei Guo, Fanlian Zeng, Yin Yang, Chenfanfu Jiang
任务设定 可扩展生成包含动态人物的 4D 场景世界
痛点动机 大规模世界建模需兼顾全局布局与局部物体、角色细节
解决方案 提出 holon 层级化多智能体,自顶向下递归规划、自底向上组装精修,并用场景引导生成动态人体运动
38

PRISM: Profiling and Representation of Individual Stereotypical Motion

Austin A. MBaye, Savik Kinger, Matthew S. Goodwin
任务设定 量化分析自闭症患者的刻板重复运动模式
痛点动机 固定骨骼关键点无法完整刻画动作强度与节律
解决方案 结合跟踪掩码与稠密光流提取强度、范围、频率等运动画像
39

How Uncertain Is My Action? Self-Correcting Visual Planning with Frozen World Models

Siqing Li, Luming Yang, Yijia Jiao, Junze Deng, Alper Yilmaz
任务设定 检测并修正视觉规划中执行动作的偏移
痛点动机 冻结的世界模型无法察觉执行与指令动作的偏差
解决方案 让模型反向预测偏移观测,用偏移分数估计并补偿执行偏差
40

DOCK: Dual-Stream-Inspired Self-Supervised Object-Centric Representations Grounded in Robot Kinematics

Pengju Liu, Caiwen Ding
任务设定 学习用于机器人操作潜空间规划的物体中心表征
痛点动机 冻结视觉特征几乎无法反映物体到目标的距离,被背景和机械臂主导
解决方案 借鉴双流视觉理论,用正向运动学位移做自监督,训练物体 token 与动力学预测器
41

Layer-Matched Sparse Attention for Low-Redundancy 3D Reconstruction

Sammam Mahdi, Fariha Binta Salim, K. M. Jubair Sami, Rakin Bin Rabbani
任务设定 低冗余多视角场景下加速 VGGT 的 3D 重建注意力机制
痛点动机 免训练稀疏注意力在视角重叠少时会丢失相机位姿精度
解决方案 按层统计信息丢失程度,扩散层用重要性采样共享 key ,匹配层保持精确注意力
42

RageVLA: Augmentation-Trained Perception and Action for State-of-the-Art Robustness on LIBERO

Amrit Lal Singh, Smarak Kanjilal
任务设定 VLA 机器人操作策略在新物体/场景/指令下的鲁棒执行
痛点动机 现有策略把动作与训练时物体位置、场景绑死,稍变就失效
解决方案 用数据增强打乱物体/场景/指令,配合解耦感知(DINOv3 特征+物体列表)驱动流匹配扩散动作模型
43

Trust the Ray, Not the Depth: Ray-Lateral Agreement for Multi-View 3D Human Pose Fusion

Farnoosh Koleini, Ahmed Helmy, Pu Wang, Xiwu Cao
任务设定 多相机标定场景下的多视角 3D 人体姿态融合
痛点动机 单目网格估计器对焦距假设有偏,深度误差使多视角结果对不齐
解决方案 提出 Ray-Lateral Agreement ,沿视线修正深度偏差,按精度加权做闭式鲁棒融合
44

GRID-UAV: Geometry and Ray-depth Integrated Decision-making for Unmanned Aerial Vehicles

Anas Anwarul Haq Khan, Amrin Kareem, Muhammad Umer Sheikh, Biplab Banerjee, Muhammad Haris Khan
任务设定 无人机视觉-语言-动作导航与目标抵达任务
痛点动机 2D 图像编码器缺乏 3D 结构,直接加深度特征对长航线帮助有限
解决方案 结合显式 3D 深度提升与训练时的隐式多视角几何对齐,兼顾避障与任务完成率
45

mmTherm: Absolute 3D Human Pose Estimation from Low-Resolution Thermal Images and mmWave Radar

Zhaoxin Chang, Badii Jouaber, Daqing Zhang
任务设定 基于低分辨率热成像与毫米波雷达的绝对 3D 人体姿态估计
痛点动机 雷达点云稀疏导致姿态欠约束,特征融合基线在新用户上泛化差
解决方案 显式结合热图像的身体朝向/结构与雷达距离信息,轻量化定位并重建 3D 姿态
46

Autoregressive View Model

Jensen, Zhou, Samuel Rota Bulo, Denis Rozumny, Duncan Zauss, Peter Hedman, Nikhil Keetha, Philip Torr, Christian Rupprecht, Andrea Vedaldi, Peter Kontschieder
任务设定 通过统一上下文接口,沿相机路径流式生成场景视图
痛点动机 无需构建显式 3D 表示,仍要兼顾重建、插值与外推
解决方案 微调预训练视频扩散 Transformer ,结合流匹配与自回归式因果 rollout 生成