Daily Paper Feed

2026 年 10 月 15 日 星期四 · 共 45 篇相关论文 · 全部存档
1

Hierarchical Residual Policy Learning for Real-World Mobile Manipulation with Sparse Human Guidance

Zhefei Gong, Hefeifei Jiang, Zehao Wang, Jiachen Li
任务设定 真实世界移动操作机器人的在线微调
痛点动机 动作空间高维、模块耦合导致微调不稳定
解决方案 提出分层残差策略,用稀疏人类干预引导价值对齐加速探索
2

Modeling and Understanding Neural Weights of Humanoid Policies with Diffusion

Huixuan Cheng, Bike Zhang, Shankar Sastry, Koushil Sreenath
任务设定 用扩散模型直接生成人形机器人控制网络权重
痛点动机 传统训练方式难以直接建模策略网络的权重分布
解决方案 用潜在扩散模型压缩并生成控制网络权重,可直接部署执行多种动作
3

VITAL: From Visual Motion to Precise Action

Ao Liang, Youquan Liu, Mingxiao Li, Wei Chow, Lingdong Kong, Yue Liao, Dongyue Lu, Yu Yang, Wei Yin, Runnan Chen
任务设定 自动驾驶中将视觉运动转化为精确动作
痛点动机 动作目标与视觉动态脱节,重建存在厘米级误差
解决方案 提出 VITAL ,用视觉运动支架加残差编码,结合流匹配单步预测动作
4

DynThinker: Unifying Static 3D and Dynamic 4D Spatial Reasoning

Qihang Cao, Haoyuan Li, Zihan Guo, Sensen Gao, Zihui Gao, Huixin Zhang, Fan He, Jianhua Han, Hang Xu, Xiaodan Liang, Jia-Wang Bian
任务设定 统一静态 3D 与动态 4D 空间推理的多模态模型
痛点动机 3D 与 4D 能力相互干扰,现有模型难以兼顾
解决方案 用解耦 EMA 约束参数漂移,并用时空融合模块整合几何先验
5

GeoThinker-$F$: Endogenous Predictive World Representations for Fast Spatial Intelligence

Haoyuan Li, Qihang Cao, Huanyuan Zhou, Xin Hu, Sijia Chen, Zihan Guo, Kun Xiang, Yunshuang Nie, Tao Tang, Xinlong Zheng, Jia-Wang Bian, Xianming Liu, Xiaodan Liang
任务设定 多模态大模型的快速空间智能推理
痛点动机 外部 3D 几何编码器带来高昂推理延迟
解决方案 用潜在帧预测内化几何先验,去除外部编码器实现 3.6 倍推理加速
6

Any Time, Any Space: A World-State-Centric Framework for Agentic Video Generation

Weijie Wang, Haomin Zhang, Ye Li, Akide Liu, Zeyu Zhang, Haoyu Zhao, Yefei He, Donny Y. Chen, Feng Chen, Bohan Zhuang
任务设定 长篇 agentic 视频生成中的跨镜头时空一致性
痛点动机 非连续镜头间缺乏共享空间参照与历史事件记录
解决方案 构建场景记忆与事件记忆,生成前检索证据、生成后校验更新
7

Human Demonstrations as Post-Training Data for Any Robot Body: Retargeting the Object, Not the Hand

Nagasrikanth Kallakuri
任务设定 将人类手机拍摄的演示转化为不同机器人本体的训练数据
痛点动机 人类动作难以直接迁移到结构迥异的机器人本体上
解决方案 不重定向手部动作而重定向物体运动轨迹,在仿真中逐机器人验证运动可行性并给出成功/失败/拒绝判定
8

Reflect After Failure: Brain-Inspired Self-Evolving Agents for Embodied Spatial Intelligence

Xin Li, Xiaohuan Gu, Yifan Wang, Shaobin Ling, Tianli Shi, Jingao Xu, Zhimeng Yin, Dapeng Wu, Yun Wang
任务设定 让具身智能体从空间交互失败中自我进化
痛点动机 执行反馈难区分失败源于感知、探索还是规划
解决方案 受海马体-元认知机制启发反思失败归因,提炼可复用策略与参数化技能
9

PAWA: Panoramic Action-conditioned World Modeling for Multiple Agents

Siqi Yang, Yimu Wang, Ziqi Cai, Chengxuan Zhu, Shuchen Weng, Erwin Wu, Zhaofei Yu, Kaipeng Zhang, Boxin Shi
任务设定 多人共享 3D 世界中的全景+第一视角世界建模
痛点动机 单一第一视角视频捕捉不到视野外他人行为造成的场景变化
解决方案 构建 POV-全景配对数据集,双塔模型用跨注意力对齐两路视频预测
10

Glance Forcing: Making Bidirectional Diffusion Autoregressive at a Glance

Zhuobai Dong, Junchao Yi, Hu Jian Guo, Linjie Li, Rui Zhao, Alex Jinpeng Wang
任务设定 将双向扩散视频模型蒸馏为自回归少步生成模型
痛点动机 传统蒸馏依赖海量离线轨迹,高低噪声阶段特性冲突难兼顾
解决方案 提出 Glance Forcing ,用慢/快两专家解耦去噪轨迹分阶段蒸馏,教师模型保持冻结
11

OneLA: Learning Many Worlds from Latent Actions

Ziyu Zhu, Zhaoxu Sun, Fan Jiang, Chiyu Wang, Junfeng Ni, Mu Xu
任务设定 跨领域学习统一的世界模型动作空间
痛点动机 各领域动作接口不同且动作标注稀缺
解决方案 用共享正交字典从视频中学习潜在动作,轻量适配器映射真实控制指令
12

DreamHMR: From Video Generation to Human Motion Modeling via Structural Focusing

Zhengjie Xu, Ruihao Gong, Xianglong Liu
任务设定 视频中恢复人体身体与手部的精细网格
痛点动机 遮挡、部分可见场景下身手重建困难
解决方案 迁移视频生成先验,全局到局部策略结合局部关键点增强还原细节
13

FoveaVLA: Foveation Actions Replace the Wrist Camera in VLAs

Bingao Chen, Lihan Zha, C. Karen Liu, Guy Tevet
任务设定 VLA 机器人操作中用学习的注视动作替代腕部相机
痛点动机 外部相机分辨率低丢失操作细节,腕部相机视野受限
解决方案 预测下一时刻需关注的交互区域,裁取高分辨率局部细节与全局视图共同输入策略
14

MorphAct: Robot Policies Morphing with the Worlds They Act In

Ziyan Liu, Jiting Liu, Weihong Zhong, Wenda Yu, Yeqiu Chen, Jason Li, Xiaojiang Peng, Shuyuan Hu, Kai Wang, Bo Zhao
任务设定 机器人策略根据交互情境动态调整自身参数
痛点动机 固定共享参数难以适配多样操作场景,导致任务间相互干扰
解决方案 用双生成器产生情境相关的低秩参数更新,视觉-语言结果指导动作参数生成
15

Neurosymbolic Learning of Interpretable World Models

Riccardo Andreoni, Massimiliano Ronzani, Chiara Ghidini, Alessandro Daniele, Emile van Krieken
任务设定 学习可解释的概念化世界模型用于智能体规划
痛点动机 黑盒世界模型难结合先验知识,长程规划不稳健
解决方案 用时序逻辑定义概念状态,将规划转为可微分符号推理
16

MUCO: A Mani-Unit-Structured Manipulation Framework for Compositional Long-Horizon Robot Tasks

Xiangyi Wei, Hanzhe Yao, Jingwen Shang, Zhenhong Wu, Yang Li, Changbo Wang
任务设定 长时程机器人操作任务的组合式执行与调度
痛点动机 整轨迹学习成本高,局部失败易级联到后续阶段
解决方案 提出可复用操作单元(MU),由 MU 中心编排匹配调度冻结策略模型
17

OmniPoser: Flexible Human Motion Recovery in the Wild with Masked Flow Matching

Minghao Liu, Tutian Tang
任务设定 从灵活可穿戴传感器组合恢复全身 SMPL 运动
痛点动机 现有方法传感器配置固定,扩散模型实时性差
解决方案 提出掩码流匹配框架,统一兼容多种传感器输入,单步推理达 700+FPS
18

What Matters for World Modeling in Vision-Language-Action Models?

Qisen Ma, Yixiang Chen, Yuan Xu, Peiyan Li, Jiabing Yang, Kai Wang, Jianhua Yang, Jianlou Si, Jun Huang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang
任务设定 系统研究世界模型如何整合进 VLA 模型
痛点动机 现有方法同时变动表征、集成方式与骨干,难辨关键因素
解决方案 归纳四种整合范式,统一框架下系统对比各设计选择的效果
19

StateCraft: Augmenting Video World Models with Abstract-State Reasoning

Lorenzo Venturoli, Nedko Savov, Xi Wang, Marc Pollefeys, Luc Van Gool
任务设定 维持视频世界模型长程交互的状态一致性
痛点动机 仅记忆历史画面难以反映不可见区域的状态变化
解决方案 提出 StateCraft ,用语言模型维护可更新的抽象状态,驱动视频扩散模型生成当前画面
20

A Diagnostic Study of World-Space Human Recovery Under High Camera Dynamics

Hao-Jen Chien, Wei-Lun Chao, Yu-Lun Liu
任务设定 诊断快速相机运动下的世界坐标人体恢复
痛点动机 舞蹈直播等场景相机快速运动导致人体世界轨迹严重漂移
解决方案 发现相机与人体尺度不匹配致漂移,用闭式尺度校正统一坐标系,无需重训
21

Generative World Simulation with DAO and JING

XGEN Team, Guohao Cai, Haoxuan Che, Frank Fan, Chenran Huang, Junjia Huang, Jiayi Jiang, Yanheng Li, Leon Liu, Shaoteng Liu, Xi Liu, Feng Nie, Zhefan Rao, An Wang, Hanwen Wang, Pengxiang Yan, Jieming Yu, Qian Zha, Wentao Zheng
任务设定 构建持久世界状态与第一人称视听生成的交互框架
痛点动机 现有系统难以兼顾状态持久演化与连续第一人称体验生成
解决方案 用 DAO 维护世界状态演化, JING 据此生成每个观察者的第一人称视听体验
22

SceneAE: Scene Generation and Reconstruction in Queryable 3D-Anchored Latent Space

Shuofeng Sun, Wenzhao Zheng, Yunpeng Zhang, Yi Wu, Linqing Zhao, Haibin Yan
任务设定 用统一 3D 隐空间同时做场景重建与生成
痛点动机 视频隐空间仅描述视角观测,难复用于生成新视角场景
解决方案 提出 3D 锚定隐空间表示场景本身,几何与内容分离生成,提升相机可控性
23

Enhancing Latent World Models with Associative Memory

Yuwei Sun, Siyu Zhu
任务设定 提升隐空间世界模型的长时程具身规划能力
痛点动机 现有隐空间世界模型存在表征坍塌与长时序能力不足问题
解决方案 结合 JEPA 式预测与联想记忆库,多时间尺度学习表征并防止坍塌
24

Remember, Revisit, Revise: Scaffold Memory for Long-Horizon 3D Geometry

Soumick Sarker, Mengmi Zhang
任务设定 长视频中相机位姿与 3D 场景几何的持续重建
痛点动机 分窗推理误差累积,且无法修正早期错误估计
解决方案 引入可检索、可修正的外部记忆模块,关联观测位置与内容,发现新证据后回溯修正旧估计
25

Eye, Robot: Learning Expressive Gaze Dynamics via a VLM-Guided Transformer-VAE

Yuhang Hu, Junlin Lyu, Yuan Fang, Xiaoying Shen, Lechen Zhang, Jiong Lin, Judah Goldfeder, Steven Tian, Hod Lipson
任务设定 人形机器人的注视目标选择与头眼动作生成
痛点动机 固定追踪规则无法建模人类注视的时序动态结构
解决方案 VLM 负责选定注视目标, Transformer-VAE 从人体动捕数据学习生成协调的头颈眼运动
26

MagicGarment: Benchmarking Single-Image Standalone 3D Garment Reconstruction

Jia Chen, Ruyang Zhao, Jun Bai, Chao Huang, Saishang Zhong, Xinrong Hu
任务设定 单图像独立服装(非穿着状态) 3D 重建基准
痛点动机 服装薄壳、开边界、多层结构,现有数据与评测不足
解决方案 构建 1518 件服装资产基准,并用语义引导细化与 LoRA 适配改进图生 3D 骨干模型
27

Instruction-Conditioned Motion Control for Robotic Arms: Language-to-Code Decomposition and Reinforcement Learning

Fan Huang, Dezhong Tong, Changyu Chen, Haewoon Kwak, Jisun An
任务设定 语言指令驱动机械臂的运动控制
痛点动机 需让指令到执行过程可追溯、结果可验证
解决方案 将参数指定、指令生成与代码合成分离,再用 GRPO 强化学习训练指令策略
28

VLRLA: Deployment-Time Adaptation of Vision-Language-Action Models through In-Context Reinforcement Learning

Diyuan Shi, Yiqi Tang, Hongyin Zhang, You Wu, Donglin Wang
任务设定 研究 VLA 模型部署阶段的在线适应问题
痛点动机 预训练 VLA 策略无法利用部署中积累的交互经验持续改进
解决方案 引入上下文强化学习模块,冻结模型参数、基于历史交互逐步优化动作生成
29

Holi-Spatial 360: Generative Reconstruction from Sparse Panoramas for Spatial Rendering and Intelligence

Yuanyuan Gao, Zhirui Liu, Yuning Gong, Yifei Liu, Yifan Zhan, Kuixuan Jiao, Xiaolong Zhou, Yifan Yang, Hongjie Zhang, Xue Yang, Dan Xu, Zhihang Zhong
任务设定 从稀疏全景图生成重建多房间 3D 场景
痛点动机 室内数据集依赖昂贵 LiDAR ,网络全景图视角稀疏难重建
解决方案 提出生成式重建框架,结合几何优化与生成先验构建 3D 高斯场景并自动标注问答
30

Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution

Yunze Liu, Jing Wang, Shenrui Wu, Wenkun He, Guanqi Zhan, Xianzheng Ma, Junyu Chen, Wenhang Ge, Haozhan Tang, Yuchao Gu, Zhuoyang Zhang, Zekai Wang, Dantong Niu, Zhen Dong, Yuke Zhu, Trevor Darrell, Linxi "Jim" Fan, Song Han, Han Cai
任务设定 统一编码任务/阶段/动作用于机器人经验检索
痛点动机 现有检索方法难以同时匹配任务目标、执行阶段与后续动作
解决方案 提出 VLA 嵌入模型联合编码三模态,支持检索增强的策略条件化与记忆进化
31

Robust Real-Time Monocular Human Pose Estimation with Insole-Based Sensor Fusion

Liang Yu, Tao Zhu, Xiangqing Lu, Wenjian Luo, Liming Chen
任务设定 遮挡场景下的实时单目人体姿态估计
痛点动机 下肢遮挡或出框时纯视觉难重建合理姿态与脚地接触
解决方案 融合智能鞋垫传感器与视觉,提出部位解耦时序融合框架提升 SMPL 网格恢复精度
32

IMU-Bench: Benchmarking Wrist IMU Representations Across Kinematic, Semantic and Clinical Tasks

Yiquan Li, Aidan Bradshaw, Chenfeng Gao, Karan Ahuja
任务设定 评测腕部 IMU 表征在多任务间的迁移能力
痛点动机 不清楚单任务监督如何影响其他任务及能否共享表征
解决方案 构建十任务基准,提出掩码自编码器在姿态/里程计等任务上取得最优表现
33

From Failures to Learnable Worlds: Policy-Conditioned Environment Generation for Navigation Agents

Yue Zhang, Han Lin, Zun Wang, Yidong Huang, Zaid Khan, Mohit Bansal
任务设定 为预训练导航智能体生成针对性训练环境
痛点动机 通用环境生成忽略智能体具体失败原因
解决方案 用 LLM 从成败轨迹对比中提取弱点特征,生成对应薄弱环境做适应训练
34

VLX-Go: Robust Embodied Tracking through Multi-Stage Learning and On-Policy Refinement

Kyusong Lee, Heting Ying, Tiancheng Zhao
任务设定 具身视觉跟踪:机器人在干扰者中跟随指定目标人物
痛点动机 存在相似干扰者时,跟踪成功率大幅下降
解决方案 提出视觉-语言路点策略,多阶段训练先对齐视觉语言再做跟踪专精,并用在线策略精调提升鲁棒性
35

SonoWorld: Towards Interactive Pose-Controllable Ultrasound World Models

Zefan Yang, Zheyuan Zhang, Boris Maihe, Yikang Liu, Hang Yu, Ankush Mukherjee, Xiao Chen, Pingkun Yan, Terrence Chen, Shanhui Sun
任务设定 构建可交互、位姿可控的超声世界模型
痛点动机 缺乏真实可控的超声仿真环境,限制机器人策略学习
解决方案 基于视频扩散模型学习超声动态,再用少量 EM 追踪数据对齐 6DoF 位姿控制
36

Kandinsky S2V 1.0: Audio-Driven Avatar Video Generation

Nikolay Semenov, Artem Riabinin, Sergey Bassenko, Anna Averchenkova, Julia Agafonova, Anastasia Aliaskina, Kirill Kozlov, Lev Novitskiy, Nikita Samsonov, Nikolai Gerasimenko, Denis Dimitrov
任务设定 音频驱动的人物说话视频/虚拟形象生成
痛点动机 现有方法难以让口型、表情、姿态与语音长时同步
解决方案 用 Qwen2.5-Omni 统一提取文本音频条件,结合参考感知视觉记忆生成长视频
37

MIND: Instruction-Conditioned Incremental Grounding for Robots

Mohamed Abouagour, Junhyun Nam, Wonse Jo, Byung-Cheol Min
任务设定 机器人按持续语言指令维护房间级语义判断
痛点动机 环境变化后对每个房间全量重新评估代价过高
解决方案 构建指令条件依赖图,仅刷新受事件影响的判断,在 Unitree G1 人形机器人上验证
38

Long-horizon Video Generation with Slot Memory Addressed By Region Tokens

Eren Cetin, Julius Erbach, Vukasin Bozic, Hyojun Go, Zixiang Zhao, Nikolai Kalischek, Federico Tombari, Konrad Schindler, Dominik Narnhofer
任务设定 长时域视频生成中的空间记忆机制设计
痛点动机 重建式记忆存储开销不断增长,循环记忆则会随时间遗忘
解决方案 提出区域 token 寻址的 slot 记忆,按相机几何而非时间新近度检索历史内容
39

Decoupled Drift-Diffusion World Models for Consistent Future Frame Prediction

Anton Arapin, Aditya Singh, Yixin Wang, Jun Gao, Bernadette Bucher
任务设定 基于动作序列预测未来视频帧的世界模型
痛点动机 场景变化既有确定性运动也有随机性变化,难以统一预测
解决方案 联合回归确定性预测与空间不确定性图,用其引导扩散模型仅对不确定区域采样,确定区域直接锚定预测结果
40

Into the LidarVerse: A Real-Time Unified LiDAR World Model Across Tasks and Sensors

Henry Che, Xuanchi Ren, Sanja Fidler, Shenlong Wang, Laura Leal-Taixé, Shengyu Huang
任务设定 构建跨任务、跨传感器的统一 LiDAR 世界模型用于仿真
痛点动机 重建法精确但耗时,生成法快但长时序一致性差
解决方案 用统一条件生成框架融合两者,蒸馏为自回归学生模型实现单卡实时长时序仿真
41

Imagining Goals with Geometric Horizon Models for Policy Generalization

Daniel Lawson, Dhruv Sreenivas, Adriana Hugessen, Khimya Khetarpal, Glen Berseth
任务设定 离线强化学习中策略的零样本目标泛化问题
痛点动机 静态数据集和建模目标限制了策略的组合泛化能力
解决方案 提出 TD-Aug ,从几何视界世界模型中采样,想象新目标用于训练目标条件策略
42

DexMimic: A Generalist Dexterous Hand-Object Tracking Policy via Value-Guided Reset Allocation

Zhexi Luo, Zhixuan Xu, Rui Yang, Zeyu Xiao, Yiwen Hou, Lin Shao
任务设定 训练通用的灵巧手-物体跟踪策略
痛点动机 现有方法只能训练单轨迹专用策略,难以规模复用
解决方案 提出价值引导重置分配,在线调整初始化分布,优先训练困难阶段与高回报重置状态
43

WorldMemBench: A Comprehensive Benchmark for Memory of Video World Models

Nan Zhou, Jianxiong Gao, Qiuyu Wang, Wen Wang, Jiahao Wang, Yufeng Yuan, Shuaiting Li, Hao Ouyang, Yujun Shen, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen
任务设定 评测视频世界模型长期记忆能力的基准
痛点动机 现有评测只关注画质与时长,忽略历史一致性保持
解决方案 构建 260 个测试用例,从静态记忆(外观几何)和动态记忆(事件状态)两方面系统评估
44

Action Jets: Learning the Local Shape of the Action-conditioned Data Manifold

Anton Arapin, Chahyon Ku, Bernadette Bucher
任务设定 为短时域规划估计动作条件数据流形的局部形状
痛点动机 高维世界模型计算昂贵,限制规划器可评估的动作数量
解决方案 网络估计流形的泰勒展开局部近似( Action Jet ),单次推理即可对任意候选打分,提速 300 倍以上
45

$λ_0$: Scaling Open-World Egocentric Human Data for Humanoid Loco-Manipulation

Lambda-humanoid Team
任务设定 人形机器人全身移动操作的可扩展数据与训练
痛点动机 机器人演示采集昂贵,人类数据常缺全身运动信息
解决方案 构建 500 小时 HumanVerse 第一视角数据,对齐视角与手臂,训练λ0 基础模型零样本迁移到真实人形机器人