Daily Paper Feed

2026 年 10 月 20 日 星期二 · 共 83 篇相关论文 · 全部存档
1

Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience

Tianqi Liu, Hanfei Zhao, Qifeng Liang, Hui En Pang, Jiarui Xu, Sayang Mu, Penghao Qiu, YingSheng Zhang, Jun Wang, Ziang Cao, Mingze Sun, Yukang Cao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu
任务设定 构建跨人类与机器人的移动操作世界模型
痛点动机 异构动作空间和多模态监督不足,联合建模移动与操作很困难
解决方案 用统一运动学表征(相机位姿+投影骨架)编码,结合万小时第一视角人类数据预训练
2

Where is Physical RSI capability from? An Observational Scaling Law of LLM-as-policy

Zekai Li, Jiayi Yu, Jinlu Zhang, Luyang Niu, Zekun Qi, Jun Zheng, Xuchuan Chen, Dairu Liu, Yintianrun Zhang, He Wang, Li Yi
任务设定 研究 VLM 智能体在物理操作任务中的递归自我提升
痛点动机 单一榜单分数相近的智能体,提升能力来源却差异很大
解决方案 提出五轴评测 PhysRSI-eval 及物理木桶假说,并做工作空间干预分析
3

Train An Imaginative Agent

Jiaxin Ge, Junyi Zhang, Tianning Chai, Hanjun Yoo, Chenyang Wang, Xiuyu Li, Weijia Shi, XuDong Wang, Sewon Min, Luke Zettlemoyer, Trevor Darrell, Haiwen Feng
任务设定 训练智能体在行动前先想象结果再决策
痛点动机 环境反馈稀疏或动作不可逆时,直接执行容易犯错
解决方案 用单一全模态模型统一策略与世界建模,SFT 加强化学习学会利用想象规划
4

AnyGoal: On World Model Generalization Beyond Expert Rollouts

Heejeong Nam, Divyat Mahajan, Quentin Le Lidec, Randall Balestriero, David Klindt
任务设定 评估世界模型在专家轨迹之外的组合泛化能力
痛点动机 现有研究忽视数据覆盖度与动力学泛化、规划效果间的关系
解决方案 提出 AnyGoal 基准,测试目标偏移下状态-动作重组的预测与规划表现
5

PICA-WAM: Visual Perturbation Invariance via Cross-Appearance Self-Alignment in World Action Models

Yude Zou, Yifei Yao, Guanbo Jiao, Jianming Ma, Guanjie Zheng, Xing Gao
任务设定 提升 世界动作模型 对视觉扰动的鲁棒性
痛点动机 视频预测保留外观信息,但动作生成未显式约束外观不变性
解决方案 提出 跨外观自对齐 任务,用 EMA 教师引导扰动观测对齐动作表征
6

State World Models: Execute the Rules, Generate the Pixels

Chan Yan Ki, Yanran Zhang, Wenzhao Zheng, Xiaofeng Wang, Zheng Zhu, Lei Chen, Jie Zhou, Jiwen Lu
任务设定 让视频世界模型支持隐藏状态下的规则驱动交互
痛点动机 现有世界模型仅能生成运镜视频,无法保证动作遵循依赖隐藏状态的规则
解决方案 提出 Stateful Harness 框架,分离世界状态演化与视频渲染,逐轮渲染并更新状态
7

V-JEPA Hand: Simple, Accurate and Fast 3D Hand and Camera Trajectory Recovery from Egocentric Videos

Ruicheng Li, Qixiu Li, Yu Deng, Sicheng Xu, Jiaolong Yang, Baining Guo
任务设定 从第一视角视频联合恢复双手与相机运动轨迹
痛点动机 现有流程分阶段估计手部与相机运动,环节繁琐且误差累积
解决方案 基于自监督 V-JEPA 2.1 编码器的前馈模型,单次前向联合预测手部姿态与相机运动
8

Beyond Omni: A Unified MLLM for Embodied Sensory Understanding

Shiyun Xiong, Dongming Wu, Peiwen Sun, Bokang Yang, Jiaxu Wang, Xiaolou Sun, Mingxing Wen, Xiangyu Yue
任务设定 构建支持多种物理感知模态的统一具身 MLLM
痛点动机 现有具身 MLLM 感知局限于视觉和音频,难以融合深度、触觉等传感信号
解决方案 两阶段训练:先对齐各模态表征与语言,再用模态专家在共享 LLM 中微调
9

SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?

Zhaoxi Zhang, Hao Liang, Linxuan Wu, Yiming Wu, Yifu Yuan, Kun Liang, Chenming Tang, Meiyi Qiang, Wentao Zhang, Weikang Li
任务设定 评测 VLM 智能体主动探索并构建 3D 场景地图的能力
痛点动机 空间问答难验证模型能否建出精确度量地图
解决方案 提出 SpatialScout 基准,智能体控制相机探索室内场景,定位物体中心并评估覆盖度与精度
10

VaDar: Implicit Goal Conditioning via Value Disaggregation

Shashwat Saxena, Mehul Goel, Sreyas Venkataraman, Sarvesh Patil, Max Simchowitz
任务设定 长时序机器人操作任务的策略学习
痛点动机 子目标选择在部署时成本高、不便
解决方案 训练单一策略最大化多子目标 critic 值线性组合,无需部署时选子目标
11

EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience

Xinhao Ji, Hui En Pang, Hao Li, Kairui Hu, Jiner Wang, Mingze Sun, Ziang Cao, Yalun Dai, Thang Luu, Qin Ma, Hongyi Chen, Yukang Cao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu
任务设定 从第一人称视频联合重建相机、场景与手物交互
痛点动机 缺乏联合重建与一致监督的数据和方法
解决方案 构建 EgoX-Engine 自动标注引擎与 EgoX-Data-6M 数据集,单次前向联合重建相机-场景-手-物体
12

Drive2Gauss: FeedForward 4D Gaussian Reconstruction from Multimodal Generative Driving Videos

Tong Zhao, Zhiyuan Han, Lin Chen, Bowen Xie, Yunxi Qiao, Bohan Li, Weiqing Xiao, Gen Li, Shu Han, Xuyang Dai, Cheng Bi, Hao Zhao, Chaojian Li
任务设定 从生成式驾驶视频前馈重建 4D 高斯场景
痛点动机 现有方法需逐场景优化重建,成本高
解决方案 提出 Drive2Gauss ,联合生成 RGB/深度/光流后用高斯查询解码器单次前向重建
13

DenseHap: Dense Hand Haptic Estimation from Monocular Images

Junhan Xue, Rolandos Alexandros Potamias
任务设定 单目图像估计手部密集触觉接触信息
痛点动机 现有方法手背误判多、精度不足,缺统一框架
解决方案 提出 DenseHap 统一端到端模型,同时输出距离场、接触检测、压力分析与手部重建
14

PrismWAM: Decoupling State Representations in World Action Models

Tianyu Xin, Wanqi Zhong, Bowen Hu, Zhangchi Guo, Lijie Wang, Yiming Wang, Haoran Liao, Heyang Yu, Xiaoyu Tian, Zhiding Yu, Yiming Li
任务设定 世界动作模型(WAM)状态表征的解耦建模
痛点动机 现有 WAM 将外观语义与物理状态纠缠在隐表征中
解决方案 提出 PrismWAM ,分语义规划→深度空间物理推演→可执行动作三阶段
15

BetaMem: Learning to Remember a Changing World for Embodied Agents

Mai Liu, He Sun, Siru Zhong, Kerun Chen, Hao Yan, Xiaohui Lv, Shuai Tao, Wulong Liu
任务设定 具身智能体长时程长期记忆构建与演化
痛点动机 固定记忆规则易出错,存储检索成本随时间增长
解决方案 提出 BetaMem 六层记忆架构,结合 SFT 与 RL 的双层写约束训练记忆操作
16

Holi-World: Building Holistic World Intelligence from Human-Ego Experience

Hao Li, Xiyuan Zheng, Yuanyuan Gao, Yalun Dai, Xinhao Ji, Xuan-Li Chen, Jing Zhao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu
任务设定 基于人类第一人称经验构建整体世界智能
痛点动机 大规模第一人称数据缺乏场景-语义-交互统一标注
解决方案 构建 HOLI-WORLD 生态,自动生成世界记录训练 HOLIWORLD-VL-4B 提升时空理解
17

Learn the Task, Not the Schedule: Reducing Spurious Cross-Arm Coupling in Bimanual Imitation Learning

Shuyuan Hu, Deng-Ke Wu, Yifan Jin, Qianhang Luo, Mingchen Ju, Kai Ye, Bo Zhao
任务设定 双臂机器人模仿学习中的跨臂调度耦合问题
痛点动机 策略把双臂演示中偶然的时序安排误学为任务约束
解决方案 提出 CTR 时序重组方法,保留动作内容重排时序,训练扩散策略等模型更鲁棒
18

SPAR: Structural Pruning and Action Recovery for Vision-Language-Action Models

Shenli Zheng, Zhou Fang, Yuan Du, Yijiang Liu, Li Du
任务设定 压缩视觉-语言-动作模型以降低机器人推理成本
痛点动机 激进压缩会严重损害机器人操作成功率
解决方案 提出 SPAR ,剪枝 LLM 骨干后用强化学习恢复策略性能,推理提速近 2 倍
19

ALIGN: Aligning Condition Estimation and Expression in Advantage-Conditioned Behavior Cloning

Zechen Wang, Zhenqi Qiu, Houlong Xiong, Suohang Zhang, Yiyu Ren, Wanting Xu, Hongfei Niu, Chengyang He, Ge Sun, Ran Cheng, Qian Zhu
任务设定 从含失败重试的混合质量数据中学习操作策略
痛点动机 现有条件信号构造粗糙、注入方式弱,优势信息利用不充分
解决方案 提出 ALIGN ,直接预测类别化条件并通过 AdaRMS 调制注入动作专家
20

Robotic Photography System based on Vision-Language-Action Model

Song-Li Wu, Chubin Zhang, Wenbo Ding, Yansong Tang
任务设定 机器人自主摄影的视觉-语言-动作建模
痛点动机 需理解拍摄意图、规划相机运动并兼顾美学效果
解决方案 提出 RoboPhoto-VLA 框架,结合 PhotoCoT 规划与美学偏好优化对齐人类审美
21

ExMR: Extremity Motion Refinement for Monocular Human Motion Capture

Tom Wehrbein, Bodo Rosenhahn
任务设定 单目视频中恢复人体手脚精细运动
痛点动机 共享全身表征弱化了手脚局部证据细节
解决方案 提出 ExMR ,用 FootMR 和 HandMR 模块结合局部特征细化手脚关节旋转
22

Learning Goal-Conditioned Subgoals through Frozen Hierarchical World Models

Xiang Kaibo, Liu Qingfeng
任务设定 在分层世界模型中学习目标条件的子目标生成
痛点动机 上层规划器需反复求导候选宏动作轨迹,代价高昂
解决方案 冻结高层预测器,训练轻量目标条件网络替代搜索生成子目标,推理提速 1.3~4.4 倍
23

Risk Decomposition for Hallucination-Aware Video Sampling

Chenyan Zheng, Fan Wu, Ruibo Li, Jiaxing Li, Minghao Yang, Bang Zhang, Guosheng Lin
任务设定 视频生成模型存在物理幻觉,影响作为世界模拟器的可靠性
痛点动机 现有方法缺乏统一的风险分解框架来解释原因
解决方案 提出双风险框架区分采样风险与漂移风险,设计 HA-Sampler 引导生成更合理视频。
24

PaceVLA: Adaptive Temporal Action Quantization in Vision-Language-Action Models

Hojin Jeon, Jimin Lee, Taekwan Kim, Nayoung Oh, Taeyoung Kim, Myungkyu Koo, Jinmo Koo, Joonwoo Ahn, Jinwoo Shin
任务设定 VLA 机器人操作中的时序动作执行效率问题
痛点动机 统一动作量化粒度在精细操作阶段会丢失关键细节
解决方案 提出 PaceVLA ,共享动作专家支持多粒度解码,按场景难度自适应切换执行模式
25

HORIA: 4D Human and Object Reconstruction from a Monocular Video with Interaction-Aware Re-Rendering

Hyeongjin Nam, Taeryung Lee, Daniel Sungho Jung, Kyoung Mu Lee
任务设定 从单目视频联合重建人-物交互的 4D 动态场景
痛点动机 单视角遮挡和多阶段交互使重建不完整、不连贯
解决方案 按语义分割交互阶段,结合扩散先验做交互感知重渲染补全多视角信息
26

EmbodiedWorld-200K: Toward Embodied World Agents via Embodied-Planning Dataset and Interactive World Models

X. Feng, J. Tang, Z. Lin, L. Chen, S. Shao, Q. Lu, K. Huang
任务设定 构建开放世界具身智能体的规划数据集与交互基准
痛点动机 现有智能体难泛化到新场景,真实交互环境搭建成本高
解决方案 发布 20 万级数据集 EmbodiedWorld-200K ,用视频世界模型作低成本环境代理做强化学习
27

TESS: LLM-guided Translation, Exploration, Simulation, and Search for Embodied Task Planning

Peiran Xu, Yixiang Yang, Jinghan Li, Fei Li, Cao Sheng, JiaZhong Yu, Yadong Mu
任务设定 具身智能体需把复杂指令拆解为原子动作完成任务
痛点动机 LLM 生成计划可执行性不足,经典搜索依赖完全可观测环境
解决方案 借助 LLM 常识引导搜索算法,构建规则世界模拟器并剪枝提升规划效率
28

CondenseVLA: Learnable History Condensation for Efficient Multi-Frame VLA

Feiyang Hong, Yujie Wei, Bo Zhao, Xiu Su, Hongxun Yao, Shuo Yang
任务设定 机器人操作中利用多帧历史视觉信息辅助动作决策
痛点动机 扩大历史窗口计算成本高,且信息冗余、采样不灵活
解决方案 提出 CondenseVLA ,用可学习查询把历史特征压缩为固定 slot tokens 并去冗余
29

Vision-Language-Delta-Action: Learning Compact Deltas as Actionable Transition Interfaces for Robotic Manipulation

Lingsen Zhang, Wei Li, Jie He, Henghua Zhang, Kai Mo, Shiyong Li, Yanpeng Wang, Rui Shao
任务设定 机器人操作中的视觉-语言-动作建模
痛点动机 完整预测未来状态会浪费容量在无关静态细节上
解决方案 提出 Delta 变量压缩任务相关状态变化,用 LT-Filter/GT-Anchor 学习,引导动作去噪
30

ActionRoPE: action as coordinates for spatially consistent control in planar-camera game world models

Zhiyang Deng, Yuzhe Wu, Zijun Lin, Yeying Jin
任务设定 平面摄像机游戏世界模型的动作控制
痛点动机 动作作为特征条件难保证空间一致性,画面易漂移
解决方案 提出 ActionRoPE 将动作转为世界坐标旋转位置编码,配合坐标条件去噪调度
31

Auditing Semantic and Relational Reliability in Open-Vocabulary Human-Object Interaction Evaluation

S M Asif Hossain, Ruksat Khan Shayoni, Md Kishor Morol
任务设定 开放词汇人-物交互检测的评测可靠性审查
痛点动机 类别匹配拒绝同义表达,语义评分又可能奖励错误动作
解决方案 提出五视角诊断协议,结合受控变换与盲审,分离匹配引擎与语义评分的影响
32

Think Densely, Act Sparsely: Latent Expert Cognitive Chains for Vision-Language-Action Autonomous Driving

Jie Wang, Guang Li, Zhijian Huang, Jinlong Li, Chenxu Dang, Hangjun Ye, Yahong Han, Long Chen
任务设定 自动驾驶视觉-语言-动作(VLA)建模任务
痛点动机 稀疏监督让模型丢弃关键场景信息,影响驾驶安全
解决方案 提出 LECDrive ,用潜在专家认知链内化 DINOv3 等基础模型的稠密知识,再稀疏输出动作
33

Progress-Guided Preference Generation for Aligning Generative Control Policies

Tung M. Luu, Tri Ton, Duc M. Nguyen, Xuan Thanh Nguyen, Nguyen Gia Binh, Quang Tan Nguyen, Vu Duong, Daniel Sonntag, Duy M. H. Nguyen, Vien Anh Ngo, Chang D. Yoo
任务设定 模仿学习中生成式控制策略的偏好对齐任务
痛点动机 偏好微调依赖昂贵人工标注,专家演示数据稀缺
解决方案 提出 PGPG ,用有序覆盖对齐衡量轨迹进度自动生成伪偏好标签来微调策略
34

Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips

Yian Zhao, Yu Yan, Hongcan Guo, Ruochong Zheng, Jian Zhang, Jie Chen
任务设定 让流式世界模型支持超长时域生成
痛点动机 短片段训练模型长时 滚动预测 会误差累积漂移
解决方案 用真实数据统计的 Fréchet 距离 约束自生成轨迹,联合微调模型与采样器
35

SpaRV: Sparse Radiance Voxels for Scalable Geometrically Consistent LiDAR-Visual Mapping and Rendering

Jianheng Liu, Yunfei Wan, Fangming Cheng, Xiangyu Hong, Zuhao Zou, Haotian Li, Longji Yin, Chunran Zheng, Jiarong Lin, Fu Zhang
任务设定 面向机器人的大规模辐射场地图构建与渲染
痛点动机 机器人视角稀疏、相机位姿有误差且显存受限
解决方案 用 LiDAR 约束几何,稀疏体素+八叉树控制显存,联合优化相机参数
36

InteractAgent: Agentic Human Motion Interaction with Memory-Augmented Reflection

Tao Zhang, Senhe Zhang, Zeyu Zhang, Yujia Zhang, Dong Gong
任务设定 长时域 人体-场景交互 的动作规划与执行
痛点动机 现有方法缺乏闭环纠错,难以泛化到新场景和目标
解决方案 MLLM 做规划评估, MotionLLM 执行动作,记忆增强反思实现闭环纠错
37

ReDT: Resolution-Decoupled Visual Geometry Transformer

Abteen Arab, Guile Wu, Dongfeng Bai
任务设定 多视角图像的高分辨率 3D 重建
痛点动机 现有几何 Transformer 处理高清输入时计算量剧增、精度下降
解决方案 将每个视角映射为固定数量的基础 token ,在紧凑空间中计算对应关系,再投影回原分辨率完成稠密预测
38

Dynamics-Aligned Representation Learning under Induced Partial Observability

SM Mazharul Islam, Manfred Huber
任务设定 基于视觉观测学习世界模型用于连续控制策略
痛点动机 纯图像重建目标使表征偏向视觉保真,长时预测不稳
解决方案 训练时加入随机门控掩码制造部分可观测性,提升世界模型规划的鲁棒性与数据效率
39

PRIMA: Pose Refined Inductive Motion Adapter for Zero Shot Social Bodily Behavior Recognition

Mingcong Ding, Babette Bühler, Tim Fütterer, Ulrich Trautwein, Enkelejda Kasneci
任务设定 零样本识别细粒度社交身体行为
痛点动机 VLM 缺乏身体结构先验,易混淆细微姿态差异
解决方案 用姿态先验监督训练轻量适配器,注入冻结 VLM ,推理无需姿态输入
40

BiDex-100: A Comprehensive Benchmark for Bimanual Dexterous Manipulation Across 100+ Simulation Tasks

Yong Wang, Kecheng Zheng, Xing Zhu, Chao Xu, Yujun Shen, Shengze Cai
任务设定 双手灵巧操作机器人仿真基准
痛点动机 现有基准难以系统评估灵巧操作能力
解决方案 构建 BiDex-100 基准,覆盖 106 个任务与 808 万帧遥操作演示数据
41

DragonMoCap: Monocular Video-based Motion Capture for Diverse Dragon Topologies

Zhongfei Qing, Xiaoxiang Zhao, Ling-Hao Chen, Zhongang Cai, Wenjia Wang, Yifan Wu, Qianying Liu, Wei Zeng, Bo Hu, Songnan Li
任务设定 单目视频驱动的龙类角色动作捕捉
痛点动机 龙类骨骼拓扑差异大,固定模板回归器难适用
解决方案 用语言引导关节查询 token 建立跨骨骼表征,零样本适配未见拓扑
42

UniState: Unifying Memory and Intervention for Controllable World Simulation

Jaeseok Jeong, Kyungmook Choi, Sohyun Chung, Youngsik Yun, Youngjung Uh
任务设定 可控世界模拟中统一记忆与干预操作
痛点动机 物体运动与视角变化在控制指令中易产生歧义
解决方案 构建统一世界状态表征融合空间记忆与用户干预,解耦运动与相机轨迹
43

CASE: Complementary Articulation-Aware Speech Encoder to Enhance Speech-Driven 3D Facial Animation

Jaehong Myung, Seungho Eum, Taegon Kim, Hyunjung Chung, Unsang Park
任务设定 语音驱动的 3D 人脸动画 生成
痛点动机 通用语音编码器与唇部动作未显式对齐
解决方案 用对比学习对齐语音与唇部网格特征,再通过交叉注意力融合进原语音表示
44

SENRI: Understanding the Space-Event Nexus in Real-Life Videos

Kehan Lan, Kaining Ying, Henghui Ding, Kaipeng Zhang
任务设定 研究第一视角长视频中空间与事件的关联理解
痛点动机 长视频中空间与事件的关联推理仍具挑战
解决方案 提出 SENRI-Agent ,通过目标引导视觉核查构建工作记忆辅助推理
45

World Model Interpretability: From Decoding Representations to Understanding Latent Worlds

Jize Wang, Yongcheng Jing, Xinyi Le, Cailian Chen, Xinping Guan, Dacheng Tao
任务设定 研究 JEPA 类潜在世界模型的可解释性问题
痛点动机 潜在世界模型缺乏人类可理解的解释接口
解决方案 提出 Ground-Structure-Verify-Act 四阶段框架,推动从解码表征转向理解潜在世界动态
46

MotionShift: Environment-Compatible Motion Transfer via Planner-Evaluator Synergistic Adaptation

Yanchen Liu, Junyao Gao, Yanan Sun, Wensheng Chen, Guangming Lu, Wenjie Pei
任务设定 将参考视频中的动作迁移到新场景并保持物理合理性
痛点动机 现有动作迁移忽略动作与目标场景的物理兼容性
解决方案 用 LLM 规划轨迹、VLM 评估修正,实现免训练的场景自适应动作迁移
47

Vision as Proprioception: Estimating Humanoid Robot Pose from Video

Jiaxi Jiang, Matthias Heyrman, René Zurbrügg, Marco Hutter, Christian Holz
任务设定 仅从视频估计人形机器人的全身关节姿态
痛点动机 机器人本体状态常因隐私或通信限制不可获取
解决方案 提出 HumanoidPose ,融合人体姿态先验与机器人运动学,并用自训练提升真实场景泛化
48

Map2Vid: Embodied Navigation Video Generation with Human-Friendly Motion Control

Yulin Dai, Yuqian Fu, Tianwen Qian, Zhen Xing, Bojia Zi, Xiaoling Wang
任务设定 将具身导航视频生成转化为 BEV 地图到视频合成任务
痛点动机 文本提示模糊、相机轨迹控制对人类不直观
解决方案 提出 Map2Vid 框架,用 BEV 地图统一控制信号并构建大规模导航数据集
49

Compile Once, Run Cheap: Frozen, Portable Skills for Embodied Agents, and What Recursive Self-Improvement Adds

Jingwen Bai, Guochao Bai, Canbo Zhang, Shuangqi Li, Minchao Hu, Weichun Huang, Shuang Liu
任务设定 让强模型离线编译可复用的机器人操作技能
痛点动机 每个新任务都靠示范数据或实时调用前沿模型,成本太高
解决方案 强模型在仿真中离线编写、测试并修复技能代码直至通过验证后冻结,之后可被低成本调用器直接复用执行
50

VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action Reuse

Sicheng He, Yi Pan, Qiuting Yu, Jiaming Huang, Qi Lu, Shuyan Wu, Hongyan Feng, Xuanyu Liu, Jun Zhang, Jie Zhang, Wenqi Zhang, Xuhong Zhang, Jianwei Yin
任务设定 加速 VLA 机器人策略的动作生成推理
痛点动机 丢弃未执行的动作尾造成去噪计算浪费
解决方案 复用动作尾,按置信度自适应分配去噪步数与重噪
51

Stable Signer V3: 4D Deformable Primitive Splatting Is All You Need for Sign Language Production

Sen Fang, Liwei Che, Dimitris N. Metaxas
任务设定 交互式高分辨率手语数字人生成系统
痛点动机 现有手语虚拟人表情受限、身体形变不准、细节丢失
解决方案 用 4D 可变形基元渲染构建面部与身体虚拟肌肉层,测试时优化超分辨率细节
52

Goal Images Are Control Targets: Spatially-Grounded Goal-Image Synthesis for Robotic Manipulation

Riddhi Chatterjee, Ritish Shrirao, Kushagra Mehrotra, Viswanath Gopalakrishnan
任务设定 机器人目标条件操作中的目标图像生成
痛点动机 高编辑质量图像并非好的控制目标,长程任务上差距更明显
解决方案 提出 SGE-Goal ,先预测 2D 编辑区域掩码再合成目标图像,提升操作成功率
53

PCHMR: Empowering and Benchmarking Human Mesh Recovery in Privacy-Constrained Real-World Settings

Zeyu Cao, Qingxuan Wu, Zhiyang Dou, Rui Xu, Yuan Liu, Javier Fernandez-Marques, Nicholas D. Lane, Taku Komura, Wenping Wang
任务设定 研究隐私约束下人体网格恢复 (HMR) 的训练与评估
痛点动机 集中式用户数据微调 HMR 存在隐私泄露风险
解决方案 用联邦学习基准评测,并提出 DePoser 本地标注微调方案,结合深度基础模型实现个性化
54

DialogMem: Evaluating Dialogue-Grounded Embodied Memory in 3D Environments

SeongJun Jeong, Junghyun Kim, Gi-Cheon Kang, Byoung-Tak Zhang
任务设定 评测 3D 场景中对话引导的具身智能体记忆
痛点动机 现有具身记忆仅靠视觉,难以关联人类对话信息
解决方案 提出 DialogMem 基准,用 RGB-D 观测与对话构建记忆,评估物体级导航与问答
55

From Views to Worlds: Active Exploration over 3D Worlds for Vision-Language Models

Qijian Tian, Jiayu Ying, Ke Fan, Lizhuang Ma, Xin Tan
任务设定 赋予 VLM 主动探索 3D 场景的空间推理能力
痛点动机 被动 2D 视角限制 VLM 获取跨视角几何证据
解决方案 构建带位姿与语义的显式 3D 世界,让 VLM 多轮交互式探索,并用 强化学习 优化策略
56

Modeling Uncertainty Propagation in 3D Morphable Models

Megh Shukla, Edo Collins, Prashanth Chandran, Karel Petránek, Sergio Orts-Escolano, Mathieu Salzmann, Alexandre Alahi
任务设定 将 3DMM 参数不确定性映射为逐顶点不确定性
痛点动机 传统采样/误差传播方法计算昂贵,难以实用
解决方案 提出闭式近似方法 CLUE ,以网格几何为先验,提升 人体网格恢复 精度与不确定性估计
57

Beyond Geometric Closure: Measuring and Diagnosing Mechanical Consistency in Visual Dynamics

Qibin Gu, Yunfeng Yan
任务设定 评估视觉动力学模型预测是否符合力学规律
痛点动机 视觉预测准确不代表运动遵循真实物理动力学
解决方案 用刚体闭链 SI 审计 拆解几何、力效与能量一致性,诊断 V-JEPA 等世界模型的物理合理性
58

Structured Latent Dynamics for Long-Horizon Embodied World Models

Kevin Chen, Yu-Wei Zhan, Haoran Liang, Sen Cui, Changshui Zhang
任务设定 具身世界模型中的长时域动作条件预测
痛点动机 无约束潜动力学误差累积,长时域预测偏离物理规律
解决方案 提出 HWM ,用耗散哈密顿动力学结构化潜在相空间,减少能量漂移保持长期稳定
59

MOMO: Human Motion from Moving Sounds

Deli Cai, Shuyang Xu, Zhiyang Dou, Zitong Lan, Mingmin Zhao, Changxing Ding, Taku Komura
任务设定 根据移动声源的动态空间音频生成人体动作
痛点动机 现有音频驱动动作方法忽略声源与听者间动态空间关系
解决方案 提出 MOMO 扩散框架,融合定位、理解与生成,从双耳音频估计声源方向驱动动作生成
60

GazeAct: A Human-Gaze-Annotated Manipulation Dataset for Attention-Regularized Policies

Anupam Pani, Wang Yuan, Qifan Wang, Yanchao Yang
任务设定 构建带人类注视标注的多视角机器人操作数据集
痛点动机 现有数据集缺乏真实注视与多相机观测的配对标注
解决方案 采集操作员注视并迁移至多视角,软监督视觉-语言-动作策略的注意力训练,推理时无需注视
61

Learning to Compose: Recursive Self-Improvement of Shared Executable Stacks for Zero-Shot Long-Horizon Robot Manipulation

Yangzhi Chen, Feiran Liu, Zishuo Wang, Zijian Jin, Xin Zhu, Lecheng Ruan, Wenjuan Han
任务设定 零样本长时序机器人操作技能组合执行
痛点动机 单个技能组合使用时常因接口缺失或状态不匹配而失败
解决方案 用递归自改进框架持续修复共享执行栈中的工具与技能契约,复用已验证组件支持新任务组合
62

O-SCD++: Replay-Free Online Scene Change Detection via Recursive Evidence Fusion

Chamuditha Jayanga Galappaththige, Jason Lai, Lloyd Windrim, Timothy Patten, Donald G. Dansereau, Niko Suenderhauf, Dimity Miller
任务设定 基于 3D 高斯场景地图的在线场景变化检测
痛点动机 在线检测需边观测边判断,历史重拟合开销大导致精度与速度难兼顾
解决方案 固定参考地图使变化场渲染为线性运算,用逐高斯两标量递归融合新观测,无需重播历史
63

HumanSkill-4D: Training-Free Language Querying of Animatable Gaussian Avatars in Space and Time

unsu Kim, Naeun Kim, Dongyoon Han, Seungryul Baek
任务设定 对 4D 高斯人体化身进行语言查询的时空局部检索分割
痛点动机 相邻部位/服饰难区分,细粒度动作在 RGB 画面中易混淆
解决方案 免训练框架结合多模态大模型与几何算子,借助语义与运动记忆程序化定位区域和时间段
64

Do 3D Large Language Models Really Use 3D Evidence?

Yifei Zhao, Fanyu Zhao, Han Zhang, Yixuan Lin, Yuyang Hou, Bin Wu, Ruike Cao, Li Xiao, Yinsheng Li
任务设定 评估 3D 大语言模型场景问答是否真正依据 3D 证据
痛点动机 现有基准忽视指代歧义、证据不足等情况,掩盖模型回答是否真正有据可依
解决方案 提出 UNICORNS 基准与义务感知后训练方法 HORN ,用任务与义务奖励提升证据对齐回答
65

BodyBridge: Grounded Body Layers for Sim-to-Real Translation of Vulnerable Road Users

Mark Azer, Fabian B. Flohr
任务设定 仿真到真实驾驶视频中弱势道路使用者的姿态保真生成
痛点动机 现有方法把行人骑行者视为通用物体类别,忽略关节姿态与身份细节
解决方案 提出 Grounded Body Layers ,用像素级身体对应和精确掩码为视频扩散模型提供显式关节控制
66

GazeAgent: VLM-Guided Implicit Gaze Calibration from Egocentric Multimodal Behavior for AI Glasses

Yuhong Zhang, Khanh An Nguyen, Xinyu Tian, KungYi Chang, Abraham Padua, Yuchen Xu, Ying Choon Wu, Gert Cauwenberghs, Tzyy-Ping Jung
任务设定 AI 眼镜视线追踪的隐式自适应校准
痛点动机 显式校准打断体验,设备偏移致精度漂移
解决方案 用 VLM 从第一视角 IMU、视线、手部信号中识别精确视觉关注事件作为伪校准目标,持续自适应更新
67

ULIFLOW: Unified Latent Human-Object Interaction Flow

Wenqi Cai, Chunzhi Gu, Weichen Zhou, Yawen Zou, Yijin Wei, Ran Dong, Haoran Xie, Chao Zhang
任务设定 文本驱动生成 3D 人体-物体交互动作
痛点动机 骨骼表示难以显式建模接触几何,人物物体动作易不协调
解决方案 构建人体-物体关系的统一潜空间,用 MoT 自编码器联合建模并支持变长生成
68

Towards Reinforcement Learning for Space Robotics: Fast Training and Reliable Real-World Transfer

Abhishek Naik, Michael Wu, Michael O'Sullivan, Colin Bellinger, Yunli Wang
任务设定 四足机器人通过强化学习学习穿越复杂地形
痛点动机 真实训练成本高,希望快速仿真后可靠迁移到真实世界
解决方案 仿真强化学习框架,单 GPU 训练 20 分钟后迁移至月面模拟地形行走
69

Self-Improving Video-to-Action Models

Hyunwoo Ryu, Eric Ming Chen, Max Wilcoxson, Vincent Sitzmann
任务设定 将视频生成模型的视觉规划转化为机器人动作
痛点动机 现有方法依赖大量人工动作标注,难以扩展到新任务
解决方案 提出自监督方法 Mirror ,通过环境交互自我改进视频到动作映射,无需专家数据或奖励
70

HAVANA: A Hierarchical Video-Action Model for Vision-Language Navigation

Dongzhihan Wang, Yi Du, Chen Wang, Xiuxian Li, Liang Xu
任务设定 视觉-语言导航中的长短时规划解耦
痛点动机 现有视频-动作模型未区分预测与反应的不同节奏
解决方案 提出双系统 HAVANA :慢系统生成语言条件潜在规划,快系统结合实时观测生成局部轨迹,推理时无需生成未来视频
71

BLANC: Adaptive Temporal Scheduling for Sign Language Production

Youngmin Kim, Seoyeong Hwang, Sujung Hong, Seong Jae Hwang
任务设定 从文本生成手语的躯干与手部动作
痛点动机 手部精细动作与躯干运动的时间分辨率和时长差异大
解决方案 提出多速率向量量化分离躯干双手 token ,配合时钟模块自适应分块并行去噪生成
72

SynerGest: Temporal-Spatial Synergistic Gesture Generation for Dyadic Conversations

Chengxiang Guo, Jian Wang, Lanmiao Liu, Zhan Tang, Junhua Fei, Xiao Li
任务设定 双人对话场景下的协同手势生成
痛点动机 现有方法难平衡稳定性与节奏响应,易抖动或趋于平均动作
解决方案 基于对比流匹配框架,用脉冲-趋势协同注意力解耦动作时机与幅度
73

CLARO: Clutter Aware Robot Orchestrator for Open-Vocabulary Grasping using VLM Agents

Sungsu Kim, Vineet Bhat, Prashanth Krishnamurthy, Ramesh Karri, Farshad Khorrami
任务设定 杂乱场景下的开放词汇机器人抓取
痛点动机 现实环境杂乱,需要多步规划、执行与重新规划
解决方案 VLM 智能体编排检测、分割、抓取与推动等技能,结合历史记忆完成长程抓取
74

ChairNav: Cross-Embodiment Pre-training and Personalization for Long-Horizon Wheelchair Navigation

Junhua Huang, Zhizheng Liu, Honglin He, Xiang Zhang, Bolei Zhou
任务设定 面向电动轮椅的户外人行道长程自主导航
痛点动机 户外导航硬件昂贵,轮椅专用数据稀缺难以泛化
解决方案 三阶段数据金字塔:跨具身预训练叠加少量轮椅演示,再用用户干预个性化微调
75

Pretrained Features as Teachers, Not States: Compact Latent World Models for Visual Planning

Yanbo Wang, Nan Lin, Wendelin Böhmer, Javier Alonso-Mora
任务设定 学习紧凑潜在状态的视觉世界模型用于规划
痛点动机 纯预测目标易导致表征坍塌,直接用预训练特征又锁死状态空间
解决方案 将预训练视觉特征(DINO)仅作蒸馏教师,学习动作条件的紧凑潜在空间供规划使用
76

Time-JEPA: Grounding Video World Models with Physical Time Series

Shenyi Li, Ziyang Zhang, Wen Wu, Ming Liu, Chao Zhang
任务设定 为视频世界模型引入物理时间序列作为监督
痛点动机 现有方法领域特定或仅监督单帧,难刻画物理状态随时间演变
解决方案 用低维物理时间序列微调视频世界模型,提升在人体运动等多领域的状态预测与重建
77

SituHOI: Scalable Capture of Scene-Situated Full-Body Human-Object Interaction

Qifan Wang, Qihang Fang, Boao Shi, Yushi Du, Pei Zhou, Siyan Dong, Yanchao Yang
任务设定 场景中全身人物交互的大规模采集与运动预测基准
痛点动机 现有数据集难兼顾大规模采集与场景对齐的结构化监督
解决方案 RGB-D 采集管线结合人体网格恢复与物体跟踪,构建 FlexHOI-Bench 运动预测基准
78

REAP: Learning General Rearrangement Heuristics from Motion-Planner Feedback

Daniel Swoboda, Hector Geffner
任务设定 学习机器人物体重排任务的搜索启发式函数
痛点动机 符号抽象忽略几何可行性约束,导致规划出的动作不可执行
解决方案 用运动规划器反馈训练图神经网络启发式,大幅减少规划查询次数
79

IMPULSE: Push First, Then Predict in V-JEPA 2 Feature Space

Tingan Jin
任务设定 在 V-JEPA 2 特征空间中预测物体受扰动后的运动变化
痛点动机 单次观察难以推断物体的物理响应特性,如弹性与摩擦
解决方案 用少量试探性推动构建贝叶斯接触记忆,结合位姿编码提升特征预测精度
80

Same Space or Not: Benchmarking Spatial Intelligence Through Cross-View Contradictions

Huizi Cao, Guanyu Xu, Zhixuan Liang, Ming Yin, Jiuxiang Gu, Manling Li, Mengdi Wang, Shilong Liu
任务设定 评测模型跨视角场景一致性的空间智能基准
痛点动机 两两比较无法判断多视角中哪一个偏离了真实场景
解决方案 构建 SSoN 基准,要求模型从多视角中找出矛盾视角并解释原因
81

UMI-WM: Interactive World Modeling for Bimanual Manipulation from Wrist Cameras

Jingxiang Guo, Haoyu Zhao, Xidong Zhang, Yuhang Zheng, Hao Wu, Chen Gao, Jianshu Zhou, Shuicheng Yan, Weihao Yuan
任务设定 基于腕部相机的双臂操作交互式世界模型
痛点动机 现有模型难保持双视角一致且难跟随双臂动作
解决方案 为每条手臂注入独立动作,并用 稀疏枢纽 token 在双流间交换场景信息,实现 跨视角一致性 的双腕视频预测。
82

EgoVine: Post-Training with Branching Experience Compiled from Real-World Videos

Qinchuan Cheng, Bowen Lyu, Zhantao Gong, Angela Yao, Cheston Tan, Shijie Li
任务设定 将真实第一视角视频转化为可交互训练经验
痛点动机 真实演示缺乏替代动作和错误恢复数据
解决方案 在 符号化环境 中重放决策点,联合训练动作生成与 后果预测,实现长程规划。
83

InJePA: Intention-First Latent Planning with Coupled JEPA World Models for Visual Navigation

Siming Zhou, Bowen Ma, Ruiran Du, Pengcheng Zheng, Sheng Zheng, Dongshen Han, Zhijie Li, Wei Dong, Fan Mo, Chaoning Zhang
任务设定 基于 JEPA 世界模型的视觉导航规划
痛点动机 现有方法先生成完整动作再评估,缺乏逐步构建指导
解决方案 用 目标条件 JEPA 提出潜在意图,另一 JEPA 预测后续动作状态,形成 意图-动作-后果 闭环。