Daily Paper Feed

2026 年 11 月 10 日 星期二 · 共 70 篇相关论文 · 全部存档
1

World In-Context Learning for Agentic Robot Manipulation

Heng Fang, Zehui Guo, Yuehan Zhang, Mingyang Du, Dingkang Liang, Xiang Bai
任务设定 机器人操作任务的免训练泛化
痛点动机 单次示范难以适应新场景的视觉分布变化
解决方案 提出 World In-Context Learning ,在仿真中排练任务并将经验写入上下文记忆而非权重
2

Grasping the Future: Joint 3D Hand-Object Forecasting From Internet Videos

Rustin Soraki, Matthew Wallingford, Ryan Aby, Brandon Chee, Jason Ren, Ali Farhadi, Homanga Bharadhwaj, Roozbeh Mottaghi
任务设定 从网络视频中预测 3D 手物交互动作
痛点动机 网络视频缺乏 3D 监督,难以学习交互预测
解决方案 通过掩码补全和 flow matching 联合预测手物运动,并加入接触约束保持抓握关系
3

SWAM: Scaling World Action Models with Cross-Modal Alignment

Yu Zhou, Xinyuan Xia, Xuankun Yang, Yinghao Yang, Wendi Chen, Bowen Liu, Jianhan Ma, Weicheng Duan, Jun Lv, Cewu Lu, Yanwei Li
任务设定 研究世界动作模型训练中的语言-视频对齐问题
痛点动机 引入动作学习易破坏预训练语言-视觉对齐
解决方案 系统研究数据配比,混合第一视角视频与 UMI 示范提升控制泛化能力
4

$Σ$-LeWM: Learning World Models via S-Information for Robot Control

Xinrui Zu, Michael Przystupa, Zhao Yang, Shujian Yu, Kevin Sebastian Luck
任务设定 学习世界模型用于机器人操控与运动规划
痛点动机 无解码器的潜空间世界模型缺乏足够结构约束
解决方案 在 LeWorldModel 基础上加入反向动力学与逆动力学预测器,提升性能和规划效率
5

Library of Hands: Fix the Hands, Not the World Model

Hasaan Ahmad, Qizhen Ying, Yuxuan Sun, Tianjin Huang, Guangming Wang
任务设定 修正世界模型在相机或控制器变化后失效的问题
痛点动机 重新训练模型代价高,且无法记住曾见过的旧配置
解决方案 提出免训练的 Library of Hands ,冻结世界模型,只通过图像变化读取并修正命令到动作的映射
6

WanderBench: Can World Models Explore Dynamic Worlds from Video?

Yuhang Chen, Jiheng Li, Jiale Wang, Zai Wang, Guangyue Liu
任务设定 评测视频世界模型探索动态场景的一致性
痛点动机 现有基准不评估重访场景时的场景一致性
解决方案 提出 WanderBench 基准,并用 WanderLand 以源帧/历史帧条件提升一致性
7

PhysOPSD: Code as Privilege for Physically Plausible Video Generation

Harold Haodong Chen, Rui Peng, Lingteng Qiu, Kejie Qiu, Chao Xu, Zilong Dong
任务设定 让视频生成模型学会物理合理的动态与交互
痛点动机 SFT 易状态错配, RL 的物理奖励稀疏难设计
解决方案 用可执行代码作为特权物理上下文,结合在线自蒸馏优化生成过程
8

Bridging Task Planning and Execution for Language-Conditioned Bimanual Manipulation

Emanuele Cuzzocrea, Giuseppina Iannotti, Luca Rossini, Arturo Laurenzi, Nikos Tsagarakis
任务设定 双臂人形机器人按语言指令完成操作任务
痛点动机 双臂协调带来额外运动学约束与执行可行性难题
解决方案 零样本视觉语言框架,用结构化场景表示和分层验证器联合规划与容错执行
9

QCC-WM: Linking Macro-State Dynamics and Visual Generation via Quotient Causal Construction

Zhizhong Fu, Wei Zhou, Zhaoyang Jiang, Yudong Lin, Songlun Li, Zhi Li, Feifan Chen, Gaoming Li, Xiaorong Ding, Yifan Chen
任务设定 动作条件下的视频世界模型预测任务
痛点动机 宏状态预测结果易与生成视觉不一致
解决方案 提出商因果构建,用共享商测量约束宏节点预测,误差回传修正生成视觉
10

UniOMA: Unified Optimal-Transport Multi-Modal Structural Alignment for Robot Perception

Xinrui Zu, Mark Hoogendoorn, Kevin Sebastian Luck, Shujian Yu
任务设定 机器人力觉、触觉等多模态表征对齐
痛点动机 现有对比对齐方法忽略跨模态结构一致性
解决方案 引入 Gromov-Wasserstein 正则,结合对比损失对齐模态几何结构
11

How Many Exposures Does a World Model Need? Learning Unseen Game Mechanics at Test Time

Ku Onoda, Haruto Kawano, Shota Takashiro, Kohei Hayashi
任务设定 世界模型在测试时学习新游戏机制
痛点动机 陌生环境规则需靠少量交互快速掌握
解决方案 构建 MechEval 基准与 WARC 模型,测试时持续更新参数学习未知机制
12

Be My Eye: Learning to See Beyond a Robot's Own Perspective

Baifu Huang, Shilin Fang, Jianan Wang
任务设定 多机器人协作中的信息共享与决策
痛点动机 单机观测局部受限,需共享他机关键信息
解决方案 按任务目标压缩上下文表征,接入 VLA 策略实现双向信息交换
13

VLA-MOPD: On-Policy Distillation for Multi-Task VLA Policy Consolidation

Yongxuan Lv, Zhen Fang, Lichen Man, Hao Li, Pu Li, Hengyi Wang, Langfeng Cao, Lin Chen, Jie Huang, Xiu Su, Shan You, Fei Wang, Feng Zhao
任务设定 整合多个任务专用的 VLA 策略为统一模型
痛点动机 离线蒸馏覆盖不全,稀疏奖励难监督中间状态
解决方案 提出在线策略蒸馏,学生在教师指导下匹配 ODE 中间动作状态
14

A forensic evaluation framework for egocentric foundation models: an EFM3D case study for crime scene reconstruction

Davidson Chisom Onwubiko, Shahana Bano, Carlos Francisco Moreno-García
任务设定 评估自我中心基础模型在犯罪现场 3D 重建中的适用性
痛点动机 现有基础模型缺乏法医场景重建的系统评测标准
解决方案 提出法医评测框架,用 EFM3D 对室内场景做网格重建与语义理解分析
15

RAIL: Representation-Aligned Imitation Learning for Student-Compatible Teacher Policies

Meraj Mammadov, Pedro Zuidberg Dos Martires, Johannes Andreas Stork
任务设定 教师-学生策略蒸馏中的模仿鸿沟问题
痛点动机 教师依赖特权信息,学生从原始观测难以精确模仿
解决方案 用对比学习构建师生共享潜在空间,让教师在该空间内训练
16

Learning to Act with World Models by Valuing What Comes Next

Chenghao Gao, Zhi Zhang, Dian Jin, Yihe Pan, Doudou Zhou
任务设定 稀疏终端奖励下的智能体强化学习训练
痛点动机 终端奖励信息少,难以反映每步转移对成功的影响
解决方案 用世界模型预测后续观测,评论家为预测结果打分形成辅助优势
17

Embodied First Exam

Kangrui Wang, Qineng Wang, Changhe Chen, Pingyue Zhang, Chi Gui, Feishi Wang, Canyu Chen, Wenli Xiao, Xiaoyu Huang, Tonghe Zhang, Linjie Li, Zihan Wang, Minyeong Kim, Yiyou Sun, Mingkai Deng, Jinyu Hou, Qi Zhu, Han Liu, Eric P. Xing, Huaxiu Yao, Zhiwen Fan, Yuejiang Liu, Dawn Song, Pieter Abbeel, Li Fei-Fei, Jiajun Wu, Yuke Zhu, Guanya Shi, Ruohan Zhang, Manling Li
任务设定 评测编程智能体直接控制真实机器人完成具身任务
痛点动机 现有基准聚焦视觉运动策略学习,难验证编程范式的控制能力
解决方案 构建含 1156 个任务、47 种机器人的统一评测体系,对比多种控制方式
18

GeoMind: A Benchmark for Spatial Understanding in Robotic Manipulation

Jinghe Wang, Xinrui Cao, Duo Wu, Chenghao Gu, Yong Zhong, Linjia Kang, Tianyi Xiong, Zhi Wang
任务设定 评测机器人操作中的空间推理与空间记忆能力
痛点动机 现有基准视觉线索过强、场景静态,难反映真实空间理解
解决方案 构建 54 种桌面操作任务及自动标注流程,覆盖空间推理与记忆场景
19

EgoLabel: Zero-Shot Egocentric Auto-Labeling with Cross-Modal Consistency

Xiaozhi Zhang, Changjia Xu, Yaoyuan Yan, Haoxiang Jie, Bingjie Fu
任务设定 第一视角视频零样本自动标注深度与手部姿态
痛点动机 多个现成模型的预测各自合理但跨模态几何不一致
解决方案 融合 MonST3R、SAM2 等现成模型,提供显式跨模态配准与一致性诊断
20

LHNav: Long-Horizon Humanoid Navigation via Multirate Coordination and Physics-Grounded Action Data

Xueyang Wang, Zehong Shen, Dingkun Wei, Huaijin Pi, Changpeng Wang, Xing Zhu, Hujun Bao, Yujun Shen, Xiaowei Zhou
任务设定 长指令下人形机器人多目标点导航
痛点动机 现有方法难兼顾任务进度跟踪与自然全身运动
解决方案 提出 Brain-Cerebellum-Brainstem 三层异步架构,配合物理驱动数据引擎生成动作数据
21

SPARK: Simple Post-training for Adapting pRetrained Knowledge to Robot Control

Taekyung Kim, Jeongeun Park, Byeongho Heo, Sungjoon Choi, Sangdoo Yun, Dongyoon Han
任务设定 将预训练视觉基础模型适配到机器人控制任务
痛点动机 通用视觉特征偏重语义,缺乏时序敏感的控制表征
解决方案 用时序抽象和知识保留两个目标对基础模型做轻量后训练
22

Compass 1: Towards Open-World and Persistent Embodied Navigation from Monocular RGB Videos

Hai Zhang, Siqi Liang, Yanjun Guo, Shoufeng Zhang, Yunhao Wang, Hangyu Du, Haoguang Mai, Hongchen Li, Jiazhi Yang, Jialong Zeng, Yu Hu, Chen Chen, Gangcheng Jiang, Zishun Zhuo, Lirui Zhao, Zhigang Li, Yu Qiao, Zhenjie Yang, Fu Zhang, Hongyang Li
任务设定 开放世界下持久化具身导航任务
痛点动机 现有导航模型仅能维持短时记忆,长时序执行不稳定
解决方案 构建历史表征图融合稀疏关键帧,结合结构化 VQA 监督实现地图推理式长时导航
23

SAFE-Hair: Scalp-Anchored Fields for Exportable Single-View Hair Reconstruction

Yucheng Wang, Zedong Wang, Yuetong Wu, Yue Ma, Dan Xu
任务设定 单视角肖像重建可导出的 3D 发丝资产
痛点动机 现有方法只追求视觉效果,难以直接用于毛发编辑/模拟流程
解决方案 在头皮 UV 场上用条件 Rectified Flow 解码锚定于毛囊的发丝几何,支持直接导出
24

Grasp-Taxonomy Conditioning as a Mode Switch for Dexterous Grasping of Climbing Holds

Rumi Loghmani, Abraham George, Amir Barati Farimani
任务设定 机械臂灵巧手对攀岩岩点的抓取任务
痛点动机 点云编码器难区分不同岩点形状,抓取方式易选错导致滑脱
解决方案 提出 BetaGrasp ,用抓取分类标签条件化 3D 扩散策略,充当抓取模式切换开关
25

HIST3R: Decomposing and Rectifying State Updates with History for Streaming 3D Reconstruction

Kenneth Yang, Yu-Chiang Frank Wang
任务设定 流式 3D 场景重建与相机位姿、深度估计
痛点动机 递归状态更新易被不可靠观测覆盖,导致长序列几何漂移
解决方案 提出 HIST3R,基于历史信息做方向-幅度分解,修正更新方向并抑制冗余幅度
26

Thermo-VLA: A Thermal-Aware Vision-Language-Action Model with Gated Residual Modulation for Robotic Manipulation

Jingxuan Chen, Junshi Luo, Chencheng Dong, Xiaojian Nie, Tongge Huang, Qiang Huang
任务设定 融合热成像的视觉-语言-动作模型机器人操作
痛点动机 现有方法把热图像当普通视觉输入,缺乏温度关系推理
解决方案 提出 ThermoRes 编码器,拆分冷热属性并经语言条件残差调制注入 RGB 特征
27

3R-Adapter: Retrieval, Rewiring, and Refinement for Efficient Adaptation of 3D Reconstruction Model

Zixiang Ai, Zhenyu Cui, Xu Zou, Jiahuan Zhou
任务设定 长尾场景(含人-场景联合重建)下 3D 重建模型的高效适配
痛点动机 现有 PEFT 只调通道特征,无法修复跨视图对应关系坍塌问题
解决方案 提出 3R-Adapter,通过可变形检索、关系重连和一致性精炼恢复跨视图对应
28

An Evaluation of Tabular Foundation Models as Training-Free World Models

Xian Yeow Lee, Ryoichi Takase, Ahmed Farahat
任务设定 探索表格基础模型能否免训练预测动力学世界模型
痛点动机 传统世界模型需针对任务做大量交互数据训练,成本高
解决方案 将下一状态预测转为上下文回归,在机器人运动等基准上验证免训练预测效果
29

LO-World: Unified BEV Latent Modeling for Joint 4D Occupancy and LiDAR Forecasting

Zhimin Liao, Ping Wei, Kai Mao, Shuaijia Chen
任务设定 联合预测 4D 语义占据与 LiDAR 点云的未来演化
痛点动机 现有世界模型分别预测两种模态,缺乏相互校正
解决方案 提出统一 BEV 隐空间建模,结合流匹配生成器实现双模态联合预测
30

Distilling Instructions into Weights: Closed-Form Edits Fix a Robot Policy's Misreading

Ali-Adeeb Abbas, Esmaeil Seraj
任务设定 修复 VLA 机器人策略对指令指代理解错误的失败
痛点动机 通用策略常在单一步骤误读指令,如绑定错误物体
解决方案 提出闭式指令蒸馏,将改写指令的效果直接写入 MLP 权重,无需梯度或训练数据
31

How Many Candidates Does a One-Step World Model Need? A Random-Codebook Account of Nearest-of-m Training on Frozen DINO Tokens

Yong Hwi Song, Keon Myung Lee
任务设定 研究单步世界模型所需候选预测数量 m 的选择
痛点动机 扩散/流匹配类世界模型推理慢,需更高效的采样策略
解决方案 基于冻结 DINO token,用随机码本理论分析 nearest-of-m 匹配目标确定最优 m
32

Decoupled Asynchronous System for Humanoids (DASH): Latency-Agnostic Scaling of Vision-Language-Action Models for Humanoid Manipulation

Bingzhang Wang, Nathan Zhao, Jialeng Ni, Jiajin Zheng, Yin Zhang, Kehua Chen, Jian Yao
任务设定 解决 VLA 模型在人形灵巧操作中的控制延迟问题
痛点动机 大型视觉语言骨干计算慢,动作基于过时观测影响反应速度
解决方案 将策略拆分为慢速 VLM 与快速流匹配动作头异步并行运行,控制频率只由动作头决定
33

ACROSSVAM3.0: Resource-Bounded 4D Scene Construction and Adaptive Surface Association

Nan Wu, Hong Yee Hung
任务设定 资源受限下文本/图像/视频的 4D 场景重建
痛点动机 长程点跟踪与重建一致性难以兼顾
解决方案 融合视频生成、动态重建与单目 SLAM ,提出多假设自适应表面关联提升跟踪覆盖率
34

HolidayFactory 1.0: Simulating, Generating, and Evaluating Industrial Robot Tasks

Holiday Robotics: Jeongmin Lee, Taehyeon Kim, Dohyun Jang, Minji Lee, Seonghun Oh, Dongwoo Park, Geonhyup Lee, Jaehyung Kim, Jaemin Yoon, Jinseop Bok, Jungwoo Kim, Minseok Yang, Philsik Chang, Soomin Lee
任务设定 模拟与评估持续运行的工业机器人作业
痛点动机 现有评测多从重置状态开始,难以反映真实连续作业
解决方案 构建接触力学仿真与智能体化场景生成,提出 24/7-BENCH 持续作业评测基准
35

Feel My Focus: Gaze-Triggered Digital Twin Creation for Remote Collaboration

Shih-Yu Ma, Suibi Che-Chuan Weng, Ming-Yuan Pai, Tom Yeh, Ellen Yi-Luen Do
任务设定 注视触发的远程协作数字孪生生成
痛点动机 远程协作中难以快速共享真实物体的轻量 3D 模型
解决方案 用注视追踪眼镜捕捉持续注视,单图分割并单样本 3D 重建后在 MR 中展示
36

Kimodo-Policy: Learning Kinematic Action Models for Humanoid Loco-Manipulation

Yunheng Wang, Jiaxi Zhang, Wei Lu, Yuetong Fang, Taowen Wang, Yixiao Feng, Shuning Zhang, Junzhe Xu, Yichi Wang, Zizhao Yuan, Kailun Huang, Lusong Li, Mingqian Zhou, Zecui Zeng, Renjing Xu
任务设定 人形机器人全身移动操作(loco-manipulation)的动作生成
痛点动机 VLA 模型的语义/视觉先验难以刻画真实运动结构
解决方案 提出运动学动作模型,用预训练文本生成动作骨干加轻量 ControlNet 视觉条件做策略
37

K-PWM: Control-Oriented Structured Bilinear World Models under Partial Observation

Santosh Mohan Rajkumar, Sriram Narayanan, Samuel E. Otto, Debdipta Goswami
任务设定 部分可观测系统下学习世界模型用于预测与控制
痛点动机 真实系统常只有含噪向量观测,隐藏状态难以恢复
解决方案 用 Koopman 双线性隐动态结合扩展卡尔曼滤波做概率推断,支持 MPPI 控制
38

InfCoiL: Coordinated Planner-Controller Learning for Closed-Loop Physics-Based Human-Object Interaction

Yude Zou, Yifei Yao, Yiwei Hao, Hanqing Wang, Xing Gao
任务设定 文本/目标驱动的物理仿真人-物交互动作生成
痛点动机 现有规划-控制系统是开环或规划器固定,执行反馈无法反哺规划
解决方案 流匹配规划器与统一控制器闭环协同训练,用 SFPO 强化学习联合优化
39

Detecting Common Golfing Faults Using AI and Video-Derived Biomechanical Features

Oliver Martin, Jeff Clark, Nawid Keshtmand
任务设定 从手机视频检测高尔夫挥杆技术动作错误
痛点动机 实验室外的挥杆技术评估依赖教练肉眼判断,缺乏客观量化
解决方案 跟踪人体姿态与杆头轨迹提取生物力学特征,用轻量决策树分类
40

Review the Episodes, Refine the Lessons: Simple Memory Evolution for Embodied Agents

Yifei Yao, Yude Zou, Xing Gao, Guanbo Jiao, Yukai Wang, Jianming Ma, Weinan Zhang, Chunhua Shen
任务设定 探索具身智能体仅靠文本记忆自我提升的能力上限
痛点动机 现有方法依赖额外训练策略, MLLM 自身潜力未被充分验证
解决方案 让 MLLM 从单次示范写任务记忆,训练中逐集精炼工作记忆,测试时固定复用
41

ForeAct: Geometry-Guided Action Learning from World Representations

Wei Lu, Jiaxi Zhang, Yunheng Wang, Taowen Wang, Yuetong Fang, Zhenhui Zhang, Shuning Zhang, Zizhao Yuan, Yixiao Feng, Zecui Zeng, Renjing Xu
任务设定 机器人操作中几何与交互动态的统一表征学习
痛点动机 现有世界动作模型依赖迭代扩散推理,计算量大且缺乏显式空间结构
解决方案 复用预训练视频世界模型单次前向推理,用深度监督的可学习标记注入几何先验
42

Off-Policy RL with Online Inference Tuning: My Solution to the CoRL 2026 RoboEval Challenge

Ilia Larchenko
任务设定 CoRL 2026 RoboEval 双臂机器人操作挑战赛方案
痛点动机 评测不仅看成功率,还要求安全高效的双臂协同执行过程
解决方案 基于 π0.5 策略做离策略强化学习并自带价值函数,结合 AWR/RECAP 与失败恢复数据训练
43

DynOLAT: OLAT Video Prediction for Controllable Dynamic Full-Body Relighting

Taoming Liu, Yinji ShenTu, Guangzhao He, Yudong Jin, Yukang Ye, Siyu Zhang, Fan Jia, Wei Hua, Hujun Bao, Xiaowei Zhou
任务设定 面向动态全身人体的可控重打光任务
痛点动机 现有方法光照响应不精确,阴影高光方向/强度易失真
解决方案 提出 DynOLAT ,预测 OLAT 基础视频再按环境图线性组合实现精确重打光,并构建大规模动态全身数据集
44

From Game Generation to Game Playing: Fully Automated Ability Training for Vision-Language-Action Models

Changran Liu, Qi Wu, Wenchao Ma, Sharon X. Huang, Haomiao Jiang
任务设定 自动生成游戏环境与示范数据,训练 VLA 模型玩游戏
痛点动机 真人游戏示范采集成本高,难以覆盖多种游戏
解决方案 LLM 搭建游戏环境并用程序化专家生成示范,行为克隆训练 4B VLA 跨游戏引擎泛化
45

HARP-Bench: Benchmarking Robot Manipulation Around Active Humans

Qinhong Zhou, Riley Zong, Chunru Lin, Diyi Hu, Shivraj Singh Bhatti, Hongxin Zhang, Lin Qiu, Hanqing Zeng, Chuang Gan
任务设定 评估人类共存场景下机器人操纵策略的基准
痛点动机 现有基准假设机器人是唯一主体,忽略人类对任务的影响
解决方案 提出 HARP-Bench,按提示、贡献、打断、共处四类人类交互评测 VLA 等策略
46

MySign: A High-Fidelity Motion-Capture Dataset for 3D Sign Generation in Bahasa Isyarat Malaysia

Jiayu Shen, Kalin Stefanov, Lay-Ki Soon, Vee Yee Chong, Alpha Agape Gopalai, KokSheik Wong
任务设定 面向马来西亚手语的 3D 手语生成动作捕捉数据集
痛点动机 现有数据集依赖视频回归 SMPL-X 伪标签,手指姿态不准
解决方案 动作捕捉获取高精度 SMPL-X 真值序列,构建词汇条件手语生成基准
47

Does Pose Encoding Matter? Analyzing Geometric Representations for Discrete Motion Vocabulary Learning

Amir Kimiyaie, Nahal Mafi, Hamed Tabkhi
任务设定 研究姿态编码对离散运动词表学习的影响
痛点动机 不同编码的潜空间几何影响 VQ 离散化效率尚不明确
解决方案 比较热图、关节位置、6D 旋转等编码,训练 VQ-VAE 分析编码本利用率
48

Zero-Shot VLA Adaptation with Retrieved Guidance

Subin Kim, Anh-Quan Pham, Dinesh Jayaraman
任务设定 让预训练 VLA 模型零样本适配新机器人操作场景
痛点动机 视角、背景、物体或机体微小变化就使 VLA 性能骤降
解决方案 提出 RAGu ,用几何校正与检索增强从跨域示范中引导 flow-matching 推理,无需重训练
49

WARP-JEPA: World-Model-in-the-Loop Amortized Rollout Planning for Frozen Hierarchical Joint-Embedding Predictive Architectures

Junjie Li, Zhaojiacheng Zhou, Kaixiang Wang, Zihan Wang, QingSong Zhao, Jiong Lou, Jie Li
任务设定 基于冻结 H-JEPA 世界模型的长时域视觉控制规划
痛点动机 测试时梯度优化规划耗时占比高达 97.7%,效率低
解决方案 训练分摊式轨迹提议器替代在线梯度优化,分层选择候选动作
50

WorldFoundry: Towards Unified Infrastructure for World Intelligence

Juanxi Tian, Jiadong Hou, Baiang Li, Xin Lin, Zhengbo Jiao, Weijia Zhang, Yeying Jin, Truong Nguyen, Haitian Zheng, Zhifei Zhang, Jianfei Yang, Ming-Hsuan Yang, Felix Heide, Wei Xiong, Enze Xie, Wanhua Li
任务设定 构建世界模型的统一基础设施与评测体系
痛点动机 视觉生成模型缺乏持久状态与因果动态,评测标准分散
解决方案 提出 WorldFoundry ,统一视频/3D/4D/具身动作等世界模型的基准与评测
51

Look Ahead: Search-Driven Reasoning in Embodied AI

Ahmed Zeer, Osama Shbib, Muzaffer Kaan Yuce, Himmet Toprak Kesgin, Mehmet Fatih Amasyali
任务设定 面向具身智能策略的测试时搜索式规划
痛点动机 动作分块策略缺乏候选评估,盲目执行易失败
解决方案 用束搜索生成候选轨迹,并提出 One Step Ahead 门控按需触发搜索
52

Unified Framework with Convex-Concave Decomposition and Sparse Topological Learning for Skeleton-Based Clinical Assessment

Quang-Anh N. D., Duc Pham Minh, Minh-Anh Nguyen, Hien Quang Kha, Manh Hung Ha, Minhhuy Le, Oscal Tzyh-Chiang Chen
任务设定 基于骨骼数据的康复运动临床评估
痛点动机 固定拓扑和统一关节处理难以建模代偿性异常动作
解决方案 提出 CC2-STG ,用凹凸几何分解结合稀疏拓扑图卷积网络建模运动
53

Task-Critical Part Alignment Improves Imitation of Object Interactions

Denis Hadjivelichkov, Sebastian Ægidius, Valerio Modugno, Dimitrios Kanoulas
任务设定 机器人模仿学习中物体间交互的姿态对齐
痛点动机 深度噪声和误匹配影响演示向真实场景的迁移精度
解决方案 用 RANSAC 剔除异常点,聚焦任务相关区域做语义对应,成功率提升 13.8%
54

Dynamics-Informed Action Learning for Goal-Conditioned Latent Planning

Yinuo Jiang, Guangzhi Wang, Yiran Wang, Junfu Pu, Cheng Cheng, Honghao Chen, Cheng Cheng, Ying Shan
任务设定 基于潜在世界模型的目标导向视觉控制规划
痛点动机 训练方式与规划时自回归推理脱节,动作搜索初始化与目标无关
解决方案 联合训练逆动力学头与前向模型,推断动作序列初始化 CEM 搜索
55

Latent-WAM++: Shaping World and Action Representations for End-to-End Autonomous Driving

Yichen Zhang, Yupeng Zheng, Linbo Wang, Pengxuan Yang, Zebin Xing, Junli Wang, Shiwei Li, Kangwei Liu, Fan Ren, Qichao Zhang, Yifeng Pan, Ji Tao, Dongbin Zhao
任务设定 面向端到端自动驾驶的世界-动作模型表征学习
痛点动机 现有 WAM 仅约束最终预测,中间世界/动作表征缺乏针对性监督
解决方案 分任务塑造世界表征与 MeanFlow 一步采样轨迹规划器,并对齐视觉-动作特征,训练成本降低 88%
56

ZARA: Zero-shot Animatable and Relightable 3D Avatar reconstruction from a single image

Yixiao Chen, Dongdong Weng, Chengfeng Zhao, Tao Gong, Zhihe Zhao, Zhe Zhu, Yue Liu, Yuan Liu
任务设定 单张图像零样本重建可驱动、可重新打光的 3D 人体 avatar
痛点动机 现有重建方法外观与光照耦合无法重打光,而可重打光方法需逐人优化
解决方案 结合预训练人体重建模型与 Material Transformer 学习材质感知 3D 高斯表征,并用高斯对齐特征融合保留细节
57

HSGNav: Hypothesis Scene Graphs for Multi-Scale Lifelong Navigation under Object Relocation

Kaiyao Liao, Qingfeng Li, Chen Chen, Qing Sun, Ningbo Gu, Xiaoze Wu, Haochen Zhao, Ying Li, Jianwei Niu
任务设定 面向物体可能被移动的家庭场景终身导航
痛点动机 小物体检测易过时,现有方法缺乏状态校验机制
解决方案 提出假设场景图区分稳定家具与可修正物体假设,支持多尺度检索与验证
58

Action Transfer Across Character Body Plans in Latent-Action World Models: An Empirical Study of Animated Characters

Amarnath R
任务设定 研究潜在动作世界模型学到的动作能否跨角色体型迁移
痛点动机 传统迁移评分混淆了动作与镜头运动,难以衡量真实迁移能力
解决方案 提出新的迁移评分剥离镜头运动影响,在多体型卡通角色数据集上系统评测多种训练目标
59

SRA: Spatial Reasoning Adapter via Evolving Social Interaction Graphs for Trajectory Prediction

Jaewoo Jeong, Seonkyu Song, Hyeonwoo Park, Jegyeong Cho, Yujin Bae, Giwon Lee, Daehee Park, Kuk-Jin Yoon
任务设定 多智能体轨迹预测中建模演化中的交互关系
痛点动机 现有扩散/流匹配预测器交互关系固定不变,无法随生成过程更新
解决方案 提出空间推理适配器,在反向扩散每步构建稀疏交互图并反馈残差修正,兼容多种生成式预测器
60

S2HAND: Accuracy-Preservation Trade-Offs for Hand Specialization in Whole-Body Pose Models

Singyu Muk, Xuanren Song, Kalin Stefanov
任务设定 统一全身姿态估计中手部关键点精度不足
痛点动机 外接手部专家模型带来检测开销与腕部拼接误差
解决方案 提出 S2HAND ,微调少量 Transformer 模块提升手部精度,同时保留全身关键点接口
61

Tiresias: Towards Language-Conditioned World Models

Fengyi Wu, Yifei Dong, Yetong Sha, Lingdong Kong, Qiyu Hu, Bohan Xiong, Qi Dai, Alexander G. Hauptmann, Zhi-Qi Cheng
任务设定 语言指令到动作序列的世界模型统一基准
痛点动机 语言条件世界模型在各领域间碎片化、难以统一评测
解决方案 设计 Tiresias :扩散策略生成候选轨迹,用视频世界模型想象结果后排序选优
62

RefineSplat: Reconstruction-Guided Object-Centric Gaussian Splatting for Open-Vocabulary Querying

Yiren Lu, Disheng Liu, Sreya Srinidhi, Yunlai Zhou, Yiran Qiao, Chaoda Song, Tuo Liang, Jing Ma, Huan Wang, Yu Yin
任务设定 开放词汇 3D 场景物体分割与检索
痛点动机 先重建后分割存在视角不一致、物体边界模糊问题
解决方案 提出 RefineSplat ,先 2D 跟踪物体再重建专属高斯,并用渲染掩码反馈优化跟踪
63

CPNav: Calibrated Vision-Language Navigation for Object-Goal Search in Unseen Environments

Qizhao Chen, Yuanhong Zeng, Shoh Nishino, Anushri Dixit
任务设定 未知环境中基于视觉语言模型的物体目标导航
痛点动机 VLM 导航动作决策常过度自信,缺乏统计保证
解决方案 用 保形预测 校准 VLM 动作打分,结合无地图避障规划和树状回溯探索选动作
64

OfficeTwin: Realizing 3D Reconstruction of Redundant Scenes through Partial Viewpoint Perception

Quanyun Wu, Kyle Gao, Daisy Li, Kshitij Goyal, Dayou Mao, David A. Clausi, Jonathan Li, Yuhao Chen
任务设定 机器人视角下办公室场景的 3D 重建与数字孪生生成
痛点动机 局部视角和重复工位易导致几何幻觉与实例混淆
解决方案 利用结构冗余,将重复工位配准到共享坐标系恢复完整几何
65

Improving the Diffusability of Motion Tokenizer

Guanhe Huang, Songqiao Han, Tangzheng Lian, Oya Celiktutan
任务设定 文本驱动的人体动作生成任务
痛点动机 分词器容量增大只提升重建质量,生成质量未同步提升
解决方案 提出 DiMoT,用谱适应抑制高频噪声,配一步式解码保留动态细节
66

WorldMind: Test-Time Scaling for Visual Spatial Reasoning through Latent World Simulation

Haoming Wang, Yongjian Fu, Ju Ren, Wei Gao
任务设定 视觉语言模型的空间推理(视角变换类任务)
痛点动机 现有方法依赖像素图像模拟,存在隐变量-像素转换瓶颈
解决方案 让世界模型在潜空间直接模拟空间变换,结合强化学习优化推理
67

BATCH: Behavior Alignment for Cross-Embodiment Learning from Humans

Zeyi Liu, Shuran Song
任务设定 从人类演示学习跨本体机器人操作策略
痛点动机 人与机器人在本体、视角、动作空间上差异大,难以直接迁移
解决方案 用循环一致性建立跨本体对应,结合视频-动作扩散模型做行为对齐与风格迁移
68

UniLatent: Cross-Embodiment Transfer via Latent Observation Alignment

Yufei Ding, Yi Du, Weiduo Yuan, Hao Jiang, Dylan Goetting, Lawrence Yunliang Chen, Daniel Seita, Yue Wang
任务设定 研究机器人操作策略的跨具身迁移问题
痛点动机 机器人数据采集成本高,且难以在不同本体间复用
解决方案 构建共享潜空间,将源机器人编码器对齐到目标编码器,无需像素级图像转换即可零样本迁移策略
69

From Video to Digital Twin: An Exploratory Study of World Models and Gaussian Splatting on In-the-Wild Video

Somesh Mohapatra
任务设定 探索用世界模型和高斯溅射把真实视频建成数字孪生
痛点动机 现有研究缺乏对未经处理真实视频场景的实测分析
解决方案 用商业世界模型从少量帧恢复相机位姿与深度,融合成 3D 高斯溅射重建场景几何
70

How Many Demonstrations Does a VLA Need? On the Sample Efficiency of VLA Finetuning

Rahul Chand, Miguel Villa Floran
任务设定 研究 VLA 模型微调到新场景所需的演示数量
痛点动机 仅比较全量微调效果掩盖了真实适应效率差异
解决方案 在六种 VLA 模型、四个 LIBERO 任务上系统评估不同演示量和训练步数,发现π0.5 样本效率最高