Daily Paper Feed

2026 年 10 月 01 日 星期四 · 共 61 篇相关论文 · 全部存档
1

Physis-Lang: Self-Evolving Language as a Physical Representation for Video World Model

Liming Lu, Xianzheng Ma, Wenkun He, Guanqi Zhan, Yilin Zhao, Junyu Chen, Mengyao Xu, Jiaojiao Fan, Wenhang Ge, Yuchao Gu, Yunze Liu, Boyi Li, Zhen Dong, Victor Prisacariu, Ming-Yu Liu, Song Han, Han Cai
任务设定 用自演化物理语言增强视频世界模型的物理合理性
痛点动机 现有方法认为语言难以表征物理知识
解决方案 提出 Physis-Lang 框架,用基准迭代修正物理描述并检索补全缺失场景
2

AssemblyWorld: Rethinking 3D Assembly with General-Purpose Agents

Jiahao Zhang, Yeying Fan, Moitreya Chatterjee, Suhas Lohit, Bernhard Egger, Tim K. Marks, Anoop Cherian, Stephen Gould
任务设定 测试通用智能体能否通过视觉交互完成 3D 零件装配
痛点动机 缺乏评估智能体空间推理与精确装配能力的环境
解决方案 构建 AssemblyWorld 交互环境及 AssemblyWorldBench 基准评估装配能力
3

Ego4WAM: What Matters When Scaling Egocentric Human Data for Robot Learning?

Zhihao Sun, Liu Liu, Xinjiang Wang, Haoyi Jiang, Wei Feng, Huiqiang Zhang, Xiaosong Jia, Zhizhong Su, Zuxuan Wu
任务设定 研究第一视角人类数据如何提升机器人学习效果
痛点动机 现有工作不清楚哪些数据属性真正驱动性能提升
解决方案 统一 world-action model 框架下拆解人机对齐、数据多样性等因素作用
4

WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents

Ziyan Jiang, Jingbo Yang, Jiabao Ji, Yujian Liu, Qiucheng Wu, Tommi Jaakkola, Yang Zhang, Shiyu Chang
任务设定 评测多模态智能体在 3D 虚拟世界中自动发现异常
痛点动机 3D 世界审核需结合导航探索与视觉推理两种能力
解决方案 构建 WorldAuditBench 基准,对比 VLA 探索+VLM 识别 两种审核范式
5

DynaHarness: A Dynamic Physical Harness for Self-Evolving Robot Agents

Haoyuan Deng, Jiebin Liu, Tengxiao Zhang, Langning Yan, Hongye Cao, Ziwei Wang
任务设定 让机器人智能体在长时序操作中自我进化能力库
痛点动机 语义推理与物理执行的时间尺度不匹配导致失败难溯源
解决方案 提出 DynaHarness 动态物理 harness ,用快慢双脑耦合执行并依据失败证据修订能力
6

LOCI: Spatial Linear Memory for Streaming World Models

Ji Xia, Tingting Liao, Xuezhi Liang, Hao Li, Guangyi Liu
任务设定 流式视频世界模型中还原已访问过的场景
痛点动机 长视频记忆要么丢细节,要么检索易出错
解决方案 融合 KV 缓存与基于相机几何的循环线性记忆,兼顾细节与效率
7

Learning Skills from Historical Action Trajectories: Action Experience Dictionary for World Action Models

Qi Lyu, Jiahua Dong, Hao Shen, Xudong Wang, Hongyuan Yu, Baichen Liu, Henghui Ding, Zhi Han, Nicu Sebe, Ivan Laptev, Fahad Shahbaz Khan, Salman Khan
任务设定 世界动作模型中跨任务复用操作技能
痛点动机 现有模型难复用历史动作,且易被背景干扰
解决方案 构建动作经验词典,检索历史动作嵌入指导预测
8

MemLife: Curating and Reasoning over Long-Term Egocentric Video Memories

Guangzhi Xiong, Xinyuan Zhang, Xiao Yang, Hyokun Yun, Kai Zhang, Shiun-Zu Kuo, Hyeonjeong Ha, Xilun Chen, Kai Sun, Lucas Liang, Guangqiang Dong, Ejaz Ahmed, Ahmed A Aly, Anuj Kumar, Raffay Hamid, Aidong Zhang, Xin Luna Dong
任务设定 基于长期第一视角视频构建个性化记忆助手
痛点动机 视频史太长,全量重处理成本高且检索易失效
解决方案 构建实体锚定的文本记忆,用时间索引检索器读取,并以 RL 优化写入质量
9

PrefPI: Preference-Guided Steering into Out-of-Distribution Behaviors

Seungeun Rho, Wontaek Kim, Danfei Xu, Sehoon Ha
任务设定 用偏好引导机器人策略学习分布外新行为
痛点动机 传统偏好学习只能强化已有行为,难拓展新动作
解决方案 将偏好建模为条件生成,结合无分类器引导迭代优化扩散/VLA 策略
10

Game-Guided Skill Discovery through Self-Play for Playable Agent Control

Seungeun Rho, Jeonghwan Kim, Xue Bin Peng, Sehoon Ha
任务设定 通过游戏自对弈发现可供人类操控的技能
痛点动机 现有无监督技能发现难兼顾可区分性与可解释性
解决方案 用分层自对弈训练离散技能,人类可直接复用组合控制,在 Unitree G1 等环境验证
11

Tactile Curiosity Drives Robot Interaction

Klemens Iten, Alexander Proshkin, Bhavya Sukhija, Stelian Coros, Andreas Krause, Pieter Abbeel, Carmelo Sferrazza
任务设定 机器人操作强化学习中的探索效率问题
痛点动机 随机探索多浪费在自由空间,难触发真实接触
解决方案 用触觉好奇心引导探索接触动态,并用于 VLA 模型后训练
12

VR-JEPA: Learning Contrastive-State Latent Guidance for Generation-based Video Reasoning

Zehua Ma, Kun Xiang, Yunshuang Nie, Quanlin Chen, Haoyuan Li, Xiuwei Chen, Jiang Ji, Haijun Wu, Zhenyu Xie, Michael Kampffmeyer, Hanhui Li, Xiaodan Liang
任务设定 基于视频生成的视觉推理中引导状态演化
痛点动机 生成式推理轨迹容易出现物理/结构不一致
解决方案 用对比状态学习对齐 V-JEPA 预测器,引导生成推理轨迹
13

Multi-Link Safety Filtering for VLA Policies Around Moving Hazards

Yatharth Agarwal, Vijay Raghunathan
任务设定 为 VLA 操作策略运行时过滤危险动作,避开移动障碍
痛点动机 任务成功不代表安全,手腕前臂也可能撞上无关物体
解决方案 用椭球体包裹手爪腕臂,配合光流跟踪障碍物,构建免训练安全过滤器
14

Reconstructing the Dynamic World: A Representation-Centric View of 4D Scene Reconstruction

Ziren Gong, Guo Chen, Yongjia Li, Yihua Shao, Fabio Tosi, Stefano Mattoccia, Matteo Poggi, Hao Tang, Fei Ma, Shuyan Li, Ziyang Yan, Nicu Sebe, Ling Shao, Jianfei Cai, Qi Tian, Ming-Hsuan Yang
任务设定 系统梳理 4D 动态场景重建的现有技术路线
痛点动机 NeRF 与 3DGS 方法繁多,设计选择和评测标准分散不统一
解决方案 按场景表示、时序建模、重建流程和优化目标四个维度统一归纳分析
15

NavHarness: Adaptive Goals for Agentic Vision-Language Navigation

Haoxiang Shi, Zaijing Li, Muhe Ding, Xiang Deng, Yaowei Wang, Liqiang Nie
任务设定 视觉语言导航智能体的自适应目标设定与执行框架
痛点动机 长程导航中局部动作易偏离路线,历史累积推理开销大
解决方案 用目标智能体设子目标,验证完成后由记忆智能体压缩交互历史
16

Learning from Runtime Feedback through Failure-Bank Self-Evolution for Vision-Language-Action Models

Mingyue Cui, Zheyuan Liu, Yihan Zhu, Zheyuan Zhang, Meng Jiang
任务设定 VLA 机器人操作中安全与任务成功的平衡
痛点动机 运行时护盘只纠正单次动作,策略不更新易反复冲突
解决方案 用 CBF 安全模块生成纠正数据,经筛选后以 LoRA 持续更新策略
17

Inline Memory Meets Reusable Skills: Memory-centric Framework for Vision-Language-Action Model

Zaijing Li, Rui Shao, Bing Hu, Haoyu Zhang, Dongmei Jiang, Liqiang Nie
任务设定 VLA 模型跨任务跨域的高效适配
痛点动机 参数微调代价高,且容易灾难性遗忘旧技能
解决方案 构建查询-技能记忆库,用轻量适配器检索复用已学技能
18

DiffWAM: A Fast and Efficient Navigation World Action Model

Mo Zhu, Yuze Wu, Xijie Huang, Xiao Cui, Fei Gao, Xin Zhou
任务设定 无人机导航的世界动作模型,预测相机轨迹
痛点动机 传统方法需生成未来视频并做几何重建,代价高昂
解决方案 直接从预训练视频模型的预测特征恢复 3D 运动,仅训练时需几何监督
19

RoboCoach: World Models as Active Coaches for Compositional Robot Skills

Jiajun Liu, Yifan Chen, Yichao Liu, Jiayi Zhang, Ruoqu Chen, Shaoxuan Xie, Guocai Yao, Mengdi Xu, Sen Cui, Changshui Zhang
任务设定 长程机器人操作中组合技能的持续改进
痛点动机 靠端到端演示提升技能组合成本高,不知该教什么、教哪里
解决方案 用共享世界模型想象执行失败,定位薄弱子任务后针对性采集演示并更新专家策略
20

ChronoGraph: Functional 4D Scene Graphs with Vision-Language Models for Interaction Understanding and Grounded Planning

Chenyangguang Zhang, Malgorzata Gwiazda, Guanlong Jiao, Yuanchen Ju, Federico Tombari, Koushil Sreenath, Marc Pollefeys, Sunghwan Hong
任务设定 具身智能体的交互理解与空间定位式规划
痛点动机 动作导致的场景变化理解与面向目标的规划此前相互割裂
解决方案 提出功能性 4D 场景图统一表示观测与预测的状态变化,训练 VLM 做图式思维链推理
21

UniWAM Technical Report: Unified Mobile Manipulation via Mixed-Stream World-Action Modeling and Manipulation Anchor Pose Supervision

Wei Xue, Keliang Liu, Mingzhang Cui, Jinhua Xie, Jinjie Wei, Jianan Hou, Jingcheng Lu, Lintao Wang, Kaixiang Qiu, Yizhou Liu, Xinghai Ye, Jinghang Han, Mingcheng Li, Jie Gu, Shunli Wang, Lihua Zhang, Dingkang Yang
任务设定 统一建模移动机器人的导航与操作策略
痛点动机 两阶段动作空间、视觉需求不同,统一学习难,真实数据难扩展
解决方案 共享骨干的双流世界-动作模型,配操作锚点姿态监督停靠与朝向
22

EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

Shulin Tian, Junsu Kim, Shuai Liu, Hao Li, Yujiao Shen, Sihan Li, Zhe Yang, Yeongon Kim, Feiyu Li, Jialin Wu, Yichi Zhang, Wenhui Wang, Runmao Yao, Yuhao Dong, Zhaoxi Chen, Fangzhou Hong, Antonino Furnari, Jingkang Yang, Hongyuan Zhu, Ziwei Liu
任务设定 第一人称视频中以工具使用为中心的推理理解
痛点动机 现有模型难把工具使用与可供性、几何、因果关联起来
解决方案 构建百小时第一人称工具数据集及诊断性基准 EgoTools-Bench
23

Beyond the Current Scene: Event-Referential Grasping with Active View Selection

Hyunjoon Lee, Haebeom Jung, Eunsung Cha, Daeun Lee, Yu-Chiang Frank Wang, Jaesung Choe, Jaesik Park
任务设定 机器人抓取过去交互中出现、当前被遮挡的物体
痛点动机 目标仅靠事件角色指代且可能已不可见,难以定位
解决方案 结合事件先验与场景几何,主动视角选择发现并抓取目标
24

MotionWeave: Learning Motion-Centered Future Dynamics for Vision-Language-Action Policies

Jingqiu Wang, Yan Wang
任务设定 为 VLA 策略学习以运动为中心的未来动态预测
痛点动机 整帧预测含无关外观,全局特征难以对齐局部动作变化
解决方案 运动定位查询找交互区域,提取相邻时刻残差运动注入动作 token
25

HiWE: Hierarchical World Knowledge Model with Visual Keypoint Enhancement for Zero-Shot 3D Path Planning

Guoqing Ma, Mingqi Yuan, Chen Gao, Jiayu Chen, Shan Yu
任务设定 零样本 3D 路径规划用于机器人操作演示生成
痛点动机 需打通视觉定位、语言规划与抓取执行三个环节
解决方案 PointVLM 预测交互点并提升为 3D 表示,语言模型规划末端轨迹与抓取
26

Scale and Selection: What Makes Automatic Harness Evolution Work for Visual-Interface Robot Agents

Zhijie Wei, Ferris Tan, Jinghui Wang
任务设定 自动优化机器人智能体的 harness(提示与控制规则)
痛点动机 人工设计的 harness 效果有限,小批量优化易被噪声误导
解决方案 增大 rollout 采样量提升信噪比,并用 Champion-Challenger 机制筛选更优版本
27

MegaAvatar: Controllable Talking Avatar Generation

Junyao Gao, Sibo Liu, Weidong Zhang, Cairong Zhao, Jun Zhang
任务设定 基于 SMPL-X 驱动的可控说话人虚拟形象生成
痛点动机 以往方法仅靠音频/参考图,缺乏全身姿态与头部运动的全局控制
解决方案 用 SMPL-X 网格编码动作,结合 Wan2.2 扩散模型实现音频驱动的表情与姿态联合控制
28

The Planning Limits of Latent World Models

Ali Alrasheed, Basim Azam, Naveed Akhtar
任务设定 研究 世界模型 在机器人规划中何时会失效
痛点动机 以往研究只展示世界模型能做什么,未厘清预测何时失准
解决方案 用 V-JEPA2 等自监督视觉骨干建动作条件预测器,发现仅能可靠规划 5-10 步内目标
29

Uruqi: Learning Spatial Cognition from Visual Experience

Shichao Li, Meiqi Wang, Fei Su, Zhicheng Zhao
任务设定 训练 VLM 在移动中追踪自身运动并建图环境
痛点动机 VLM 缺乏自运动跟踪与持续环境建图能力
解决方案 合成运动轨迹数据,多轮监督训练自运动跟踪与空间建图能力
30

Aligning Thoughts with Answers: Probability Rewards to Tame Thinking Drift

Pengzhan Sun, Shiu-hong Kao, Shijie Li, Yongyi Su, Junbin Xiao, Arjun Reddy Akula, Angela Yao
任务设定 根据人类意图推断目标物体并预测边界框
痛点动机 IoU 强化学习会出现思考漂移,推理错误但框对
解决方案 提出 Rita,用概率奖励构建思考奖励与一致性奖励强化推理一致性
31

MEND: Label-Free Detection, Localisation, and Correction of Latent Hallucination in World Models

Ali J Alrasheed, Aryan Yazdan Parast, Basim Azam, James Bailey, Naveed Akhtar
任务设定 检测定位并修正世界模型潜空间中的幻觉
痛点动机 潜在幻觉被自回归放大,且缺乏真值标签
解决方案 用去噪分数网络学习真实转移,分数场同时完成检测定位与修正
32

Exploiting Vulnerabilities: Universal Adversarial Attacks on Vision-Language-Action Models in Robotics

Songhua Yang, Ziyu Liu, Yuanwei Liu, Xuetao Li, Xuanye Fei, He Huang, Zheng Wang, Miao Li
任务设定 研究针对机器人 VLA 模型的通用对抗攻击
痛点动机 VLA 模型安全性未知,微小扰动可致操作灾难性失败
解决方案 设计通用对抗球体纹理,多层攻击破坏轨迹规划与动作控制
33

Beyond the Remembered World: Predictive 4D Belief for Persistent Navigation in Evolving Worlds

Mingjian Gao, Zhaocheng Li, Haoyang Huang, Wenqiao Zhang, Yingjie Niu, Hao Zhou, Chao Li, Juncheng Li, Siliang Tang, Yueting Zhuang
任务设定 具身智能体在动态演化场景中持续导航寻找目标
痛点动机 目标在未观测时可能移动,记忆位置会失效
解决方案 构建时间索引信念模型,结合 RGB-D 证据预测目标位置并重规划
34

MindWorldBench: Evaluating Mental-State-to-Behavior Reasoning in Image-to-Video Generation

Ruiqi Li, Xuanyi Liu, Sijia Li, Haofeng Wang, Yuxin Liu, Feng Xie, Songchao Tan, Shiqi Wang, Hanwei Zhu, Yizong Wang, Chuanmin Jia, Siwei Ma
任务设定 评估图生视频模型对心智状态到行为的推理能力
痛点动机 模型易现全知偏差,忽略角色主观信念
解决方案 提出 MindWorldBench 基准,用零动作提示隔离心智状态影响
35

Blackout vs. Freeze: Analyzing Physical Failure Modes of VLAs under Camera Faults

Heejae Suh, Jongwook Han, Zahra Gholami, Yohan Jo
任务设定 分析相机故障下 VLA 模型(π0.5、GR00T)失效模式
痛点动机 视觉输入不可靠引发物理安全风险,失效机制不明
解决方案 对比黑屏与卡帧故障,评估本体感知补偿及缓解策略效果
36

Asking the World: Generalist Physical Reasoning through Agentic World Modeling and Probing

Shenxiang Zeng, Chen Yang, Peiyao Chen, Guohui Zhang, Jiansheng Fan, Chen Wang
任务设定 从视频构建可执行世界模型以做物理推理
痛点动机 直接用 VLM 推理物理任务不可靠,固定工具管线难跨场景泛化
解决方案 提出 ATW 智能体:世界建模校准场景参数,再主动探测模拟验证假设
37

GRC-Pose: Generation-Reconstruction Correspondence for Prior-Free 6D Object Pose Tracking

Shiyang Liu, Weiquan Lin, Luping Xiao, Jiadong Tang, Yi Yang, Yu Gao, Xingyu Chen
任务设定 无 CAD 先验的 6D 物体位姿视频追踪
痛点动机 生成式物体先验与重建式场景线索坐标系不统一,难以融合定位
解决方案 提出 GRC-Pose ,用生成-重建对应关系匹配特征,鲁棒求解器估计位姿
38

Beyond Prediction: Steering VLM Agents with Retrospective World Modeling

Yongjiang Liu, Jie Zhang, Haoyue Zhang, Jingcai Guo, Deze Zeng, Song Guo
任务设定 为 VLM 智能体引入世界模型辅助决策学习
痛点动机 仅预测未来的前向世界模型无法验证动作因果性,易出现看似合理却违反物理的行为
解决方案 提出逆向世界建模,反推最可能导致状态转移的动作,构造自洽性奖励做强化学习
39

DiFF: Doppler-informed Flow Matching for Human Motion Flow

Kai Wang, Mingle Zhao
任务设定 基于 4D 毫米波雷达估计人体非刚性运动流
痛点动机 雷达点云稀疏噪声大,运动流估计高度病态
解决方案 结合多普勒速度先验与 KAN 条件流匹配生成模型求解
40

Make Code as Policy Great Again: Frontier Agents Write, Call, and Evolve Robot Tools

Shijia Ge, Alex Zhou, Jianshu Zeng, Yexing Wan, Di Wu, Zelin Zheng, Yazhe Wang, Zhiqi Jia, Xuan Shangguan, Jay Zhu, Yijun Liu, Lingyu He, Sihang Wu, Xiao He, Hongcheng Gao
任务设定 让大模型智能体控制机器人完成操作任务
痛点动机 逐步推理控制每个动作太慢且耗费 token
解决方案 编程智能体编写可复用机器人工具,执行智能体按观测调用工具并反馈迭代
41

Sparse-WAM: Accelerating World Action Models via Action-Guided Sparse Imagination

Xinling Xie, Haodong Wang, Jiazhi Mi, Zhiming Liu, Zicong Hong, Xiaoyi Pang, Qianli Liu, Yangjia Hu, Ying Chen, Zhengyang Yan, Song Guo
任务设定 加速世界动作模型在机器人控制中的推理
痛点动机 联合预测视觉帧和动作导致去噪时 token 处理成本高
解决方案 利用动作与未来帧注意力重合规律,仅保留动作相关 token 做稀疏推理
42

SimEX: Simulation-Integrated Robotics AutoResearch

Jiaheng Hu, Roberto Martin-Martin, Peter Stone, Rocky Duan, Zhenyu Jiang, Guanya Shi
任务设定 让编码智能体获得控制真实机器人的物理技能
痛点动机 直接生成代码缺乏物理理解,真机试错成本高且不安全
解决方案 先在仿真环境中探索构建机器人工具箱,再用少量真机试验校正仿真器
43

Loop-Free Inverse Reinforcement Learning via Sequential Value Recovery with Q-Score Matching

Yang chen, Yitan Zhang, Michael Witbrock, Shuyue Hu
任务设定 从专家演示中恢复奖励函数的逆强化学习任务
痛点动机 传统 IRL 需奖励-策略双层优化,计算开销大且不稳定
解决方案 利用扩散策略编码 Q 函数梯度,分阶段恢复价值函数,省去策略优化循环
44

World-as-Graph: Relational World Modeling Through Latent Space Graphs

Yaqi Yang, Shuo Huang, Yujin Huang, Fucai Ke, Jiatong Han, Xin Zheng
任务设定 构建基于物体关系的世界模型预测场景演化
痛点动机 现有物体中心世界模型仅隐式建模物体关系,缺乏显式结构与记忆
解决方案 构建时变隐空间图捕捉物体关系,结合历史记忆实现自回归预测
45

AdaOcc: Adaptive 3D Occupancy Prediction for Embodied Tasks

Jinglong Wang, Yunjie Wang, Zhiyang Zhang, Jiawei He, Ye Yuan, Bo Qiu, Jing Zhang
任务设定 具身场景下的 3D 语义占据预测任务
痛点动机 现有方法难以适应多变的传感器配置和算力预算
解决方案 提出 AdaOcc ,自适应双分支编码器融合 RGB/深度/LiDAR ,用稀疏语义点灵活调整计算量
46

Online Evolution Strategy for Flow-Matching VLA Policies via Self-Supervised Trajectory Distribution Optimization

Gongxin Yao, Yongsheng Zhao, Jiayin Deng, Deng Liang, Han Gao, Lei Zhao, Baoping Cheng
任务设定 优化流匹配 VLA 机器人操作策略的动作轨迹分布
痛点动机 生成的轨迹中成功与失败动作混杂,分布质量不佳
解决方案 提出 Online-ES ,在轨迹空间用进化策略扰动采样并依据执行反馈自监督微调,同时用失败经验做负反馈正则
47

FrameMorrow: Future-guided Frame Selection with Prospective Tokens for Long-Horizon Video Generation

Bo Yin, Xiaobin Hu, Jiaqi Zhao, Shuicheng Yan
任务设定 长视频/世界模型生成中如何选择历史帧辅助未来帧生成
痛点动机 保留全部历史帧代价高,且历史的有用性取决于未来需求而非当前内容
解决方案 提出 FrameMorrow ,用少量前瞻性 token 预测未来信息需求来挑选关键历史帧,可即插即用于多种生成模型
48

TERRA: Terrain-Aware Reconstruction, Retargeting and Control for Musculoskeletal Locomotion

Merkourios Simos, Chengkun Li, Bianca Ziliotto, Alexander Mathis
任务设定 让肌肉驱动人体模型在复杂地形上行走
痛点动机 运动数据缺地形几何,难迁移到复杂地形
解决方案 提出 TERRA 流程:从运动数据重建地形,结合解剖约束重定向,训练统一肌肉控制策略
49

HIGS: Hierarchical Implicit Grids for Joint Geometric and Semantic Scene Understanding

Hanwen Cao, Wenqiang Wu, Kuang-Ting Tu, Mathias Otnes, Jeffrey Delmerico, Rui Wang, Yulun Tian, Nikolay Atanasov
任务设定 机器人场景的几何与语义联合隐式建图
痛点动机 现有神经隐式表示缺语义,大场景优化效率低
解决方案 用分层多分辨率子图统一查询解码几何和语义特征,在隐式特征空间对齐融合子图
50

Correcting WHERE, Preserving HOW: Compositional Generalization for Vision-Language-Action Models via Referential Guidance

Yanyan Zhang, Disheng Liu, Xinpeng Li, Chaoda Song, Mohsen Hariri, Debargha Ganguly, Wang Yang, Kai Ye, Bryce Grant, Vipin Chaudhary, Yu Yin
任务设定 VLA 模型在新物体/场景组合下泛化不足
痛点动机 端到端训练产生视觉捷径,难应对未见过的元素组合
解决方案 提出免训练的指代引导模块,结合物体位姿做语义几何重定位后交回原策略执行
51

Exo2EgoHOI: Hand-Object-Interaction Aware Exocentric-to-Egocentric Video Generation

Hongjia Zhai, Xiyu Zhang, Haoran Zhang, Zhichao Ye, Haomin Liu, Guofeng Zhang, Ian Reid, Xingxing Zuo
任务设定 第三人称操作视频转第一人称视角生成
痛点动机 大规模采集第一人称手物交互数据成本高,视角变化大难保持交互细节
解决方案 构建 4D 手物交互先验加双分支适配器,用分解门控交叉注意力保持物体一致性
52

PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation

Cong Wei, Xuanchi Ren, Bryan Chu, Weiming Ren, Huan Ling, Jiahui Huang, Laura Leal-Taixé, Sanja Fidler, Wenhu Chen, Zian Wang, Jay Zhangjie Wu
任务设定 无编码器的统一图像/视频理解与生成
痛点动机 理解与生成用不同视觉表示,视频时序扩展设计困难
解决方案 直接在像素空间用图像块/时空管块接入混合 Transformer 主干,联合自回归与流匹配
53

Retargeting Motions to Diverse Skeletons via Learnable Flattening

Kia-Jüng Yang, Fabian H. Sinz, Paweł A. Pierzchlewicz
任务设定 跨骨骼拓扑结构的动作重定向
痛点动机 现有方法在零样本未见拓扑骨骼上可靠性差
解决方案 用 Transformer 自编码器学拓扑不变隐空间,提出可学习图展平捕捉局部与全局结构
54

LongTake: Learning to Sustain Dynamics in Long-Horizon Video Generation

Byoungwoo Park, Jaemoo Choi, Juho Lee, Yongxin Chen
任务设定 长时域视频生成中维持场景动态持续性
痛点动机 自回归视频扩散长序列易变静止、画质退化
解决方案 提出长时域教师强制训练,用长真实视频强化蒸馏初始化以提升长程动态表现
55

GazeFlow: From Human Gaze Behavior to Generative Egocentric Gaze Prediction

Sheng Zhao, Weikai Lin, Yuhao Zhu
任务设定 第一人称视角下的人类注视轨迹预测
痛点动机 人类注视本质随机,受任务与视觉显著性共同驱动
解决方案 用条件流匹配把噪声变换为注视轨迹,融合自顶向下任务信息和自底向上视觉显著性特征
56

What to Attend, What to Keep: Skill-Conditioned Visuotactile Representation with Progress-Guided Event Memory

Amir-Hossein Shahidzadeh, Seungjae Lee, Eadom Dessalene, Shanthosh Raaj Mohanram Mageswari, Soroush Etemad, Furong Huang, Cornelia Fermüller, Yiannis Aloimonos
任务设定 接触密集型机器人操作中的视觉-触觉融合
痛点动机 现有策略用固定时序和融合方式,忽略不同技能对模态需求各异
解决方案 提出技能条件化的视触融合表示,配合稀疏事件记忆保留历史技能的终止观测
57

PAMI: Part Anchored Motion for Text to Human-Object Interaction Generation

Chuqiao Li, Xianghui Xie, Yong Cao, Andreas Geiger, Gerard Pons-Moll
任务设定 文本驱动生成人体与物体交互动作
痛点动机 全局轨迹建模易致物体漂移、穿模、接触缺失
解决方案 用身体部位锚点为物体运动投票,由粗到细优化接触细节
58

BIND: Binding 3D Robot Actions to 2D Image Features

Cameron Smith, Arsh Tangri, Vitor Guizilini, Yue Wang, Zubair Irshad, Sergey Zakharov
任务设定 视觉运动机器人策略的动作表示方法
痛点动机 全局特征策略对视角、物体位置变化脆弱且数据效率低
解决方案 将 3D 候选动作按相机几何绑定到 2D 图像特征上打分选取
59

GestAdapt: Workspace-Conditioned Co-Speech Gesture Generation for Humanoid Robots

Bosong Ding, Xianglin Zhang, Miao Xin, Murat Kirtay, Giacomo Spigler
任务设定 为人形机器人生成受工作空间约束的协同语音手势
痛点动机 固定手势忽略机械臂可达工作空间限制,贴墙等场景易失真
解决方案 提出工作空间条件化框架,融合多语料共享运动表征,支持跨机器人重定向生成
60

Learning Semantic Inpainting for Animatable Gaussian Head Avatars

Pilseo Park, Fizza Rubab, Yiying Tong
任务设定 单图生成可驱动的高斯头部虚拟形象
痛点动机 单视角下未观测的面部区域难以补全
解决方案 在 UV 空间做语义补全,借人脸对称性生成高斯属性,并堆叠多高斯增强细节
61

SynIL: Leveraging Synergy for Offline Imitation Learning from Imperfect Demonstration Datasets

Yuto Tanaka, Kyo Kutsuzawa, Martina Doku, Dai Owaki, Mitsuhiro Hayashibe
任务设定 从不完美示教数据中做离线模仿学习
痛点动机 示教数据质量参差不齐,人工筛选方法难扩展
解决方案 基于运动协同理论,自监督生成逐帧奖励信号来评估示教质量