俯瞰视角下的思考:利用鸟瞰图(BEV)视觉 Token 实现高效空间推理
英文标题:Thinking from Above: Efficient Spatial Reasoning with Bird's-Eye-View Visual Tokens
现有视频多模态大语言模型(MLLM)主要在时间维度上组织观测信息,但在具身空间推理任务中,更需要在空间维度上整合全局环境。为此,研究团队探索利用鸟瞰图(BEV)视觉 Token 构建空间表征,克服了传统视频表征仅在相邻帧间保持局部一致的缺陷。该方法显著提升了空间几何推理的效率与一致性,为具身智能、机器人导航以及长时程空间决策提供了更高效的多模态架构方案。
打开原文相关 6.4 · 机会 1
461 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv:2610.22700v1 [cs.CV] (新增公告)
摘要
现有的视频多模态大语言模型(MLLMs)主要在时间维度上组织观测信息,但具身空间推理本质上要求在空间维度上组织这些观测。因此,现有模型的视觉表征往往只能在相邻帧之间保持局部一致性……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×