借助几何进行学习与推理:生成能力如何赋能空间理解
英文标题:Learning and Reasoning with Geometry: How Generation Helps Spatial Understanding
图像与视频生成模型已展现出生成空间一致性视觉内容的强大能力,但如何将这一生成能力迁移以增强模型的空间理解能力仍未被充分探索。该研究从模型训练中的几何监督以及测试时推理等维度展开探讨,剖析了视觉生成如何反哺空间表征学习。这一研究为结合生成先验与具身空间感知开辟了新思路,对自动驾驶、机器人具身智能以及多模态大模型的空间推理能力构建具有重要参考价值。
打开原文相关 1.6 · 机会 0
612 B
380 B
24.2 KB
34.7 KB
中文
论文摘要
图像与视频生成器能够生成具备空间一致性的视觉内容,但如何利用该能力来提升空间理解水平仍缺乏深入探索。我们从两个视角研究了该问题:训练过程中的几何监督以及推理阶段的几何先验……
BibTeX 引用格式
×
English / 原文
BibTeX formatted citation
×