VTrajEmbed：通过时空嵌入实现文本与视频目标轨迹的精细对齐
英文标题：VTrajEmbed: Aligning Text with Video Object Trajectories via Spatiotemporal Embeddings
文本与视频目标轨迹之间的细粒度对齐是多模态理解领域的核心难题。现有主流嵌入模型主要擅长视频级别的全局检索，但其单一的全局特征表示往往会将多个目标及其时空动态交织混淆，难以捕捉局部轨迹。研究团队提出了 VTrajEmbed，通过构建时空嵌入（Spatiotemporal Embeddings）来实现文本与视频中具体物体轨迹的精确对应。该工作为细粒度视频理解、视频目标跟踪检索以及具身智能交互等应用场景提供了新的技术支撑。
打开原文相关 4.8 · 机会 0
2.1 KB
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv 编号：arXiv:2610.22842v1 公告类型：最新（new）
摘要
文本与视频目标轨迹之间的细粒度对齐是多模态理解的核心挑战。现有的嵌入模型在全局检索任务中表现优异，但其单一的全局表示方式往往会将多个物体及其复杂的时空轨迹纠缠在一起，难以精确定位和解耦各个具体对象的时空演变。
BibTeX 引用格式
×
English / 原文
BibTeX formatted citation
×