从语言模型嵌入中恢复时间与地理信号
英文标题：Recovering Temporal and Geographic Signals from Language Model Embeddings
本研究探讨了语言模型嵌入（Embeddings）是否隐含编码了结构化的现实世界信息。研究人员利用简易的投影分析方法，针对嵌入表示中的时间与地理两类关键维度进行了恢复与探测。该研究对模型表征分析（Representation Analysis）和信息检索（Information Retrieval）具有重要价值。结论有助于开发者更直观地理解嵌入空间的几何表征能力，并为时空敏感型检索与知识挖掘任务提供理论参考。
打开原文相关 2.4 · 机会 0
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
论文信息与摘要
arXiv 编号：arXiv:2609.05721v1
公告类型：最新提交（new）
摘要
理解语言模型嵌入（embeddings）是否编码了结构化的现实世界信息，对于表征分析（representation analysis）和信息检索（information retrieval）都至关重要。我们在本研究中采用一种简易的基于投影（projection-based）的方法，对语言模型嵌入中的时间与地理信号展开了系统研究。
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×