ULME：实现文本嵌入与语言建模相互增强的预测耦合框架
英文标题：ULME: Predictive Coupling for Mutually Reinforcing Embedding and Language Modeling
本文针对大语言模型中嵌入与生成能力割裂的问题，提出了 ULME 预测耦合框架。在当前技术方案中，文本嵌入和文本生成通常由采用不兼容训练目标分别训练的独立模型提供，且需分别部署。ULME 旨在通过预测耦合机制，使嵌入表征与语言建模能力实现相互增强。这一研究为打破“嵌入器与生成器分立”的架构壁垒提供了新途径，对降低大模型检索与生成双管线系统的部署及维护成本具有重要意义。
打开原文相关 4.8 · 机会 1
2.0 KB
640 B
612 B
380 B
24.2 KB
34.7 KB
中文
ULME：用于相互增强嵌入与语言建模的预测耦合框架
arXiv 编号：arXiv:2610.30705v1
公告类型：最新发布（new）
摘要
文本嵌入（Text Embedding）与文本生成（Text Generation）是现代大语言模型（LLM）中最关键且实用的两项能力。然而在传统实践中，这两项能力通常由各自专用的独立模型分别提供——即由不同目标函数训练、并分开部署的嵌入模型（Embedder）与生成模型（Generator）……
English / 原文
BibTeX formatted citation
×