Co-LMLM：连续查询有限记忆语言模型

英文标题：Co-LMLM: Continuous-Query Limited Memory Language Models

有限记忆语言模型（LMLM）在预训练中将事实知识外部化到知识库，而不是存储在模型权重中。生成时，模型按需从知识库检索知识。这项工作提出 Co-LMLM，一种采用连续查询机制的 LMLM，以改善离散检索带来的知识融合不足问题，对需要高效知识存取的语言模型开发具有参考意义。

2.6 KB 2.1 KB 640 B 612 B 380 B 9.1 KB 22.8 KB 24.2 KB 34.7 KB