Titan-Llama：为预训练 LLM 加装外部神经记忆模块

英文标题：Titan-Llama: Retrofitting Pre-trained LLMs with External Neural Memory Modules

论文提出 Titan-Llama，旨在为预训练的大语言模型（LLM）改造并接入外部神经记忆模块。原文指出，Transformer 可借助注意力机制在序列位置间并行计算，因此适合大规模预训练；但在长上下文推理时，KV cache 会持续增大。摘要还提到，高效的循环式替代方案能够降低渐近复杂度，但所提供原文在此处截断，未包含具体方法细节、实验数据或性能结论。该方向对需要在长上下文、低内存推理与既有模型改造之间取得平衡的开发者具有参考意义。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB