在循环语言模型中分配循环计算

英文标题：Allocating Recurrent Compute in Looped Language Models

论文研究循环语言模型如何通过重复应用共享计算来提升推理与知识操作能力。现有系统通常重复执行完整的层堆栈，但混合器（mixer）与稠密前馈网络（FFN）承担的计算功能并不相同。该工作聚焦于如何在循环结构中更合理地分配计算资源，这可能为开发更高效、可扩展的语言模型推理架构提供参考。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB