单一能谱与两种资源：自回归预测中的数据-内存 Scaling 法则

英文标题：One Spectrum, Two Resources: Data-Memory Scaling in Autoregressive Prediction

本研究探讨了模型若要从更多数据中获益，究竟需要多少学得的内存容量。研究人员证明，在正熵自回归检索源中，数据与内存这两种资源共同受单一“预测能量谱”（predictive-energy spectrum）的支配。每个坐标的贡献均由其查询概率与对应因子的乘积决定。该结论为自回归预测中数据量与参数容量的联合扩展（Scaling）提供了理论解释，对优化大模型架构设计及检索与记忆资源的分配具有重要参考价值。

2.1 KB 483 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB