Grok 时刻并未收敛：对 Grokking 表示度量的测量效度审计
英文标题：At-Grok Is Not Converged:A Measurement-Validity Audit for Grokking Representation Metrics
这项研究发现在模运算任务中，网络嵌入在实现泛化后仍会持续压缩数万步。在 grokking 转换点读取有效秩时，MLP 会高估最终收敛值 3–5 倍，Transformer 会高估 1.3–1.5 倍。这表明常用的 Grokking 表示指标并不能反映最终的收敛状态，对研究表示动态的开发者和研究者具有重要警示意义。
打开原文相关 1.6 · 机会 0
2.6 KB
2.1 KB
612 B
380 B
9.1 KB
22.8 KB
24.2 KB
34.7 KB
中文
Grok 时刻并未收敛：对 Grokking 表示度量的测量效度审计
在模运算任务中，即使网络已经完成泛化，其嵌入仍会在随后数万步内持续压缩。在 grokking 转换点上读取的有效秩会高估最终收敛值：在 MLP 上高估 3–5 倍，在 Transformer 上高估 1.3–1.5 倍。
BibTeX 格式引用
English / 原文
BibTeX formatted citation
×