卡在“A”上：诊断并修复 0.6B 语言模型注意力到 KDA 线性化中的接口损伤

英文标题：Stuck on "A": Diagnosing and Repairing Interface Injury in Attention-to-KDA Linearization of a 0.6B Language Model

该论文将 Qwen3-0.6B-Base 的 28 个全注意力层中的 21 个转换为 KDA（Kimi Delta Attention）线性注意力层，并在单张消费级 GPU 的预算下完成实验。研究聚焦于一个核心问题：这种转换究竟破坏了模型的哪些能力或接口。摘要指出，模型经过这一“手术”后，隐藏状态会受到影响，但所提供原文未包含后续具体分析、实验数据和修复结果。该工作对尝试将既有 Transformer 模型线性注意力化的开发者具有参考意义，尤其涉及转换后的兼容性诊断与修复。

2.6 KB 2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB