量化损害是乘性的，而非加性的

英文标题：Quantization Damage Is Multiplicative, Not Additive

论文指出，量化是大语言模型实际部署中的关键技术，但当精度降至 4 比特以下时，模型性能会受到明显损害。作者认为，业界目前仍无法准确预测特定比特宽度下哪些模型决策会发生变化。量化带来的损害往往是静默的：经过压缩的 Agent 可能不再执行原本会调用的操作，这对低比特模型的可靠部署提出了挑战。该论文以 arXiv:2608.06564v1 形式发布。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB