分数持平,失败放大:误差预算如何掩盖量化 LLM Agent 的损害
英文标题:Flat Score, Amplified Failures: How the Error Budget Masks Damage in Quantized LLM Agents
该研究质疑“训练后将权重量化至 4 比特几乎无损”的常见观点,重点考察多轮、工具调用型 Agent 的表现。作者在 τ²-bench 上测试了两个开放权重模型家族,覆盖稠密模型和 MoE 变体。研究指出,传统的总体评分或误差预算可能掩盖量化后被放大的失败模式,这对部署量化 LLM Agent 的开发者具有直接意义。所提供的原文摘要片段未包含具体实验数据、模型名称或完整结论。
打开原文相关 3.2 · 机会 2
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×