激活异常值至关重要:量化多模态大语言模型的稳健恢复
英文标题:Activation Outliers Matter: Robust Recovery for Quantized Multimodal LLMs
该论文探讨低比特量化在降低多模态大语言模型(MLLM)计算与内存需求方面的潜力。摘要指出,近期硬件已支持从 MXFP8 到 MXFP4 等超低比特精度格式。论文题目强调激活异常值对量化后模型稳健恢复的重要性,这对部署高效的量化多模态模型具有参考意义。
打开原文相关 3.2 · 机会 0
865 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×