论文研究 arXiv cs.LG Fri, 16 Oct 2026 正文 thin 4 words

任务阶段条件化专家路由并非 MoE FFN 张量量化敏感性的可靠代理指标

英文标题：Task-Phase-Conditioned Expert Routing Is Not a Reliable Proxy for Quantization Sensitivity in MoE FFN Tensors

这篇论文研究了：能否利用 Mixture-of-Experts（MoE）语言模型在不同层、不同任务阶段（提示词、推理、响应）的专家路由统计数据，指导路由专家 FFN 张量的逐层混合精度量化。研究对象包括 FFN 的 down/gate 与 up 张量。论文的核心结论是，任务阶段条件化的专家路由信息并不能作为判断这些张量量化敏感性的可靠替代指标，这意味着开发者不能仅依据路由活跃度或专家选择模式制定量化策略。

打开原文相关 3.2 · 机会 0