通过注意力保持型 MLP 裁剪解锁推理语言模型的结构化剪枝

英文标题：Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming

论文提出 LayerTrim，一种面向推理语言模型的结构化剪枝方法。结构化剪枝可通过移除模型组件来生成更小的稠密模型，从而降低大语言模型的推理成本。作者指出，现有方法在 AIME 等长链推理任务上可能导致推理性能显著下降，而 LayerTrim 旨在通过注意力保持型 MLP 裁剪缓解这一问题。该工作对希望在降低部署成本的同时保留复杂推理能力的模型开发者具有参考意义。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB