BLADE:用于高效 LLM 推理的边界扩展与层自适应动态退出方法
英文标题:BLADE: Boundary-Expanded and Layer-Adaptive Dynamic Exit for Efficient LLM Reasoning
BLADE 提出了一种面向大语言模型(LLM)推理效率的动态退出方法。论文指出,LLM 通过生成较长的推理轨迹可提升任务表现,但其中常包含重复验证和修订,造成额外计算浪费。现有基于探针的早退方法主要检查显式选择信号;BLADE 则从边界扩展和层自适应动态退出角度改进推理过程。该方法有望帮助开发者在保持推理质量的同时减少不必要的计算开销。
打开原文相关 2.4 · 机会 0
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式引文
English / 原文
BibTeX formatted citation
×