长上下文起草无需长上下文起草器

英文标题：Long-Context Drafting Does Not Require Long-Context Drafters

论文《Long-Context Drafting Does Not Require Long-Context Drafters》以 arXiv:2610.20865v1 的新论文形式发布。摘要指出，推测解码（speculative decoding）通过低成本起草器与目标模型的并行验证相结合来提升生成速度。在超长上下文场景中，如果起草器也需要关注完整前缀，其成本会继承目标模型随上下文增长的开销，因而加速收益会下降。该研究对开发者的意义在于：超长上下文推理的加速设计不应简单依赖同样具备全上下文注意力能力的起草模型。

2.1 KB 461 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB