面向引导式推测推理的多重重要性采样：基于小模型集成的 LLM 测试期扩展

英文标题：Multiple Importance Sampling for Guided Speculative Inference

本研究探讨了用于大语言模型（LLM）测试期扩展（test-time scaling）的引导推测式推理（Guided Speculative Inference, GSI）扩展算法。研究提出了一个全新设定：由多个较小规模的 LLM 组成模型集成来生成候选草稿推理步骤，随后交由更大的基础模型进行验证。通过引入多重重要性采样（Multiple Importance Sampling），该方法旨在兼顾多样化草稿的高效生成与高质量验证。这一探索为优化大模型推理成本、通过异构模型协同提升复杂推理任务的推理效率提供了新的理论与技术思路。

2.0 KB 640 B 612 B 380 B 24.2 KB 34.7 KB