将自回归 LLM 控制编译为面向分层 RAG 的策略精确并行推理
英文标题：Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG
在大语言模型（LLM）担任结构化决策控制器的管线中，自回归文本解码往往成为系统推理延迟的核心瓶颈。本文针对分层检索增强生成（Hierarchical RAG）场景，提出将自回归控制编译为策略精确（Policy-Exact）的并行推理方法。该技术在严格保持原有决策策略与输出精度的前提下消除了树结构逐层解码的串行依赖，为复杂知识检索与 Agent 决策系统的大规模低延迟部署提供了重要思路。
打开原文相关 3.2 · 机会 1
2.0 KB
612 B
380 B
24.2 KB
34.7 KB
中文
arXiv:2610.30664v1 公告类型：新增
摘要：大语言模型（LLM）正越来越多地在结构化决策管线中充当控制器角色，但它们的决策目前仍通过自回归文本解码来执行。分层检索增强生成（Hierarchical RAG）便属于这种典型场景：在文档树的每个前沿节点上，LLM 都会提交决策……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×