Akashic：一种利用 MemAttention 的低开销 LLM 推理服务
英文标题：Akashic: A Low-Overhead LLM Inference Service with MemAttention
基于大语言模型的智能体系统会在多轮交互、工具调用和跨会话工作流中持续积累大量上下文。为每个请求重放完整历史变得不可行，因为长上下文会急剧增加预填充成本。Akashic 提出了一种低开销的 LLM 推理服务，通过 MemAttention 机制高效管理持续增长的上下文，帮助开发者在构建可扩展智能体应用时显著降低延迟与内存占用。
打开原文相关 4.8 · 机会 3
2.6 KB
2.1 KB
612 B
380 B
9.1 KB
22.8 KB
24.2 KB
34.7 KB
中文
BibTeX 格式引用
摘要：基于大语言模型的智能体系统在多轮交互、工具调用和跨会话工作流中不断积累上下文。为每次请求重放完整历史很快就会变得不切实际：长上下文会增加预填充成本，并拖慢响应速度。Akashic 提出一种低开销的 LLM 推理服务，其核心 MemAttention 组件可以高效地处理持续追加的上下文，从而减少重复计算，为构建长时间运行的智能体应用提供更可预测的性能与资源开销。
English / 原文
BibTeX formatted citation
×