WAKMan：面向工作负载感知的 KV 缓存管理器
英文标题：WAKMan: Workload Aware KVCache Manager
本文提出了面向大语言模型（LLM）推理服务的工作负载感知 KV 缓存管理器 WAKMan。前缀缓存（Prefix caching）技术允许 LLM 服务器复用键值（KV）状态，从而加速与历史提示词共享前缀的请求预填充（prefill）计算阶段，显著降低推理延迟与服务成本。针对显存资源受限场景，该工作探索了更具工作负载感知能力的缓存优化方案，对优化高并发 LLM 推理服务系统与降低算力成本具有重要参考价值。
打开原文相关 3.2 · 机会 0
2.0 KB
640 B
612 B
380 B
24.2 KB
34.7 KB
中文
arXiv:2610.36355v1 公告类型：新增（new）
摘要： 前缀缓存（Prefix caching）使大语言模型（LLM）服务器能够复用键值（KV）状态，并为与较早提示词共享前缀的请求加速预填充（prefill）计算阶段，从而降低延迟和服务成本。在有限内存/显存条件下……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×