论文研究 arXiv cs.CL Wed, 08 Jul 2026 正文 thin 4 words

长上下文服务中KV缓存优化的任务质量与系统性能基准测试

英文标题：Benchmarking KV-Cache Optimizations across Task Quality and System Performance for Long-Context Serving

大型语言模型服务在长上下文工作负载下，KV缓存增长成为主要瓶颈。现有的KV缓存压缩技术因评估环境不统一而难以直接比较。本文建立一个同时审视任务质量与系统性能的基准框架。该工作为开发者提供了可比评测方法，有助于推动高效长上下文推理的发展。

打开原文相关 2.4 · 机会 0

2.6 KB

2.1 KB

640 B

612 B

380 B

9.1 KB

22.8 KB

24.2 KB

34.7 KB

中文

大型语言模型服务在长上下文工作负载下日益受到KV缓存增长的制约，然而现有的KV缓存压缩技术很难进行比较，因为它们在不同模型、任务、预算和服务策略上进行评估。本工作提出了一个统一的基准测试，旨在公平对比各种KV缓存优化方案在任务质量和系统性能上的表现。