论文研究 arXiv cs.LG Thu, 17 Sep 2026 正文 thin 4 words

超越静态 RAG：面向通用 GPU 高效长上下文推理的自适应三指标路由框架

英文标题：Beyond Static RAG: An Adaptive, Tri-Metric Routing Framework for Efficient Long-Context Inference on Commodity GPUs

本文针对在 16 GB 显存的 NVIDIA T4 等通用 GPU 上部署检索增强生成（RAG）系统时的性能瓶颈展开研究，揭示了所谓的“压缩悖论（Compression Paradox）”。研究发现，传统的神经提示词压缩技术不仅难以减轻显存压力，反而可能加剧键值（KV）缓存争用并增加预处理延迟。为此，论文提出了一种自适应三指标路由框架，动态平衡推理效率与计算开销。该方案为在有限算力与显存资源下低成本落地长上下文 RAG 提供了极具实践价值的工程优化路径。

打开原文相关 3.2 · 机会 1