从检索上下文到运行时控制：面向边缘端 RAG 的自适应压缩

英文标题：From Retrieved Context to Runtime Control: Adaptive Compression for Edge-based RAG

这篇 arXiv:2608.19535v1 论文提出面向边缘设备检索增强生成（RAG）的自适应压缩思路。RAG 通过外部检索段落为语言模型生成提供事实依据，但较长的检索上下文会增加提示词预填充计算、KV-cache 占用、内存流量和延迟。论文关注将检索到的上下文转化为可在运行时调控的压缩对象，以降低边缘端部署的资源开销。该方向对需要在受限算力和内存条件下运行 RAG 的开发者具有参考意义。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB