长上下文语言模型中的上下文投毒：极值注意力干扰机制研究
英文标题：Context Poisoning as Extreme-Value Attention Interference in Long-Context Language Models
本研究针对长上下文语言模型（LLM）提出了“上下文投毒”（Context Poisoning）现象。研究表明，尽管现代大模型能够支持超长提示词输入，但随着无关或易混淆上下文的引入，其检索和使用关键决定性证据的能力会出现显著衰减。作者将该机制形式化为一种极值注意力干扰（Extreme-Value Attention Interference）现象。这一发现深入揭示了长文本推理的注意力脆弱性，为开发者在优化 RAG 检索上下文纯度及长提示词工程时提供了关键的理论依据与设计警示。
打开原文相关 2.4 · 机会 0
2.1 KB
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
摘要
大型语言模型（LLM）能够处理越来越长的提示词，然而，当混入无关或容易引起混淆的上下文时，模型定位和利用决定性关键证据的能力可能会出现退化。我们将这种现象称为上下文投毒（Context Poisoning），并将其形式化为一种极值注意力干扰（Extreme-Value Attention Interference）机制。
BibTeX 引用格式
×
English / 原文
BibTeX formatted citation
×