纠错还是操纵？评估 LLM Agent 在用户压力下的认知警惕性

英文标题：Correction or Manipulation? Measuring Epistemic Vigilance in LLM Agents Under User Pressure

本研究探讨了代表用户回答问题并执行操作的 LLM Agent 在面对用户异议时该如何决策的难题。用户的异议既可能是纠正模型的真实错误，也可能是一种误导或操纵企图，而以往研究表明大模型在面对质疑时往往容易放弃自身正确答案。为此，论文围绕衡量 LLM Agent 在用户压力下的“认知警惕性”（Epistemic Vigilance）展开评估与分析。这一研究对于开发者构建既具备接受有效纠错能力、又不易受诱导和欺骗的高稳健性 Agent 系统具有重要参考价值。

2.0 KB 640 B 612 B 380 B 24.2 KB 34.7 KB