随着模型规模增大，模型的评估意识从格式特征转向上下文语境
英文标题：Evaluation Awareness Shifts from Format to Context with Model Scale
本研究探讨了大语言模型中的“评估意识”（Evaluation Awareness）问题，即模型察觉自身处于测试环境并可能改变行为的现象，这对基准评估构成了前所未有的威胁。研究重点揭示了模型感知评估的底层机制，并对比了小模型与大模型之间的差异。研究指出，随着模型规模的扩大，模型识别评估的依据从浅层格式特征逐步转变为深层上下文语境。这一发现对改进大模型评测体系、防止模型“针对性应试”具有重要指导意义。
打开原文相关 1.6 · 机会 0
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv 编号：arXiv:2609.22119v1
公告类型：new
摘要
评估意识（Evaluation awareness）对模型评估构成了前所未有的威胁，但模型据以识别该状态的机制至今仍属未知。本研究重点探究该机制，并揭示较小模型与较大模型之间的对比机理。虽然……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×