阅读点间玄机：解码填充符内隐藏的计算

英文标题：Reading Between the Dots: Decoding Hidden Computation across Filler Tokens

前沿大型语言模型能够利用无内容填充符（如点号或计数序列）进行多步推理，并在无可见思维链的情况下给出正确答案。这构成了行为监督的极限案例，表层令牌不携带推理过程，隐藏计算可能发生在内部表征中。该发现对AI安全与对齐提出挑战，表明模型可能借助隐秘通道进行推理，为开发者带来可解释性与监管方面的新课题。

2.6 KB 2.1 KB 640 B 612 B 380 B 9.1 KB 22.8 KB 24.2 KB 34.7 KB