论文研究 arXiv cs.LG Wed, 21 Oct 2026 正文 thin 4 words

高维层状态轨迹揭示 Transformer 推理的内部动力学机制

英文标题：High-dimensional layer-state trajectories reveal the internal dynamics of transformer inference

本研究针对大语言模型（LLM）的机制可解释性展开探索。以往研究多将模型功能定位于参数、注意力头或神经元等静态组件，却难以阐明单次推理如何随时间或计算步骤具体展开。为此，作者将模型由浅至深的有序层状态轨迹视为经验过程，以此探究 Transformer 推理的内部动态机制。这一视角为理解模型深层表征演化提供了新的理论框架与分析工具，有助于进一步诊断和优化模型推理行为。

打开原文相关 1.6 · 机会 0