犹豫具有几何结构：面向稀疏激活引导的熵训练双曲探针

英文标题：Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering

该论文研究大语言模型在求解数学问题时的分层推理结构，指出推理过程通常会在少数下一词元熵较高的位置发生分支。作者认为，这种树状结构能够以远低于欧氏空间的失真嵌入双曲空间。论文提出熵训练的双曲探针，旨在识别这些与模型“犹豫”相关的高熵分支点，并用于稀疏激活引导。该研究或为开发者理解模型不确定性、定位关键推理节点及实施更精细的内部表征干预提供方法参考。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB