最终检查点不够：分析训练轨迹中潜在推理的忠实度

英文标题：Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories

本论文探讨了潜在推理方法在模型连续隐藏状态中进行多步推理时的忠实度问题。研究指出，仅依赖最终模型检查点不足以评估潜在推理的可信程度，必须沿训练轨迹进行分析。该发现对依赖潜在推理以实现紧凑高效推理的开发者具有警示意义，提示需要在训练全过程中监控推理的忠实度。

2.6 KB 2.1 KB 640 B 612 B 380 B 9.1 KB 22.8 KB 24.2 KB 34.7 KB