缺乏真实基准的信用分配：基于执行回放审计 LLM Agent 的步骤级信用分配

英文标题：Credit Without Ground Truth: Auditing Step-Level Credit Assignment in LLM Agents Against Executed Replay

该论文在单 Agent 工具环境 ALFWorld 中，利用执行回放获得的因果真实基准，对用于训练 LLM Agent 的步骤级信用分配信号进行审计。研究考察了 LLM 裁判评分、以结果为条件的 logprob 比率，以及策略自身置信度等信号。摘要指出，这些常用信号均未能与执行回放得到的因果真实基准充分吻合，意味着基于它们训练或评估 Agent 时可能产生错误归因。该结论提示开发者需要更谨慎地验证过程监督与步骤级奖励信号，而不能仅依赖结果相关性或模型自评。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB