基于谓词替换的干预式 grounding 审计：通过黑盒前提依赖性测试检验大语言模型思维链
英文标题：Interventional Grounding Audits: Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution
该论文引入了一种名为“干预式 grounding 审计”的方法，用于黑盒、步骤级地测试大语言模型思维链中的前提依赖性。其核心思路是通过谓词替换进行干预，检验模型的推理是否真正依赖于其所陈述的前提。这项工作为开发者评估和提升 LLM 推理的可靠性提供了新的工具，对可解释性与安全性研究具有重要意义。
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
大型语言模型生成的思维链推理看似逻辑严密，但可能并未真正依赖其陈述的前提。对此，新研究引入了干预式 grounding 审计，这是一种黑盒、步骤级别的测试，用于检验大语言模型思维链对前提的依赖性。其核心方法是通过谓词替换进行干预：当模型推理中的某个关键谓词被替换后，研究者观察输出是否会随之发生合理变化，从而判断推理链条是否真正“grounded”在前提之上。
论文摘要
大型语言模型生成的思维链推理常常在表面上具有逻辑合理性，但它可能并不真正依赖于其所陈述的前提。我们提出干预式 grounding 审计，这是一种黑盒、步骤级别的前提依赖性测试方法。我们通过谓词替换进行干预：将推理步骤中的关键谓词替换为语义相近但逻辑不同的变体，观察模型输出是否产生可预期的变化。实验表明，许多当前思维链推理看似有效，实际对前提的敏感度不足，暴露了模型在逻辑 grounding 方面的缺陷。该方法为系统性地审计和改进 LLM 推理的可靠性提供了新途径。
BibTeX 引用
bibtex @article{arxiv:2607.13069, title={Interventional Grounding Audits: Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution}, author={Authors not specified in the provided content}, journal={arXiv preprint arXiv:2607.13069}, year={2026}, note={arXiv:2607.13069v1} }
预印本编号：arXiv:2607.13069v1
公告类型：new
English / 原文
BibTeX formatted citation
×