ContractEval：面向过程性指令遵从的查询条件执行匹配

英文标题：ContractEval: Query-Conditioned Execution Matching for Procedural Instruction Conformance

ContractEval 提出一种用于评估 LLM Agent 是否遵从过程性指令的方法，重点关注由查询条件约束的执行匹配。论文指出，随着 LLM Agent 从回答问题转向执行流程，其失败形式未必表现为明显错误：最终回答可能看似合理，但系统可能跳过了必要的检查、分支、依赖关系或不变量。该工作对开发者的意义在于，Agent 评测不应只看最终输出，还应验证执行过程是否满足任务规定的程序性约束。原始摘要片段未提供完整方法细节、实验数据或具体结论。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB