超越 Prompt：LLM 工具 Agent 运行框架（Harness）的度量与优化
英文标题：Beyond Prompts: Measuring and Optimizing LLM Tool-Agent Harnesses
本研究探讨了在不重新训练大模型的前提下，通过优化模型外围的运行框架（Harness，涵盖 Prompt、工具接口、中间件和恢复逻辑）来显著提升 Agent 性能的新路径。作者提出了专注于 Prompt 与工具边界中间件的受限搜索协议，并开发了能聚类失败并路由修复的 PRISM 优化器。实验表明，PRISM 在 BFCL 多轮、tau2-Retail 和 tau2-Telecom 基准上分别取得了 14.2、14.9 和 10.1 个百分点的平均留出性能提升，且表现出高度的可靠性。该工作表明，工具边界中间件与 Prompt 具有同等关键的优化价值，为开发者在受限预算下系统性度量和提升 Agent 系统鲁棒性提供了实用规范。
2.1 KB
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
[提交于 2026 年 9 月 4 日 (v1)，最后修订于 2026 年 9 月 9 日（本版本，v2）]
标题：超越 Prompt：LLM 工具 Agent 运行框架（Harness）的度量与优化
查看 Cen Mia Zhao 等 6 位作者撰写的论文《超越 Prompt：LLM 工具 Agent 运行框架的度量与优化》PDF：
摘要：LLM 工具 Agent 无需重新训练即可获得性能提升，只需修改围绕固定模型的运行时框架（Harness）：包括 Prompt、工具接口、中间件、状态处理以及恢复逻辑。我们将该场景定义为固定模型多轮工具 Agent 在资源受限下的框架选择问题，并将搜索范围限定在 Prompt 与工具边界中间件：所做修改属于工具边界处的受控拦截，而非对 Agent 执行逻辑的任意重写。我们提出的与优化器无关的评估协议能够报告平均留出提升（mean held-out lift）、最差条件提升、可重复性、记录的成本诊断以及 RelLift95(B)——即在预算 B 下选定框架所获留出收益的保守估计。我们在仅优化 Prompt 以及“Prompt+中间件”联合优化器上实例化了该协议，其中包括 PRISM 优化器：它可以在帕累托搜索中对失败模式进行聚类，并将修复路由至 Prompt、工具边界中间件或联合编辑层面。在 BFCL multi-round、tau2-Retail 和 tau2-Telecom 测试基准上，PRISM 分别实现了 14.2、14.9 和 10.1 个百分点的平均留出提升，并在全部三个基准上均取得了正向的经验 RelLift95；消融实验表明，这一优势主要归因于失败表面路由机制与编辑模式约束。横向对比各类优化器可以发现，部分搜索过程虽然偶尔能发现大幅增益，但选出的往往是脆弱的更新策略，因此在报告平均留出提升的同时，必须同步评估并报告所选运行框架的可靠性。
提交历史
来自：Cen Mia Zhao [查看邮箱]
[v1] 2026 年 9 月 4 日 星期五 21:35:00 UTC (2,858 KB)
[v2] 2026 年 9 月 9 日 星期三 02:25:30 UTC (2,858 KB)
English / 原文
[Submitted on 4 Sep 2026 (
), last revised 9 Sep 2026 (this version, v2)]
Title:Beyond Prompts: Measuring and Optimizing LLM Tool-Agent Harnesses
View a PDF of the paper titled Beyond Prompts: Measuring and Optimizing LLM Tool-Agent Harnesses, by Cen Mia Zhao and 5 other authors
Abstract:LLM tool agents can be improved without retraining by modifying the runtime harness around a fixed model: prompts, tool interfaces, middleware, state handling, and recovery logic. We study this setting as resource-bounded harness selection for fixed-model multi-turn tool agents, with the search surface scoped to prompts and tool-boundary middleware: edits are guarded intercepts at the tool boundary, not arbitrary rewriting of agent execution logic. Our optimizer-agnostic protocol reports mean held-out lift, worst-condition lift, repeatability, logged cost diagnostics, and RelLift95(B), a conservative estimate of the held-out gain of the harness selected under budget B. We instantiate the protocol with prompt-only and prompt-plus-middleware optimizers, including PRISM, which clusters failures and routes repairs to prompt, tool-boundary middleware, or joint edit surfaces within a Pareto search. On BFCL multi-round, tau2-Retail, and tau2-Telecom, PRISM obtains mean held-out lifts of 14.2, 14.9, and 10.1 percentage points and positive empirical RelLift95 on all three benchmarks, and a component ablation attributes the margin chiefly to failure-surface routing and the edit-pattern constraint. Across optimizers, the results show that some search procedures can occasionally find large gains but still choose brittle updates, so the reliability of the chosen harness should be reported alongside average held-out lift.
Submission history
From: Cen Mia Zhao [
]
Fri, 4 Sep 2026 21:35:00 UTC (2,858 KB)
[v2]
Wed, 9 Sep 2026 02:25:30 UTC (2,858 KB)