Harvey 推出 LAB：评估真实法律工作的开源 Agent 基准

英文标题：🔥 harveyai/harvey-labs

Harvey LAB（Legal Agent Benchmark）是一个开源基准，用于在贴近真实业务的环境中评估 LLM Agent 执行法律工作的能力。该项目由两部分组成：包含指令、文档和评分量表的任务数据集，以及用于运行和评估 Agent 的执行框架。当前基准覆盖 24 个以上法律业务领域，包含 1,671 个任务，并将持续扩充和完善。对于开发者和研究人员而言，LAB 提供了可复现的法律 Agent 测试、评分、报告审阅和模型对比工具链。

打开原文相关 5 · 机会 3

中文

法律 Agent 基准（LAB）：一个用于评估 Agent 在真实法律工作中表现的开源基准。

Harvey LAB 是一个开源项目，旨在衡量 LLM Agent 在真实环境中执行法律工作的能力。

LAB 由两部分组成：一个包含 Agent 指令、文档和评分量表的任务数据集，以及一个用于针对这些任务运行和评估 Agent 的执行框架。

LAB 是一个持续推进的项目。我们预计将持续扩展和完善任务集与执行框架。

阅读公告文章：介绍 Harvey 法律 Agent 基准

请从完整教程 docs/tutorial.md 开始——该教程端到端演示了一项真实的并购数据室任务：环境设置、任务检查、Agent 运行、评分、报告审阅及对比仪表板。

指南	说明
架构	任务模型、执行框架、工具、适配器、报告和批量实验
评估方法论	全项通过的评分量表评分，以及 LLM 裁判行为
贡献指南	添加任务、模型适配器、评估改进和文档

如果您在研究中使用 Harvey LAB，请按以下格式引用：

@misc{harveylab2026,
  title   = {Harvey LAB: The Legal Agent Benchmark},
  author  = {{Harvey AI}},
  year    = {2026},
  version = {v1.0},
  url     = {https://github.com/harveyai/harvey-labs/tree/v1.0},
  note    = {Announcement: \url{https://www.harvey.ai/blog/introducing-harveys-legal-agent-benchmark}}
}

English / 原文

Legal Agent Benchmark (LAB): An open-source benchmark for evaluating agents on real legal work.

Harvey LAB is an open-source project aimed at benchmarking LLM agents' abilities to perform legal work in realistic environments.

LAB consists of two parts: a dataset of tasks containing agent instructions, documents, and rubrics as well as an execution harness for running and evaluating agents against those tasks.

LAB is an ongoing project and we expect to consistently add to and refine the task set and execution harness.

Read the announcement post: Introducing Harvey's Legal Agent Benchmark

Start with the full walkthrough in docs/tutorial.md — it takes one realistic M&A data-room assignment end to end: setup, task inspection, agent run, scoring, report review, and comparison dashboards.

Guide	Description
Architecture	Task model, harness, tools, adapters, reports, and sweeps
Evaluation Methodology	All-pass rubric scoring and LLM judge behavior
Contributing	Add tasks, model adapters, evaluation improvements, and docs

If you use Harvey LAB in your research, please cite it as:

@misc{harveylab2026,
  title   = {Harvey LAB: The Legal Agent Benchmark},
  author  = {{Harvey AI}},
  year    = {2026},
  version = {v1.0},
  url     = {https://github.com/harveyai/harvey-labs/tree/v1.0},
  note    = {Announcement: \url{https://www.harvey.ai/blog/introducing-harveys-legal-agent-benchmark}}
}