IFC-MCQ：面向 IFC 数据检索评估的 LLM Agent 自动化多选题基准构建
英文标题：IFC-MCQ: Automatically Generating Multiple-Choice Benchmarks for Evaluating LLM Agents on IFC Data Retrieval
工业基础类（IFC）是建筑、工程与施工（AEC）领域建筑信息交换的国际标准，目前正广泛结合大语言模型（LLM）实现自然语言数据检索。针对大规模自动化评测此类系统能力的难题，研究团队提出了多选题基准自动生成框架 IFC-MCQ。该工具能够系统化评估 LLM Agent 在复杂建筑数据环境下的检索准确性与推理性能，为建筑垂直领域智能体的开发与优化提供了重要基准。
打开原文相关 5.6 · 机会 1
2.0 KB
461 B
612 B
380 B
24.2 KB
34.7 KB
中文
论文摘要
arXiv 编号：arXiv:2610.30533v1
发布类别：新公布（new）
摘要正文：工业基础类（Industry Foundation Classes, IFC）是建筑、工程与施工（AEC）领域进行建筑信息交换的核心标准。目前，越来越多的应用开始借助大语言模型（LLM）通过自然语言对 IFC 数据进行交互查询。然而，在大规模场景下对此类系统进行评测仍面临巨大挑战……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×