InferenceBench：用于评估 AI Agent 开放式大语言模型推理优化能力的基准

英文标题：InferenceBench: A Benchmark for Open-Ended LLM Inference Optimization by AI Agents

InferenceBench 是一项面向 AI Agent 的基准测试，旨在评估其在开放式大语言模型推理优化任务中的能力。论文指出，AI Agent 正 increasingly 被用于自动化研发工作，但现有基准通常只考察预设工作流或狭窄的行动空间。即使是名义上的开放式任务，也往往能够通过检索已有的知名方案解决，因此难以充分衡量 Agent 的真实优化与研究能力。该基准对开发者和行业的意义在于，可推动对 Agent 自主进行 LLM 推理优化能力的更有效评估。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB