DeltaML-Bench：在真实研究代码库中评估机器学习 Agent

英文标题：DeltaML-Bench: Evaluating Machine Learning Agents on Real-World Research Repositories

DeltaML-Bench 是一项用于评估机器学习实验自主 Agent 的基准测试。该研究关注 Agent 在真实研究代码库中处理异构环境、修复训练流水线，并在实际算力约束下评估候选改进方案的能力。论文指出，现有基准只能部分覆盖这些真实世界条件，因而可能无法充分反映机器学习 Agent 的实际研发能力。该工作对开发者和行业的意义在于，为评估面向机器学习研发自动化的 Agent 提供了更贴近真实仓库与实验流程的测试方向。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB