面向实时数据科学任务的基于技能的 Agent 评测框架
英文标题：Skill-based Agentic Evaluation for Real-time Data Science Tasks
本文提出了一个针对实时、持续更新数据流评估数据科学 Agent 的评测框架。该框架通过结合可执行真实标签（executable ground truth）与格式无关的事实元评分机制，有效解决了动态时效性查询的评估难题，例如面对“上周的观众规模是多少”等不断变化的查询场景。该研究为开发者在真实复杂、动态演进的数据环境下准确量化评估数据科学 Agent 的能力提供了全新方法与标准。
打开原文相关 3.2 · 机会 1
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
摘要
我们提出了一个用于在实时、持续更新的数据上评估数据科学 Agent 的评测框架，该框架采用可执行真实标签（executable ground truth）与格式无关的事实元评分（format-agnostic factoid scoring）方法。以这样一个查询为例：“上周的观众规模是多少？”——参考答案会随时间动态变化，而本框架能有效应对这一挑战。
BibTeX 格式引用
bibtex @article{arxiv:2609.16487v1, title={Skill-based Agentic Evaluation for Real-time Data Science Tasks}, journal={arXiv preprint arXiv:2609.16487v1}, year={2026} }
English / 原文
BibTeX formatted citation
×