RealCLI：面向命令行 CLI Agent 人机协同的统一评估基准
英文标题：RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
随着命令行界面（CLI）Agent 开始承担周期更长的复杂任务，现存基准往往假定用户指令在执行过程中保持不变，或者只评估任务最终产出，未能捕捉运行时的协同质量。针对这一痛点，研究团队提出了 RealCLI，旨在为 CLI Agent 的人机协同提供统一的评测体系。该研究对衡量与提升开发者工具类 Agent 在真实动态交互场景下的协作体验具有重要意义。
打开原文相关 4 · 机会 2
2.1 KB
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
RealCLI：面向命令行 CLI Agent 人机协同的统一评估基准
- arXiv 编号：arXiv:2610.22507v1
- 类型：最新发布（Announce Type: new）
摘要
命令行界面（CLI）Agent 越来越多地用于执行更长周期的复杂任务，但现有的基准测试要么假设用户指令在整个执行过程中保持固定不变，要么仅评估任务最终结果，而未能捕获运行时的协同交互质量。为此……
BibTeX formatted citation
×
English / 原文
BibTeX formatted citation
×