记忆何时真正起效？面向工具调用型 LLM Agent 长期记忆的成本感知评估
英文标题：When Does Memory Help? A Cost-Aware Evaluation of Long-Term Memory in Tool-Using LLM Agents
当前针对大语言模型（LLM）Agent 的长期记忆评估主要依赖 LoCoMo、LongMemEval 等对话检索基准，这些基准仅衡量模型针对对话历史的问答表现，无法验证所记忆的事实是否真正改变了工具调用型 Agent 的实际行动决策。为此，研究团队提出了成本感知的全新评估基准 MERIT，专注于评估长期记忆在实际交互与工具使用场景下的有效性。该工作揭示了长期记忆机制在降低 API 交互与提升执行成功率方面的成本效益权衡，为开发者构建高效、低成本的实用 Agent 系统提供了重要指引。
打开原文相关 4.8 · 机会 3
2.1 KB
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
论文信息
- arXiv 编号：arXiv:2609.05441v1
- 公告类型：新论文发布 (new)
摘要
当前评估 LLM Agent 长期记忆的方法主要依赖对话回忆基准（例如 LoCoMo、LongMemEval），这些基准测试的是模型对对话历史的问答能力，而非所记住的事实是否会改变工具调用型 Agent 的实际行动。为此，我们提出了 MERIT……
BibTeX formatted citation
×
English / 原文
BibTeX formatted citation
×