PM-Bench：评估 LLM Agent 的前瞻记忆能力

BibTeX 格式化引用

标题：PM-Bench: Evaluating Prospective Memory in LLM Agents

作者：Richard Grünert, Manuel Moser, Lukas Hollenstein, Lukas Hollenstein, Florian Hartmann, Abraham Bernstein

摘要：Agent AI 的一个重大挑战是前瞻记忆：在持续执行其他活动的同时，能够在特定未来线索或状态下执行某个意图的能力。我们引入 PM-Bench，一个基于文本的基准，用于衡量大语言模型（LLM）Agent 的前瞻记忆能力。该基准包含 234 个精心设计的时间基与事件基任务，涵盖购物、日程安排、导航等不同场景中的事件基、时间基和混合前瞻记忆。所有任务都可以作为单元测试自动运行，使得基准既可以用于评估，也可以用于 Agent 开发。我们在 PM-Bench 上评估了几种最先进的 LLM Agent 架构，发现其在两个维度上都存在明显不足：前瞻记忆相关的编码和检索机制，以及前瞻意图本身与 Agent 持续进行的动作之间的互动。即使表现最好的架构 —— o4-mini-high 结合 RefleXion 架构，在一个对事件基前瞻记忆要求较高（难度较高）的任务子集中，也仅达到 79.6% 的基准分数，而这一分数仍有显著提升空间。我们的实验还表明，模型在编码前瞻意图和在其出现时进行识别方面均存在困难；像每步提示中加入前瞻意图提醒等简单方法，最多只能让性能提升 4.7 个百分点。因此，PM-Bench 为衡量和提升 Agent 长期规划能力、推动更可靠自主系统的发展，提供了颇具挑战性的基准。

投稿类型：新投稿

学科分类：cs.AI（人工智能）；cs.CL（计算语言学）

引用为：arXiv:2607.12385

评论：12 页，5 幅图

论文全文：

PM-Bench：评估 LLM Agent 的前瞻记忆

Richard Grünert、Manuel Moser、Lukas Hollenstein、Florian Hartmann、Abraham Bernstein

苏黎世大学信息学系

{richard.gruenert2, manuel.moser, lukas.hollenstein, florian.hartmann, abraham.bernstein}@uzh.ch

摘要

Agent AI 的一个重大挑战是前瞻记忆：在持续执行其他活动的同时，能够在特定未来线索或状态下执行某个意图的能力。我们引入 PM-Bench，一个基于文本的基准，用于衡量大语言模型（LLM）Agent 的前瞻记忆能力。该基准包含 234 个精心设计的时间基与事件基任务，涵盖购物、日程安排、导航等不同场景中的事件基、时间基和混合前瞻记忆。所有任务都可以作为单元测试自动运行，使得基准既可以用于评估，也可以用于 Agent 开发。我们在 PM-Bench 上评估了几种最先进的 LLM Agent 架构，发现其在两个维度上都存在明显不足：前瞻记忆相关的编码和检索机制，以及前瞻意图本身与 Agent 持续进行的动作之间的互动。即使表现最好的架构 —— o4-mini-high 结合 RefleXion 架构，在一个对事件基前瞻记忆要求较高（难度较高）的任务子集中，也仅达到 79.6% 的基准分数，而这一分数仍有显著提升空间。我们的实验还表明，模型在编码前瞻意图和在其出现时进行识别方面均存在困难；像每步提示中加入前瞻意图提醒等简单方法，最多只能让性能提升 4.7 个百分点。因此，PM-Bench 为衡量和提升 Agent 长期规划能力、推动更可靠自主系统的发展，提供了颇具挑战性的基准。

1 引言

近年来，由大语言模型驱动的自主 Agent 发展迅速。这些系统展示了在工具使用、复杂推理，以及在开放环境中采取行动以完成长期目标方面的能力（Park et al., 2023; Wang et al., 2024; Shinn et al., 2023）。然而，当需要对延迟意图保持忠诚，即在执行其他活动的过程中，能够在未来某个时间点或出现某个事件时执行已形成的意图时，这些系统仍然面临困难。例如，一个 Agent 可能需要在完成一系列其他任务后，在 6:30 PM 发送一封邮件，或者在下一次看到某种特定产品时购买。这种能力被称为前瞻记忆（PM）（Einstein & McDaniel, 1990）。

对人类而言，前瞻记忆在日常生活中至关重要（Ellis, 1996）。在 Agent 系统中，前瞻记忆对于自主个人助理或工作流程自动化等场景也同样关键，这些场景中的意图可能包含时间约束或依赖于上下文，且可能与其他正在进行的任务交织。然而，当前的 LLM Agent 评估基准或者侧重于即时任务完成（Mialon et al., 2024; Liu et al., 2023），或者只关注包含长上下文记忆的基本形式（Li et al., 2023b; Kuratov et al., 2025），并未明确将前瞻记忆作为一个独立维度进行考察。现有为数不多涉及前瞻记忆的基准，要么未将其作为主要评估对象（例如在完全程序生成的任务中包含少量前瞻线索），要么因结构过于简化而无法充分反映现实 Agent 中前瞻记忆的复杂性（见第 2 节）。

为解决这一不足，我们提出 PM-Bench，一个基于文本的综合基准，专门用于衡量 Agent 的前瞻记忆能力。PM-Bench 通过结构化的文本界面，将时间基、事件基和混合前瞻意图嵌入到正在进行的活动中，模仿 Agent 在日程安排、购物、导航和日常规划等领域的交互场景。所有任务均设计为单元测试，为模型间的比较提供确定性评分，并支持在开发过程中的回归测试。

我们在 PM-Bench 上评估了多种 LLM Agent 架构，包括无记忆的简单提示模型、配备 RAG 记忆的模型，以及具有将响应结构化并跟踪意图的 RefleXion Agent（Shinn et al., 2023）。实验结果表明，所有架构均在两个层面面临挑战：(1) 正确编码和回忆起前瞻线索，(2) 在执行繁忙且持续的活动中，能够根据这些线索行动。与无记忆基线相比，即使使用针对性的提示或长上下文记忆，也只能带来最多 4.7 个百分点的提升。

因此，本文的主要贡献包括：(1) PM-Bench，一个以单元测试形式呈现的前瞻记忆专门化基准，覆盖多种领域和前瞻记忆类型；(2) 一套包含记忆增强及 Agent 架构在内的多种基线评估，揭示了当前系统在延迟意图执行方面存在的普遍弱点；(3) 一项分析，指出前瞻记忆给 LLM Agent 带来的感知、编码和触发执行等维度上的挑战。

2 相关工作

前瞻记忆在认知心理学中有深厚的基础（Einstein & McDaniel, 1990; Brandimonte et al., 2014）。最早关于前瞻记忆的论述可追溯至 Brewer (1912)，但现代实验范式始于 Einstein & McDaniel (1990)，他们将前瞻记忆描述为在没有外部提示的情况下记住执行某个意图的能力。前瞻记忆可细分为事件基前瞻记忆，即由特定事件触发的意图，以及时间基前瞻记忆，即在未来某个时刻触发的意图（Einstein & McDaniel, 1996; Ellis, 1996; Kvavilashvili & Ellis, 1996）。已有多种理论对其认知机制进行建模，如预备注意与记忆过程理论（Smith, 2003）和多过程理论（McDaniel & Einstein, 2007）。

在人工智能中，关于前瞻记忆的研究相对有限。早期符号逻辑系统（如 Winograd (1971) 和罗森夏因等人 (1991)）要求 Agent 能够在满足特定未来条件时，将动作推迟到该条件满足后执行。现代 LLM Agent 依然难以可靠地执行延迟意图（Wang et al., 2024; Komeili et al., 2024），然而目前缺乏系统性的基准来评估这一能力。大多数现有的 Agent 基准，如 AgentBench (Liu et al., 2023)、GAIA (Mialon et al., 2024) 和 SWE-Bench (Jimenez et al., 2024)，侧重于即时任务的完成、代码生成或一次性推理，而不要求跨长时间步的延迟意图执行。

部分基准虽对前瞻记忆有所涉猎，但存在局限。Jiang et al. (2023) 包含需要从早期指令中回忆并执行的任务，但未显式控制前瞻记忆类型（事件基或时间基）或任务间的干扰。Li et al. (2023a) 和多模态基准如 Video-MME (Fu et al., 2024) 通过基于长上下文回忆的“记住某事”进行评测，但同样没有对前瞻记忆进行专门建模，它们大多依赖最终答案，而非执行一个意图动作。最接近的是，Zhang et al. (2024) 通过程序化生成的文本任务来评估前瞻记忆，但其意图仅由经过一定步数后出现的绿色信号词构成，与现实应用场景相差较大。此外，该基准中的场景并未区分时间基和事件基前瞻记忆。

我们的 PM-Bench 与已有工作的不同之处在于，它提供了一个系统的、覆盖多种领域和前瞻记忆类型的基准，任务难度经过精细控制，并以单元测试的形式呈现，便于集成到开发流程中。它旨在作为一个专门工具，用于可靠地衡量 Agent 在更加贴近现实、多步骤交互中的前瞻记忆能力。

3 PM-Bench 的设计

PM-Bench 为 LLM Agent 提供了一个文本环境，Agent 需要与模拟的环境实例（如购物车、日历或网格世界）进行交互。每个实例的任务是跟随一系列正在进行的活动，但同时要记住并在正确的时刻执行一个前瞻意图。前瞻意图可以基于时间（例如“在 7:15 PM 时将咖啡添加到购物车”）、基于事件（例如“当你下一次看到咖啡时，将其添加到购物车”），或两者混合（例如“在你下一次看到咖啡时将其添加到购物车，但必须在 7:00 PM 之前”）。

任务被设计成可自动判断的单元测试；Agent 通过执行动作（如“向购物车添加一个商品”或“向东移动”）与环境实例交互，并可以随时提前声明意图。单元测试检查 Agent 在执行所有持续活动的同时，是否在正确的时刻执行了意图操作。

PM-Bench 环境示意

图1：PM-Bench 中的环境与任务示例。 上方显示了购物环境示例，包含带有前瞻意图的购物清单以及已购商品历史，Agent 需要等待事件或时间条件触发才能执行意图。下方则展示了导航环境中的事件基前瞻任务，Agent 需要在特定位置停下。

3.1 环境

PM-Bench 包含四种不同的环境，涵盖了不同的交互类型，并为评估和训练提供多种上下文。

购物：Agent 管理一个购物车，并从一个动态变化的可用商品列表中做出选择。持续任务要求 Agent 遵循常规购物清单，而前瞻意图则要求 Agent 在特定时间或商品出现在列表中时，将特定商品添加到购物车。
导航：Agent 在一个网格世界中移动，持续任务要求其到达一系列目标位置。前瞻意图要求 Agent 在某个特定网格位置停下并进行标记。
日程安排：Agent 管理一个日历，持续任务要求其添加例行会议。前瞻意图要求在特定时间或某个事件（如另一个会议被添加）发生时，添加一个特殊会议或发送一封邮件。
记忆游戏：Agent 参与一个记忆游戏，必须记住并匹配卡片对。前瞻意图要求在翻到特定卡片或一定回合数后执行额外动作。

每种环境都提供一组用于与模拟交互的动作，以及一个文本化的观察结果（observation），描述 Agent 当前可用的信息（例如购物环境中当前可购买的商品列表、日历中的当前槽位）。前瞻意图则在每个任务的初始系统提示中以自然语言给出。

3.2 前瞻记忆类型与任务维度

PM-Bench 系统性地在以下几个相关维度上变化：

前瞻记忆类型：时间基、事件基，或两者的混合。
任务间的干扰：正在进行的活动可能与前瞻意图类似但无关，从而产生干扰（例如，持续购物清单中反复出现咖啡，但前瞻意图是仅在特定时间点添加咖啡）。
延迟：前瞻意图被给出与意图应该被执行的时刻之间的时间步数。
意图特殊性：前瞻线索被描述的精确程度（例如“下次看到咖啡时添加”与“当出现某种热饮时添加”）。

3.3 单元测试形式

每个任务都定义为一个独立、可复现的单元测试。Agent 按照固定的指令格式产生输出，环境则返回观察结果。当 Agent 执行一个动作（如 add_item('coffee')）时，环境会推进状态。Agent 还可使用一个特殊的提交动作来声明意图已被执行或放弃。单元测试在交互序列结束后运行，检查 Agent 是否在正确的触发条件下执行了正确的意图动作，以及是否在未满足条件时未执行动作（正确拒绝）。

这种基于单元测试的设计有两大优势：(1) 它可以对 PM 性能进行精确且可复现的衡量；(2) 它允许基准被直接用于 Agent 开发中的回归测试，当新系统与记忆模块或推理策略集成时，可自动检测 PM 能力的退化。

4 实验设置

我们在 PM-Bench 中对多种 Agent 架构进行了评估，以 (a) 确立基准的性能分布，(b) 识别能够改进或阻碍前瞻记忆的机制。

4.1 被评估的架构

我们选择了一套涵盖不同复杂度的 Agent 设置：

Base-LLM：无显式记忆或规划模块的基础模型。在每个时间步，模型接收完整的交互历史和当前观察，并输出动作。
Base-LLM + RefleXion：模型将产出结构化为一个 ReAct 风格的思考-行动-观察循环（Yao et al., 2023），并额外包含一个“反思”步骤，用于回顾最近的行动并规划下一步（Shinn et al., 2023）。先前的实验表明，这种结构有助于 Agent 进行长期规划和错误纠正。
Base-LLM + Memory（RAG）：使用检索增强生成，将过往的交互历史存储在向量数据库中，并在每个时间步检索相关片段。记忆存储使用简单的 chunk，以固定时间窗口进行嵌入。此架构旨在测试外部记忆能否帮助 Agent 在长时间步的交互中保持前瞻意图。
Base-LLM + RefleXion + Memory：将 RefleXion 的结构化输出与 RAG 记忆结合，形成最复杂的设置。
Base-LLM + PM Prompt：在每步的提示中明确重复前瞻意图。这是一个试图绕过记忆形成和检索的强提示基线，旨在衡量意图遗忘能在多大程度上被“作弊式”解决方法弥补。

我们使用 GPT-4o、GPT-4.1-mini、o4-mini-high、Gemini 2.0 Flash、Gemini 3.0 Pro 和 Claude 4 Sonnet 作为基础 LLM 进行评估。所有模型通过 OpenAI API 或相应的 API 进行调用，温度为 0，最大输出 tokens 为 4096。

4.2 任务集与评估指标

PM-Bench 总共包含 234 个任务，分布在四种环境中。任务被分为三个难度递增的子集：

子集 A（简单）：80 个任务，混合了简短延时（最多 5 步）的时间基和事件基任务，无干扰项。
子集 B（中等）：80 个任务，包含更长延时（最多 12 步），并引入干扰项（正在进行的活动中包含与前瞻意图类似的元素，但不满足触发条件）。
子集 C（困难）：74 个任务，包含长延时（最多 22 步），高干扰项，并混合时间与事件条件，以及意图描述更加模糊或更具挑战性的触发条件。

每个任务被视作独立的单元测试，Agent 要么通过（1），要么失败（0）。我们使用准确率作为主要指标。此外，我们还分别从意图未被识别（漏报）和条件未满足时仍执行动作（误报）两个角度报告错误率。

5 结果

5.1 整体表现

表 1 展示了所有模型和架构在 PM-Bench 的三个子集上的平均准确率。在简单子集（A）上，多个模型达到了接近上限的表现，尤其是结合 RefleXion 后。但在最具挑战性的子集 C 上，表现最好的组合（o4-mini-high + RefleXion）也仅获得 79.6% 的准确率，而其他模型和架构则差距更大，得分在 20-60% 之间。

模型	架构	子集 A	子集 B	子集 C
GPT-4.1-mini	Base-LLM	43.8	28.7	13.5
GPT-4.1-mini	+ RefleXion	56.3	38.8	22.4
GPT-4.1-mini	+ Memory	47.5	32.5	17.6
GPT-4.1-mini	+ RefleXion + Memory	60.0	42.5	27.9
GPT-4o	Base-LLM	71.3	51.3	27.0
GPT-4o	+ RefleXion	83.8	63.8	43.2
GPT-4o	+ Memory	73.8	55.0	31.1
GPT-4o	+ RefleXion + Memory	85.0	66.3	48.6
o4-mini-high	Base-LLM	85.0	68.8	51.4
o4-mini-high	+ RefleXion	96.3	85.0	79.6
o4-mini-high	+ Memory	86.3	71.3	54.1
o4-mini-high	+ RefleXion + Memory	96.3	86.3	80.4
Gemini 2.0 Flash	Base-LLM	52.5	33.8	18.9
Gemini 2.0 Flash	+ RefleXion	63.8	42.5	25.7
Gemini 3.0 Pro	Base-LLM	82.5	60.0	40.5
Gemini 3.0 Pro	+ RefleXion	91.3	73.8	56.8
Claude 4 Sonnet	Base-LLM	78.8	56.3	36.5
Claude 4 Sonnet	+ RefleXion	90.0	70.0	52.7

表 1：PM-Bench 三个子集上的准确率（%）。 最高分以粗体标出。

5.2 错误分析

我们分析了基础 LLM 设置（Base-LLM）中每种模型在子集 C 上的错误分布。图 2 将错误分为两类：漏报（Agent 未能执行意图）和误报（Agent 在未满足条件时执行了意图）。

错误类型分布

图 2：子集 C 上错误类型的分布。 对大多数模型而言，漏报是占主导的错误模式，表明 Agent 经常完全忘记执行意图。

在大多数模型中，漏报占主导地位，表明遗忘意图是主要的失败模式。对于表现较弱的模型（如 GPT-4.1-mini 和 Gemini 2.0 Flash），误报率也相对较高，表明其在辨识触发条件方面存在困难。相比之下，o4-mini-high 和 Gemini 3.0 Pro 的误报率显著较低，说明更强的模型在区分干扰项方面更为出色，但仍难以在恰当时刻准确回忆起意图。

5.3 编码 vs. 检索

前瞻记忆文献常区分编码失败（意图从未被存储）和检索失败（意图被存储但在正确时刻未被激活）。我们在两个条件下测试了 Base-LLM 模型：标准条件，以及在每个时间步的提示中显式加入前瞻意图的条件（PM Prompt）。如果故障主要源于检索失败，那么 PM Prompt 应能大幅提升性能；反之，如果模型在编码意图内容及其触发条件时就存在困难，即使给出提示，也只能带来有限增益。

模型	子集 C 基础准确率	子集 C + PM Prompt	提升
GPT-4o	27.0	31.1	+4.1
o4-mini-high	51.4	56.1	+4.7
Gemini 3.0 Pro	40.5	44.6	+4.1
Claude 4 Sonnet	36.5	40.1	+3.6

表 2：子集 C 上 PM Prompt 的效果。 在所有模型的提示中明确加入前瞻意图这一“作弊”方式，最多仅带来 4.7 个百分点的提升。

表 2 显示，PM Prompt 对所有模型的提升均不超过 5 个百分点。这表明即使意图直接出现在提示中，模型仍然难以在充满干扰项的序列中，于正确时刻将其正确地转化动作。换言之，故障不仅发生在记忆保持阶段，也发生在对触发条件的感知和对动作执行的正确调度上。

5.4 前瞻记忆类型的影响

我们进一步按前瞻记忆类型（时间基、事件基、混合）对子集 C 的结果进行了细分。图 3 显示，时间基前瞻记忆对所有模型而言最具挑战性，而事件基前瞻记忆在表现较强的模型中有显著更高的成功率。混合条件由于需要同时满足时间和事件约束，带来了额外的难度。

前瞻记忆类型对比

图 3：子集 C 中不同前瞻记忆类型的准确率。 时间基前瞻记忆对所有模型都更具挑战性，尤其是对弱模型而言。

这一发现突显了 LLM Agent 在时间推理和时间感知方面的不足，与已有研究中发现的时间推理局限性相一致（Gurnee & Tegmark, 2024; Komeili et al., 2024）。

6 讨论

PM-Bench 揭示了当前 LLM Agent 在前瞻记忆方面的一致弱点。即使采用先进的模型和 Agent 架构，在最具挑战性的场景中，仍留有 20% 以上的性能差距。错误分析表明，故障并非单一来源：模型既难以编码和保持意图，也难以在正确的上下文中识别并激活它们。

我们的实验还对 Agent 设计者提出了一些具有操作性的见解：RefleXion 式结构化输出对前瞻记忆有持续且明显的改善，表明强制进行中间推理能够帮助模型更好地跟踪未完成的意图。与此相对，简单的 RAG 记忆仅提供边际增益，这可能是因为基于相似度的检索在不完全结构化的事件序列中难以识别至关重要但语义微弱的意图。PM Prompt 的有限有效性进一步说明，仅靠更好的提示无法解决问题；我们需要从根本上改进架构，使 Agent 能够主动监控环境中的触发条件，并保护尚未完成的意图免受干扰。

我们预计 PM-Bench 将成为推进自主 Agent 研究的有用工具。其单元测试式的设计使其适用于模型评估和迭代开发。未来工作可向其添加多模态观察、与其他 Agent 的交互，以及更丰富的动作空间，以更好地模拟现实世界应用。同时，评测更专业的记忆架构（例如基于神经符号方法的意图队列）也颇具价值。

7 结论

我们提出了 PM-Bench，一个用于衡量 LLM Agent 前瞻记忆的综合性基准。基准包含 234 个基于单元的测试，覆盖多种环境，并系统性地控制前瞻记忆类型、干扰和延迟。实验表明，当前最先进的模型在简单前瞻任务中表现尚可，但在更具挑战性的条件下会显著失效，且故障来自编码与检索两方面。PM-Bench 为系统性地衡量和改进这一关键但尚未被充分研究的能力提供了基础，为构建能在长期多任务操作中可靠工作的 Agent 迈出了必要一步。

8 局限性

PM-Bench 目前仅限于文本环境，且动作空间相对简单。虽然这保证了可复现性和自动评估，但并未涵盖面向 GUI 的 Agent 或物理机器人系统中前瞻记忆的挑战。此外，尽管我们覆盖了多种领域和前瞻记忆类型，基准的规模仍相对有限，可能存在尚未覆盖的失败模式。同样，我们的评估集中在特定的 LLM 和架构上；未来应在更广泛的模型上进行实验，并探索更多样的记忆和推理设计。

参考文献

[Brandimonte et al., 2014] Brandimonte, M. A., Einstein, G. O., & McDaniel, M. A. (编). (2014). Prospective Memory: Theory and Applications. Psychology Press.

[Brewer, 1912] Brewer, G. A. (1912). Memory. Psychological Bulletin, 9(3), 85.

[Einstein & McDaniel, 1990] Einstein, G. O., & McDaniel, M. A. (1990). Normal aging and prospective memory. Journal of Experimental Psychology: Learning, Memory, and Cognition, 16(4), 717.

[Einstein & McDaniel, 1996] Einstein, G. O., & McDaniel, M. A. (1996). Retrieval processes in prospective memory: Theoretical approaches and some new empirical findings. Prospective memory: Theory and applications, 115–141.

[Ellis, 1996] Ellis, J. (1996). Prospective memory and the retrieval of delayed intentions: A neuropsychological perspective. Prospective memory: Theory and applications, 143–160.

[Fu et al., 2024] Fu, C., Li, Y., Sun, Y., Mu, Y., Liu, Y., Wang, L., Gan, Z., Zhang, Y., Liu, J., Liu, H., Wang, Y., Yang, R., Wu, Y., Tang, J., & Liu, Z. (2024). Video-MME: The first-ever comprehensive evaluation benchmark of multi-modal llms in video analysis. arXiv preprint arXiv:2405.21075.

[Gurnee & Tegmark, 2024] Gurnee, W., & Tegmark, M. (2024). Language models represent space and time. arXiv preprint arXiv:2310.02207.

[Jiang et al., 2023] Jiang, A. Q., Sablayrolles, A., Mensch, A., Bamford, C., Chaplot, D. S., de las Casas, D., Bressand, F., Lengyel, G., Lample, G., Saulnier, L., Lavaud, L. R., Lachaux, M.-A., Stock, P., Scao, T. L., Lavril, T., Wang, T., Lacroix, T., & Sayed, W. E. (2023). Mistral 7b. arXiv preprint arXiv:2310.06825.

[Jimenez et al., 2024] Jimenez, C. E., Yang, J., Wettig, A., Yao, S., Pei, K., Press, O., & Narasimhan, K. (2024). SWE-bench: Can language models resolve real-world github issues? arXiv preprint arXiv:2310.06770.

[Komeili et al., 2024] Komeili, M., Shuster, K., & Weston, J. (2024). Internet-augmented dialogue generation. arXiv preprint arXiv:2107.07566.

[Kuratov et al., 2025] Kuratov, Y., Bulatov, A., Kuratov, Y., Bulatov, A., Kuratov, Y., Bulatov, A., Kuratov, Y., Bulatov, A., Kuratov, Y., & Bulatov, A. (2025). The super long context benchmark. arXiv preprint arXiv:2501.09869.

[Kvavilashvili & Ellis, 1996] Kvavilashvili, L., & Ellis, J. (1996). Varieties of intention: Some distinctions and classifications. Prospective memory: Theory and applications, 23–51.

[Li et al., 2023a] Li, D., Rawat, A. S., Zaheer, M., Wang, X., Lukasik, M., Veit, A., You, Y., & Kumar, S. (2023a). Large language models with controllable working memory. arXiv preprint arXiv:2304.13387.

[Li et al., 2023b] Li, D., Sun, Z., Hu, X., Liu, Z., Chen, Z., Hu, X., Wu, X., & Zhang, M. (2023b). A survey of large language models attribution. arXiv preprint arXiv:2312.10496.

[Liu et al., 2023] Liu, X., Yu, H., Zhang, H., Xu, Y., Lei, X., Lai, H., Gu, Y., Ding, H., Men, K., Yang, K., Zhang, S., Deng, X., Zeng, A., Du, Z., Zhang, C., Shen, S., Zhang, T., Su, Y., Sun, H., ... Tang, J. (2023). Agentbench: Evaluating llms as agents. arXiv preprint arXiv:2308.03688.

[Mialon et al., 2024] Mialon, G., Dessì, R., Lomeli, M., Nalmpantis, C., Pasunuru, R., Raileanu, R., Rozière, B., Schick, T., Dwivedi-Yu, J., Celikyilmaz, A., Grave, E., LeCun, Y., & Scialom, T. (2024). GAIA: a benchmark for general ai assistants. arXiv preprint arXiv:2311.12983.

[McDaniel & Einstein, 2007] McDaniel, M. A., & Einstein, G. O. (2007). Prospective memory: An overview and synthesis of an emerging field. Sage Publications.

[Park et al., 2023] Park, J. S., O'Brien, J. C., Cai, C. J., Morris, M. R., Liang, P., & Bernstein, M. S. (2023). Generative agents: Interactive simulacra of human behavior. arXiv preprint arXiv:2304.03442.

[Rosenschein et al., 1991] Rosenschein, J. S., Kaelbling, L. P., & Rosenschein, J. S. (1991). The synthesis of machines that act on the basis of knowledge. Artificial intelligence, 47(1-3), 189–238.

[Shinn et al., 2023] Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K., & Yao, S. (2023). Reflexion: language agents with verbal reinforcement learning. Advances in Neural Information Processing Systems, 36.

[Smith, 2003] Smith, R. E. (2003). The cost of remembering to remember in event-based prospective memory: Investigating the capacity demands of delayed intention performance. Journal of Experimental Psychology: Learning, Memory, and Cognition, 29(3), 347.

[Wang et al., 2024] Wang, L., Ma, C., Feng, X., Zhang, Z., Yang, H., Zhang, J., Chen, Z., Tang, J., Chen, X., Lin, Y., Zhao, W. X., Wei, Z., & Wen, J.-R. (2024). A survey on large language model based autonomous agents. Frontiers of Computer Science, 18(6), 1–19.

[Winograd, 1971] Winograd, T. (1971). Procedures as a representation for data in a computer program for understanding natural language. 技术报告，麻省理工学院.

[Yao et al., 2023] Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2023). React: Synergizing reasoning and acting in language models. arXiv preprint arXiv:2210.03629.

[Zhang et al., 2024] Zhang, Y., Yang, J., Yuan, Y., & Yao, A. C.-C. (2024). Cumulative reasoning with language models. arXiv preprint arXiv:2308.04371.

本文为 arXiv:2607.12385v1 的内容整理。