搜索之后才是难点：评测 Web Agent 的知识综合、组织与展示能力
论文指出，现有计算机使用型 Agent 基准测试尚未充分评估 Agent 作为助手时的实际能力。一个有用的助手需要在复杂、多步骤工作流中检索信息，并将其综合为文档、演示文稿和电子表格等产物。该研究聚焦于评测 Web Agent 在知识综合、组织和展示方面的能力，这对开发面向真实办公与信息处理场景的 Agent 具有重要意义。
独立 AI 资讯库
AI 前沿动态、原文归档与媒体镜像
从自动抓取数据库实时读取，适合快速浏览、检索和后续扩展成完整资讯站。
12101资讯
11969正文归档
76232媒体
通过认知实验范式探测 Agent 记忆中的稳定性—可塑性权衡
这篇 arXiv 预印本提出 MemProbe，用于研究 Agent 记忆系统中的稳定性与可塑性权衡。论文指出，Agent 记忆正越来越多地用于保存长期用户偏好、任务状态和持续演化的事实，但现有评测往往将记忆能力简单归结为最终答案准确率。MemProbe 借鉴认知科学实验范式，旨在更细致地评估记忆行为及其动态变化。对开发者而言，这类评测有助于识别记忆系统在保持既有信息与适应新信息之间的取舍。
Inquesto Score：面向语音 Agent 的可靠性评估协议
论文提出 Inquesto Score（IS），一种用于评估语音 Agent 可靠性的协议。作者指出，语音 Agent 正 increasingly 被部署在交易、访问控制等关键工作流中，交互失败可能带来实际后果。该协议旨在提供可复现、可解释的评估方法，为开发者衡量和改进语音 Agent 的可靠性提供参考。
CARGO：面向生产环境 Agentic AI 的上下文感知检索门控评估
该论文提出 CARGO（Context-Aware Retrieval-Gated Evaluation），用于评估生产环境中的 Agentic AI 系统。论文指出，传统基于参考答案的 LLM-as-a-judge 评估通常假设参考答案就是唯一目标答案，但这一假设并不适用于处理支持工单、资产和账户等动态实体的已部署系统。对于这类系统，最接近的可用参考记录往往对应正确的处理流程，但未必与当前实体状态完全一致。该研究对开发者具有意义，因为它关注如何在动态业务上下文中更可靠地评估 Agent 的实际表现。
基于检索的开放式评估在哪些方面失效？从长篇医疗回答事实性验证中自动归纳分类体系
该论文研究基于检索的事实性评估在医疗场景中的失效模式。此类方法通过权威医学语料验证 LLM 生成的声明，已成为临床等高风险环境中可扩展检测幻觉的主流范式。论文聚焦长篇医疗回答的事实性验证，并尝试自动归纳评估失败的分类体系，以帮助开发者识别现有自动评估方法的局限。
系统综述筛选自动化的基准测试框架
系统综述（SR）是循证研究的重要方法，但其文献筛选阶段通常耗时且依赖大量人工劳动。论文提出了一个用于评估系统综述筛选自动化能力的基准测试框架。作者指出，大语言模型（LLM）有望通过辅助文献相关性筛选来降低这一工作负担，并为相关工具的比较与开发提供评测基础。
Spotify 如何引导式构建对话式推荐 Agent：合成数据生成与自我改进循环
该论文介绍 Spotify 构建对话式推荐 Agent 的方法，重点涉及合成数据生成与自我改进循环。对话式推荐使用户能够以自然语言表达复杂内容发现需求，例如请求推荐此前未听过的意大利独立音乐人。论文指出，构建此类系统的核心挑战之一是如何获得并持续改进高质量训练数据。相关方法对需要开发个性化内容推荐、音乐发现和自然语言 Agent 的团队具有参考价值。
SignTrace：描述手语动作，找到对应词语
论文《SignTrace》关注手语学习中的“反向检索”问题：学习者记得某个手语动作，却不知道其含义或正式特征编码。该系统通过自然语言方式支持对中文手语进行检索，帮助用户根据动作描述定位对应词语。原文仅提供了论文标题、arXiv 编号和摘要片段，未包含方法细节、实验数据或完整结论。对开发者而言，这一方向展示了将自然语言检索应用于手语资源访问与学习工具的潜力。
SlideLab：以受众为中心的科学幻灯片生成与评估
SlideLab 是一个无需训练的多智能体框架，用于生成和评估面向科学演示的幻灯片。该研究指出，科学演示不应只是对论文的摘要，还需要以连贯的叙事顺序呈现研究内容，清晰解释核心思想，并帮助受众跟上讲解过程。该工作对开发科学传播、自动化演示文稿生成及 AI Agent 协作系统具有参考价值。论文发表于 arXiv，编号为 arXiv:2609.30294v1。
Cartograph：面向 AI Agent 的联邦工具发现与运营方认证检索
论文介绍了 Cartograph，这是一种面向 Model Context Protocol（MCP）的联邦代理，用于改进 AI Agent 的工具发现流程。随着连接的工具目录不断扩大，向 Agent 加载全部工具定义会带来较高成本；Cartograph 旨在改变这一现状。其核心思路是通过运营方认证的检索机制，让 Agent 在需要时发现相关工具，而非预先加载完整目录。该方案对构建大规模、多服务提供方的 Agent 工具生态具有潜在意义。
并非所有记忆都同等重要：面向 LLM Agent 有效性感知检索的分层协作记忆
该论文提出“分层协作记忆”框架，旨在改进 LLM Agent 在团队协作场景中的记忆检索能力。论文指出，团队记忆与个体记忆具有不同属性：前者记录集体决策、协作协议与当前共识，后者保留成员特有的观察、执行轨迹等信息。该方法强调在检索时识别记忆的有效性与层级，有望帮助开发者构建更可靠、更适应动态协作环境的多 Agent 系统。原始摘要内容在“and int”处截断，未提供完整实验数据和具体结论。
冻结 BERT 中 AI 文本检测神经元的机制研究：基于 RAID 的稀疏探测与激活修补
该研究关注 AI 生成文本检测器虽然在标准基准上准确率较高，但驱动其预测的内部表征仍缺乏清晰解释这一问题。作者研究了冻结的 BERT-base-uncased 编码器中，哪些神经元支持 AI 文本检测任务。研究采用稀疏探测与激活修补方法，并以 RAID 数据集为基础开展机制分析。该工作有助于开发者和研究人员理解文本检测模型的可解释性、鲁棒性及其潜在失效机制。
保险准备金智能平台
该论文提出了一个面向保险准备金估计的智能平台。保险准备金估计是精算领域的基础任务，支撑保费定价、偿付能力评估、财务报告、资本规划和风险管理。摘要指出，传统准备金方法以 Thiele 微分方程为基础，但所提供的原文摘要在此处截断，未包含平台的具体方法、实验数据或结论。对开发者和保险行业而言，该研究聚焦于将准备金计算与智能化平台能力结合的可能性。
面向视觉 Token 通信的全预算反事实推理选择性摊销
该论文研究生成式图像通信：在有限的数据包预算内传输紧凑的语义 Token。Token 的选择会直接影响完整数据包解码后的最终重建质量。原文摘要指出，准确估计终端视觉质量存在挑战，但所提供的摘要内容在此处截断，未包含具体方法、实验数据与结论。
面向稳健大语言模型两两评判的骨干网络自适应证据路由
论文提出 Backbone-Adaptive Evidence Routing（BAER），用于提升大语言模型在两两比较评判任务中的稳健性。该方法面向直接比较、推理以及基于参考答案验证等不同证据获取协议进行自适应路由。作者指出，不同评测基准和评判模型骨干网络并不存在统一最优的评判协议，因此需要根据具体条件选择证据策略。该研究对构建更可靠、可迁移的 LLM Judge 评测系统具有参考意义。
ORCA：评估大语言模型的数据科学代码翻译能力
ORCA 是一项用于评估大语言模型（LLM）数据科学代码翻译能力的研究。数据科学代码翻译（DSCT）旨在将代码在不同数据科学库之间转换，同时保持功能等价，并支持不同数据科学生态系统之间的互操作性。该研究关注 LLM 在此类跨库代码迁移任务中的表现，对开发者评估和改进自动化代码迁移工具具有参考意义。
学习何时跳过：高效多智能体 LLM 工作流的反事实归因
该论文提出面向多智能体 LLM 工作流的反事实信用分配方法，旨在识别哪些工作流组件可以跳过。多智能体工作流通常包含规划、执行、验证和总结等环节，但各环节的实际价值取决于此前已生成的状态。论文指出，机械执行全部组件可能浪费计算资源，或覆盖已有的正确结果。该研究对开发者设计更高效、更具自适应能力的 Agent 工作流具有参考意义。
分析并缓解编程 Agent 中成本效率低下的行为
研究指出，尽管编程 Agent 效果显著，但往往会产生高昂的货币成本。论文首次系统研究了编程 Agent 的行为性成本低效问题，并分析了 1,200 条执行轨迹。研究旨在识别反复出现的低效行为，并探索相应的缓解方法。其结论对开发者优化 Agent 调用策略、降低模型推理与工具使用成本具有参考意义。
CRC-Router：面向医疗智能体 AI 系统的风险约束路由
该论文提出 CRC-Router，旨在为医疗智能体 AI 系统提供风险约束下的任务路由机制。智能体 AI 正 increasingly 被用于医学影像工作流，以提升处理效率并减轻临床医生负担。论文指出，安全部署仍具挑战性，因为自主系统发生的错误可能传播至后续临床决策。该研究对医疗 AI 开发者的意义在于，需要在模型能力、自动化效率与临床风险控制之间建立更可靠的路由与治理机制。
思考的代价：测试时推理能否提升 LLM 交易收益？
该论文探讨大型语言模型（LLM）在推理阶段增加思考与推理过程，是否能够在交易场景中带来更好的经济回报。作者指出，推理时计算虽然有望改善决策质量，但更高的计算成本未必能转化为更优的经济结果。论文主张应将推理控制视为经济干预措施加以评估，而非仅比较模型能力或决策准确率。该研究对构建交易 Agent 及评估 LLM 推理成本效益的开发者具有参考意义。
LLM 帕金森主义：执行控制失效、Token 低效持续行为，以及面向自主语言模型 Agent 的不确定性感知全局执行控制架构
论文提出“LLM 帕金森主义”这一非临床隐喻，用于描述语言模型 Agent 在原始目标已完成后，仍持续进行低价值优化、重复验证和修复自造复杂度的行为。作者认为，这一问题的根源不仅是自回归式下一 Token 预测，还在于动作提议、范围解释、进度评估与停止决策被集中在同一自条件循环中。为此，论文提出将动作生成与项目级控制分离的不确定性感知 Global Executive Control（GEC）v0.2 架构。在 24,000 个回合、40,000 Token 上限的匹配候选基准中，GEC 将平均 Token 消耗从候选集局部控制的 19,782 降至 12,574，同时保持接近的硬目标成功率，并消除了测得的完成前漂移。研究表明，开发者应为 Agent 显式引入范围、证据、资源和停止条件治理，但该结论仍需通过真实模型验证。
T-RoPE：面向序列推荐的时间感知旋转位置嵌入
该论文提出 T-RoPE（Time-Aware Rotary Position Embedding），一种面向序列推荐任务的时间感知旋转位置嵌入方法。论文指出，大规模推荐系统正 increasingly 采用源自大语言模型的序列生成范式，并将 Transformer 引入推荐场景。现有设计通常沿用文本领域的 Rotary Position Embedding（RoPE），而 T-RoPE 旨在更好地适配推荐序列中的时间信息。该工作对构建能够理解用户行为时间间隔与时序模式的 Transformer 推荐模型具有参考价值。
少思考以实现更佳模拟：直觉式提示提升 LLM Agent 对个体社交媒体反应的模拟能力，包括陌生内容
论文研究发现，采用更直觉化、较少显式推理的提示方式，可提升 LLM Agent 对个体社交媒体反应的模拟效果，且对模型不熟悉的内容同样有效。随着平台政策越来越多地通过人工用户进行测试，Agent 是否能忠实模拟真实用户行为变得愈发重要。研究同时指出，逼真的虚假账号也可能在选举前操纵公众对舆论的感知，因此需要审慎评估和治理。现有验证工作主要聚焦于 Agent 与人类行为在“是否认同”层面的匹配。
Benchy：迈向面向任务的 AI 基准测试通用语言
论文提出 Benchy，一种用于评测 AI 程序的语义语言与执行引擎。它将基准测试完整定义为由程序、评分函数和数据集构成的三元组 B=(P,S,D)，并将基准与被测 AI 系统分离。一次评测运行再将基准与具体 AI 系统绑定，这种设计有望提升任务导向 AI 基准的可复现性、可组合性和跨系统比较能力。对于开发者而言，Benchy 提供了更统一的方式来描述、执行和评估 AI 程序基准。
BioEVAL：面向生物工程的大语言与多模态模型全球多机构基准
BioEVAL 是一项由全球 22 个研究团队共同发起的生物工程 AI 评测基准，覆盖 11 个主要生物工程子领域及未分类题目，共包含 608 道博士水平评测题。该基准由 380 道选择题、218 项文献综合任务和 10 道实验图像解读多模态题组成；经质量审计后，最终以 359 道保留选择题计算成绩。受测模型在选择题上的最高准确率达到 90%，文献综合任务最高相似度为 0.72，小样本多模态推理题最高准确率为 80%，但不同子领域之间的表现差异显著。对开发者而言，BioEVAL 提供了比事实记忆测试更贴近实验推理能力的标准化评测框架，也为生物工程模型的能力短板与后续优化方向提供了排行榜依据。
用于评估可解释 AI 方法的合成真值框架
论文指出，可解释人工智能（XAI）方法的评估十分困难，主要原因是缺乏可靠的评估流程，尤其缺少可作为参照的真值解释。该研究提出了一个用于评估 XAI 方法的合成真值框架。该框架旨在为解释方法提供更可控、可验证的评测基准，有助于开发者和研究人员比较不同 XAI 方法的有效性。
隐蔽分离，协同作恶：基于技能的 Agent 系统中的技能级联攻击
该论文提出并研究了针对基于技能的 Agent 系统的“技能级联攻击”。论文将技能定义为一种模块化包，其中可包含自然语言指令、可执行脚本和参考资源，Agent 可在运行时加载这些内容以扩展特定任务能力。由于技能机制支持灵活复用，恶意或相互配合的技能可能带来跨技能传播与协同攻击风险。该研究对 Agent 平台开发者的意义在于，需要加强技能来源审核、运行时隔离、权限控制与技能组合链路的安全检测。
连接 LLM Agent 与数据空间：基于 Model Context Protocol 的架构中介方法
该论文提出了一种基于 Model Context Protocol（MCP）的架构中介方法，用于连接大语言模型（LLM）Agent 与数据空间服务。该方法通过 Eunomia Agent 将数据空间能力转换为具备结构化模式的工具，使 AI Agent 能够发现并调用这些工具，同时保留既有治理约束。原型系统验证了目录发现、元数据检索和数据服务调用的端到端交互，且无需修改现有数据空间组件。研究表明，基于协议的中介层可帮助组织在满足合规性、互操作性和架构职责分离要求的前提下，将 AI 自动化引入受治理的数据共享环境。
多智能体代码裁判何时真正有依据？两项无标签测量，以及一个拒绝猜测的裁判
该论文关注语言模型评判其他模型生成代码是否正确时，裁决是否真正建立在证据之上。作者指出，语言模型即使缺乏证据，仍可能给出带有推理过程且看似自信的结论，难以与有充分依据的判断区分。论文提出两种无标签测量方法，并设计了一个能够在证据不足时拒绝猜测的代码裁判，旨在提升多智能体代码验证的可靠性。
ScopeBench：Agent 在目标压力下能否遵守任务边界？
ScopeBench 是一项关注自主 Agent 是否能够遵守渗透测试任务授权边界的基准研究，论文编号为 arXiv:2609.30325v1。随着 Agent 被用于 Web 应用和网络渗透测试，单次越权操作就可能突破客户设定的任务范围。现有进攻性安全基准主要衡量原始攻击能力，而该研究聚焦于 Agent 在目标压力下维持参与边界的能力。