BenchBench-Protocol：评估真实湿实验方案推理与修改能力
BenchBench-Protocol 是一个用于评估大语言模型湿实验方案推理与修改能力的基准测试。该基准包含 149 项方案修改任务，这些任务来源于科学家在实际实验过程中对已发表方案所做的修改。其目标是考察模型将既有实验方案适配到新实验需求时的推理与修改能力。该基准可为开发面向生物医学和实验室自动化场景的 Agent、科研助手及相关 API 提供更贴近真实工作流的评测依据。
独立 AI 资讯库
AI 前沿动态、原文归档与媒体镜像
从自动抓取数据库实时读取，适合快速浏览、检索和后续扩展成完整资讯站。
11910资讯
11778正文归档
75366媒体
在预算受限的 Agent 搜索中更多利用、更智能探索
该论文讨论预算受限的 Agent 搜索：当验证成本高昂、候选生成需要多次模型调用，或两者兼有时，LLM Agent 必须在有限评估预算内不断优化候选方案。论文指出，标准 MCTS 在这一场景下的预算分配效果不佳。该问题对构建成本可控的 Agent 搜索、验证与候选优化系统具有直接意义。原始摘要内容在“allocates budget poorl”处截断，未提供完整方法和实验结论。
Generating Biomedical Fact-Checking Reports with RL-Enhanced Agentic Search
arXiv:2608.23811v1 Announce Type: new Abstract: Automated fact-checking is essential for ensuring the reliability of public health information, yet the biomedical domain poses unique challenges. Validating biomedical claims requires rigorous interpretation of scientific literature, assessment of re
AgentRoom: Concurrent Multi-Agent Coding in a CRDT-Backed Shared Workspace
arXiv:2608.23740v1 Announce Type: new Abstract: Concurrent multi-agent coding promises division of labor across modules, robustness through redundancy, and parallel exploration at the natural granularity of multi-file projects. Realtime collaborative editing protocols solve this coordination proble
Autonomous Mathematical Discovery in an Open-World Multi-Agent Environment
arXiv:2608.23691v1 Announce Type: new Abstract: We study autonomous mathematical discovery in the Station, an open-world multi-agent environment in which AI agents from different model families pursue a shared research goal without a central coordinator or scripted pipeline. Agents choose their own
Automata from Agent Traces: Failure and Next-Step Prediction
arXiv:2608.23670v1 Announce Type: new Abstract: LLM-based agents execute multi-step tasks, but their behavioral structure remains opaque: long unstructured traces resist the safety auditing and runtime monitoring that deployment requires. Existing approaches operate per-trace or success-only, so th
MolEmb: Multimodal Large Language Models Can Be Strong Molecular Embedding Models
arXiv:2608.23646v1 Announce Type: new Abstract: Molecular embedding models can serve as foundational infrastructure for computational chemistry and drug discovery, where reusable vector representations support property prediction, virtual screening, and retrieval. Most molecular encoders are specia
Ethical LLM-Assisted Research: A Framework for Responsible Delegation, Verification, and Epistemic Value
arXiv:2608.23644v1 Announce Type: new Abstract: Large language models (LLMs) are becoming routine instruments of scientific research, assisting with literature synthesis, hypothesis development, coding, and formal reasoning. Their use raises a central epistemic question: when parts of scientific re
FLARE: A Systematic, Uncertainty-Aware Framework for Evidence-Based Adoption of Artificial Intelligence in Healthcare
arXiv:2608.23643v1 Announce Type: new Abstract: Artificial intelligence is increasingly being introduced into healthcare workflows, yet most evaluations emphasize model accuracy rather than whether adoption is economically worthwhile in real clinical settings. This study proposes FLARE, a systemati
AI Agents Push Humans Out of the Loop
arXiv:2608.23642v1 Announce Type: new Abstract: AI agents pose significant risks as they are granted increasing autonomy. A commonly proposed solution is human oversight and keeping a ''human in the loop'', but this is not a simple solution: Not only do current approaches to AI agent design impede
Function-Level Execution Feedback for Code Preference Optimization
arXiv:2608.23632v1 Announce Type: new Abstract: Process supervision has improved mathematical reasoning, where intermediate steps are naturally expressed as chains of thought. In code generation, however, process supervision remains underexplored because there is no standard notion of a step. Super
TRACE: Transition-Aware Residual Control for Multi-Objective Materials Discovery
arXiv:2608.23631v1 Announce Type: new Abstract: Multi-objective materials discovery with LLM agents is often limited not only by how many candidates can be proposed, but by how effectively each costly property evaluation informs the next search step. Existing agents mainly store evaluated candidate
LLM Agents Perform Controlled Experiments Using Simulation Models
arXiv:2608.23622v1 Announce Type: new Abstract: Large language models (LLMs) have shown strong capabilities in reasoning, planning, and tool use, but many scientific and engineering tasks require more than plausible text and code generation. They require understanding how a system responds to inter
ESQ-Bench: A Multi-Tier Enterprise Oracle Benchmark for Evaluating NL2SQL Dialect Generalization and Silent Semantic Divergence
arXiv:2608.23569v1 Announce Type: new Abstract: State-of-the-art Natural Language to SQL (NL2SQL) models report execution accuracy exceeding 89 percent on established benchmarks such as Spider and BIRD. However, these benchmarks rely on simplified academic schemas and open-source SQL dialects that
RENDER: Controlling Reader-Facing Evidence in LLM Memory Evaluation
arXiv:2608.23568v1 Announce Type: new Abstract: Memory and RAG evaluations often treat the answering model's input as an implementation detail, even though systems may render the same history as a memory entry, summary, typed record, or raw excerpt. We introduce RENDER, a benchmark control that fix
CPU 皮肤镜图像分割中的初始化与停止容差
该论文发表于 arXiv（arXiv:2609.25685v1），属于新提交论文。研究指出，轮廓初始化方式与数值停止条件会共同影响主动轮廓分割方法的评估结果。作者使用开源 scikit-image 的 Chan-Vese 实现，并在经缩放处理的 ISIC 2017 镜像数据集上考察二者之间的相互作用。研究对使用 CPU 进行皮肤镜图像分割的开发者具有参考意义，表明实验结果可能对初始化参数和收敛停止容差敏感。
是什么驱动层级感知图像检索？分类层级对齐、目标函数选择与几何
该研究考察在冻结的 DINOv2 特征上进行严格显式分类层级图像检索时，分类层级感知监督的组织方式与欧氏/双曲几何选择各自带来的影响。计算资源匹配的 2×2 实验显示，在 CUB 和 NABirds 的高层级严格检索任务中，Regression-to-Taxonomy-SupCon 目标函数族的提升幅度整体显著大于几何选择带来的差异。语义对齐控制实验表明，真实分类层级明显优于保持结构但随机打乱的层级；NABirds 的曲率/半径控制实验也不支持“更强负曲率”是层级收益主要来源的解释。研究意味着，开发层级检索系统时，应优先关注监督信号与目标分类体系的语义对齐及训练目标设计，而非仅依赖双曲几何。
基于证据门控的建筑平面图多模态解析与矢量化
该论文关注建筑平面图的多模态解析与矢量化问题。作者指出，异构图形同时编码空间语义和可编辑几何信息，使建筑档案数字化及早期设计模型准备面临较高门槛。论文提出了 SALI-FP，一种基于证据门控的多模态方法；所提供的原文摘要片段未包含其完整技术细节、实验数据或具体结论。
面向可审计城市 DSM 重建的智能体式建筑感知卫星 Gaussian Splatting
该论文聚焦利用卫星影像开展城市尺度三维重建，以支持灾害响应、城市监测和地理空间数字孪生等应用。作者提出一种面向建筑物的智能体式卫星 Gaussian Splatting 方法，用于生成可审计的城市数字表面模型（DSM）。论文指出，现有神经渲染方法通常优化平均视觉保真度，但这未必满足分析人员对建筑结构等关键对象的检查需求。该研究对于需要可靠、可核查城市三维地理数据的开发者和行业应用具有参考意义。
PermuFormer：面向代数组合学中置换表示的多任务预训练
论文提出 PermuFormer，探索利用多任务预训练学习代数组合学中的置换表示。其核心思路是通过多样化预训练获得可复用、具备领域认知能力的表示，并为下游任务微调提供起点。该研究将 AI for Math 的预训练范式扩展至代数组合学场景，可能有助于开发者构建更适合数学结构推理的模型与工具。论文编号为 arXiv:2609.25438v1，发布类型为 new。
神经 CAE 代理模型的预测不确定性
该研究评估了几何条件神经代理模型在计算机辅助工程（CAE）任务中的预测不确定性量化方法，比较了基于高斯过程（GP）的方法、concrete Monte Carlo（MC）dropout 和深度集成三种方案。研究在外部空气动力学与碰撞动力学相关的三个大型工业数据集上测试了这些方法，考察其误差定位、区间覆盖、对陌生输入的响应及对派生工程量的有效性。在同时比较三种方法的 DrivAerStar 数据集上，它们通常能为预测误差较大的区域分配更高不确定性；经验证集重缩放后，其区间覆盖率接近独立同分布测试集上的标称值。研究指出，不同方法的相对表现会随数据集和评估标准变化，开发者应根据下游 CAE 决策的具体目标选择 UQ 方法及评估指标。
扩展 FunctionGemma，实现实用的端侧移动函数调用
论文提出扩展 FunctionGemma 270M-it，以支持更贴近实际使用场景的 Android 工作流。端侧助手需要能够将自然语言映射为本地系统操作的函数调用模型，但现有资源主要侧重于 Web API，或仅覆盖范围有限的移动端操作目录。该工作旨在弥补这一缺口，为开发者构建可在设备本地执行操作的移动端 AI Agent 提供支持。
训练但不学习：面向作为前线部署工程师的 LLM Agent 的后训练交付基准
论文提出一个面向 LLM Agent 的后训练交付基准，聚焦前线部署工程师（FDE）承担模型后训练服务的实际工作。作者将后训练描述为一种服务（PTaaS）：客户向服务提供方提交数据和目标，后者需要交付经过微调、评估并部署的模型。整个过程受到预算、人类审批门槛和可复现性要求的约束。该基准旨在评估 Agent 是否能够完成端到端后训练交付，而不仅是执行训练步骤。
Qwen3.8-Omni：迈向原生全模态 Agent
论文介绍了 Qwen3.8-Omni-Flash，一款面向现实世界多模态生产力场景的原生多模态 Agent 模型。作者称，相较于主要强调感知与交互能力的此前全模态模型，Qwen3.8-Omni-Flash 显著提升了多模态能力。该工作指向将视觉、语音及其他模态理解与 Agent 式任务执行更紧密结合，为开发者构建多模态生产力应用提供新的模型选择。原始摘要在提供的文本中截断，未包含具体评测数据和完整技术细节。
将长上下文压缩为与答案对齐的记忆嵌入，用于 LLM 推理
该论文提出 Context-to-Answer-Aligned Memory Compression（CMC）框架，可将长输入上下文压缩为紧凑的 Context Memory Embeddings（CMEs），并对齐至任意冻结解码器的嵌入空间，无需修改解码器权重。CMC 通过结合问题引导的 CME 选择与局部上下文窗口的双层 KV cache，并利用冻结 LLM 的面向答案蒸馏来训练压缩器。作者在 9 种编码器—解码器组合及 4 个问答基准上的实验显示，CMC 持续优于基线；在 SQuAD 上最高提升 7.3 个 EM 点和 4.0 个 F1 点。该方法在生成 3,000 个 token 时，最高可将推理时间和能耗降低 20%，并将 GPU 峰值预留显存降低 50%，对长上下文 LLM 推理的成本优化具有实际意义。
挖掘美国公司案例法中的法律论证
该研究发布了一个由专家标注的数据集，涵盖 42 份涉及《美国国内税收法典》（I.R.C.）§368 公司重组规定的美国联邦税务判决意见书。数据集将文本片段标注为规则、分析、结论、背景事实和程序历史五类，并可将规则、分析与结论连接为有向支持树。实验显示，功能标签可在按案件隔离的评估中被有效学习，监督微调能够改善同案内检索，但跨案件泛化能力仍然较弱。该数据集为法律段落分类及美国联邦税务案例法中的结构化论证挖掘提供了一个相对保守的基准。
单独通过，合并失败：并行 LLM-Agent 开发中的语义协同基准测试
该论文指出，并行编程 Agent 各自生成的补丁可能能够独立运行，却会在合并后失败。其根本原因是，一个 Agent 修改了接口或规则，而另一个 Agent 仍依赖旧的语义约定。研究提出 stale 基准，用于评估并行 LLM-Agent 开发中的语义协同失败问题。这一工作对开发者构建多 Agent 编程工作流具有意义，强调了接口变更、依赖同步和合并阶段协调的重要性。
TelecomGPT-R1：面向异构电信任务推理的统一后训练
论文《TelecomGPT-R1》探讨如何通过统一后训练，提升大语言模型在异构电信任务中的推理能力。原文指出，大语言模型可通过理解标准文档、网络配置、数学模型、源代码和运维日志，自动化处理广泛的电信工程任务。与此同时，现有电信大语言模型仍面临能力不足的问题。该研究对构建面向电信开发、网络运维与工程自动化的专业 Agent 具有潜在意义。
FineWeb-CLaR：用于基准对齐语料审计的文化、语言与区域标注
论文 FineWeb-CLaR 提出为语料库添加文化、语言和区域维度的标注，以支持与评测基准对齐的语料审计。作者指出，语言模型的文化评测覆盖度与鲁棒性难以诊断，原因在于预训练语料和文化类基准通常缺乏可比的元数据索引。随着基准测试日益关注特定文化语境下的现象，这类标注有望帮助开发者分析训练数据覆盖缺口，并改进模型的文化适应性评估。该论文以 arXiv:2609.25298v1 的新论文形式发布。
FinFIRST：面向金融信息检索、溯源与可追溯性的搜索 Agent 基准测试
FinFIRST 是一项用于评估金融信息检索、来源引用与结果可追溯性的搜索 Agent 基准测试。论文指出，金融搜索对 LLM Agent 提出了较高要求：除给出正确答案外，还必须检索时间上有效的信息，并选择权威来源。系统还需确保实体与报告期间对齐，以及单位和定义保持一致。该基准有望帮助开发者更系统地衡量金融 AI Agent 在可靠性、合规性和可审计性方面的能力。