同一个患者，不同的医嘱：临床 LLM Agent 在重复运行下的动作级可靠性研究
英文标题：Same Patient, Different Order: Action-Level Reliability of Clinical LLM Agents Under Repeated Runs
最新研究指出，当前临床 LLM Agent 基准测试存在显著的评估盲区：即使在完全相同的输入条件下得出相同的判定结果，Agent 在多次运行中也可能开出实质上完全不同的医嘱。在真实医疗流程中，Agent 需承担检查开具、处方申请与转诊建议等高风险操作，而传统评测通常仅对单次运行进行打分。该研究揭示了临床自主 Agent 在动作级别（Action-Level）的不可靠性与不稳定性，强调了在医疗等高严肃领域建立多轮重复运行可靠性评测标准的必要性。
打开原文相关 4.8 · 机会 2
2.1 KB
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
arXiv 编号：arXiv:2609.13582v1
公告类型：最新（new）
摘要
在临床 Agent 基准测试中，即使面对完全相同的输入，Agent 也可能在得出相同判定结果的同时，在每一次独立运行中提交实质上完全不同的医嘱。这类临床 Agent 具备开具检验检查、申请用药处方以及办理转诊等功能，然而现有的基准测试通常仅对每个任务评测单次运行……
BibTeX 格式引用
×
English / 原文
BibTeX formatted citation
×