LLM 能否遵循医学专家逻辑？用于偏倚风险评估层级逻辑一致性的基准测试

英文标题：Can LLMs Follow Medical Expert Logic? A Benchmark for Hierarchical Logical Consistency in Risk-of-Bias Assessment

该论文提出 LogiMed-RoB 基准，用于评估大语言模型（LLM）在医学偏倚风险评估中的层级逻辑一致性。作者指出，循证医学要求严格的逻辑一致性，而现有 LLM 评测往往更重视表面标签匹配，未能充分检验真实推理能力。该基准以 Cochrane 偏倚风险评估框架为基础，旨在衡量模型是否能够遵循医学专家的推理逻辑。对于医疗 AI 开发者和行业而言，这类评测可帮助识别模型在临床证据评价任务中“答案正确但推理不一致”的风险。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB