SemVerBench：评测 LLM 对版本约束解析语义的理解

英文标题：SemVerBench: Benchmarking LLM Comprehension of Version-Constraint Resolution Semantics

该论文提出 SemVerBench，用于直接评测大语言模型（LLM）对软件版本约束解析语义的理解能力。论文关注编码 Agent 在判断某个版本是否满足 `^1.2.3`、`>=2.0,<3` 等约束时所需的语义推理。作者指出，尽管这类判断在软件开发中十分常见，此前尚未被直接系统性测量。该基准有望帮助开发者和行业识别 LLM 在依赖管理、包版本选择及自动化修复任务中的潜在可靠性问题。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB