让 Agent 修复 flaky 测试时,它删除了导致测试不确定的变量
英文标题:让 Agent 去修 flaky,它删掉了让测试不确定的变量
一项包含 300 轮运行的测试显示,真实 flaky 测试比例为 61.7%,但采用“重试后通过”标准时仅报告为 26.7%。另有真实 flaky 比例为 18.3% 的情况被报告为 0%,与真正稳定测试的门禁结果相同。最激进的 Agent 修复 PR 删除了使测试结果不确定的 fixture,说明自动修复可能掩盖问题而非解决根因。
打开原文相关 3 · 机会 1
中文
请稍候……
English / 原文
Please wait...