从 BERT 到前沿 Agent：八年语言模型进展、能力—成本曲线坍塌与任务定向模型的崛起
英文标题：From BERT to Frontier Agents: Eight Years of Language-Model Progress, the Collapse of the Capability-Cost Curve, and the Rise of Task-Targeted Models
论文回顾了 2018 年 10 月至 2026 年 7 月语言模型从 BERT 等基础系统发展为可解决复杂数学问题、编写软件的大型 Agent 的历程。自 2024 年末以来，模型解决真实编程问题的能力以接近每年 6 倍的速度提升，而成本则显著下降：OpenAI 的预算模型 GPT 5.6 Luna 以每百万 token 1 至 6 美元的价格达到旗舰级能力。顶级性能正由任务专用模型共同分担，包括擅长前端编码的 Claude Opus 5、擅长代码仓库级编码的 Claude Fable 5，以及主导终端任务的 GPT 5.6 Sol。研究还显示，先进采样方法可将小学数学测试成绩从基础方法的 58/100 提升至最高 79/100，置信度排序工具则在前 50 个选择中识别出 47 个正确答案。
2.1 KB
640 B
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
[提交于 2026 年 8 月 13 日]
标题：从 BERT 到前沿 Agent：八年语言模型进展、能力—成本曲线坍塌与任务定向模型的崛起
查看 Pranav Kumar Kaliaperumal 撰写的论文《从 BERT 到前沿 Agent：八年语言模型进展、能力—成本曲线坍塌与任务定向模型的崛起》的 PDF。
摘要：2018 年 10 月至 2026 年 7 月期间，AI 模型从 BERT 等简单系统发展为能够解决复杂数学问题并编写软件的大型 Agent。自 2024 年末以来，解决真实编程问题的能力以接近每年 6 倍的速度提升。在此期间，成本大幅下降：OpenAI 的预算模型 GPT 5.6 Luna 以每百万 token 仅 1 至 6 美元的价格实现了旗舰级能力，并以旧版本价格的一小部分超越了它们。顶级性能如今由专门化模型共同分担：Claude Opus 5 在前端编码方面领先，Claude Fable 5 擅长代码仓库级编码，而 GPT 5.6 Sol 主导终端任务。在一项使用 Qwen 2.5 模型的小学数学测试中，基础方法解决了 100 道题中的 58 道，而先进采样方法最高可解决 79 道。一个置信度排序工具在其前 50 个选择中正确识别出 47 个答案，证明其对于任务排序极具实用价值；所有研究材料均已完全公开。
提交历史
来自：Pranav Kumar Kaliaperumal [
]
[v1]
2026 年 8 月 13 日，周四，18:16:21 UTC（283 KB）
English / 原文
[Submitted on 13 Aug 2026]
Title:From BERT to Frontier Agents: Eight Years of Language-Model Progress, the Collapse of the Capability-Cost Curve, and the Rise of Task-Targeted Models
View a PDF of the paper titled From BERT to Frontier Agents: Eight Years of Language-Model Progress, the Collapse of the Capability-Cost Curve, and the Rise of Task-Targeted Models, by Pranav Kumar Kaliaperumal
Abstract:Between October 2018 and July 2026 AI models progressed from simple systems like BERT to massive agents that solve complex math and write software. The ability to resolve real coding issues improved by nearly six times per year since late 2024. During this time costs dropped sharply with OpenAIs budget model GPT 5 point 6 Luna matching flagship capabilities for just one to six dollars per million tokens beating older versions at a fraction of the price. Top performance is now split across specialized models as Claude Opus 5 leads in frontend coding Claude Fable 5 excels at repository level coding and GPT 5 point 6 Sol dominates terminal tasks. In a grade school math test using the Qwen 2 point 5 model basic methods solved 58 of 100 problems while advanced sampling solved up to 79. A confidence ranking tool correctly identified 47 right answers in its top 50 choices proving highly useful for sorting tasks with all research materials made fully public.
Submission history
From: Pranav Kumar Kaliaperumal [
]
[v1]
Thu, 13 Aug 2026 18:16:21 UTC (283 KB)