推进低资源编程语言代码能力:OpenAI 推出 SQLite 与 COBOL 迁移等全新评估基准
英文标题:Advancing coding in low‑resource programming languages
OpenAI 正在全面提升 ChatGPT 在低资源编程语言中的代码生成与工程理解能力,并针对真实生产环境引入了涵盖软件工程、SQLite 以及 COBOL 迁移的全新评估基准。全球大量金融和政府等关键基础设施仍高度依赖存量数据稀缺的低资源或老旧语言,传统迁移成本极高。这一进展证明了大语言模型在破解数据匮乏壁垒、赋能遗留系统现代化改造方面的巨大潜力,将显著降低关键基础设施的重构风险与维护成本。
中文
推进低资源编程语言代码能力
全球许多最为关键的数字基础设施——从跨国银行的核心交易系统、航空订票平台到政府社保与税务核心数据库——依然深深扎根于所谓的“低资源编程语言”(low-resource programming languages)与数十年前编写的遗留代码(Legacy Code)之中。
尽管当前主流的大型语言模型在 Python、JavaScript 等热门语言上展现出卓越的代码生成与调试表现,但由于公开训练数据的极度匮乏,AI 在处理这些低资源技术栈时面临严峻挑战。为此,OpenAI 正持续改进 ChatGPT 在低资源语言环境下的实际工程能力,并针对多项关键场景推出了全新的评估基准。
破解低资源编程语言的“数据荒漠”
现代代码大模型在主流开源语言上的飞跃,很大程度上得益于 GitHub 等平台海量开源仓库、技术文档及问答社区的哺育。然而,企业生产环境的真实技术图景远比开源社区复杂:
- 公开样本严重匮乏:诸如 COBOL、Fortran 或特定领域的专有语言(DSL),其核心代码绝大多数封闭在大型金融机构、政府和跨国企业的私有仓库中,无法直接用于大规模预训练。
- 业务逻辑隐密且容错率极低:遗留系统承载着数十年沉淀的复杂商业逻辑和极度特殊的精度规则(如固定小数精度的金融计算),任何微小的逻辑偏差都会造成严重的生产事故。
- 缺乏标准化的评测框架:以往诸如 HumanEval、SWE-bench 等主流基准主要围绕 Python 等主流语言构建,行业缺乏客观衡量模型处理低资源垂直语言工程能力的统一标准。
OpenAI 通过定向强化学习、高质量合成数据生成以及上下文架构优化,推动 ChatGPT 在缺少海量公开语料的前提下,仍能深度理解和维护这些高壁垒的代码技术栈。
全新评估基准:面向真实复杂工程场景
为了科学验证模型在低资源语言中的真实表现,OpenAI 构建并发布了针对关键领域的评测集:
1. 软件工程级综合评估(SWE Evaluations)
将测试重点从单一函数的代码补全,转向真实的端到端工程维护。测试模型在低资源语言环境下理解复杂跨文件项目、定位深层 bug 以及按照既有规范生成可部署补丁的能力。
2. SQLite 底层逻辑与数据库开发
SQLite 是全球应用最广、对稳定性与边界安全要求极其苛刻的数据库引擎之一。OpenAI 针对 SQLite 深度定制评估基准,检验模型在面对特化 C 语言架构、底层并发逻辑以及严密测试用例时的代码解析与生成质量。
3. COBOL 现代化迁移(COBOL Migration)
全球每天仍有巨额资金流动依赖着数百亿行 COBOL 代码的底层运算。将这些数十年前的遗留系统迁移重构成现代语言(如 Java、Python),是当今企业面临的成本最高昂、风险最大的 IT 挑战之一。
OpenAI 的 COBOL 迁移评测着重考察:
- 业务语义高保真:模型能否精准保留 COBOL 独特的定点数运算、数据布局定义(Copybooks)与异常处理分支;
- 代码现代化与规范化:生成的现代语言代码是否具备清晰的面向对象/函数式架构,并自动匹配完备的单元测试;
- 逆向工程与文档化:辅助工程师快速解析缺少文档的老旧系统逻辑,大幅压缩重构周期。
对开发者与产业界的深远意义
OpenAI 针对低资源语言的攻坚,对治理全球关键系统中的“技术债务”(Technical Debt)具有里程碑意义:
- 缓解专业技术人才断层:精通 COBOL 等遗留技术栈的资深工程师群体正在加速退休,大模型能充当高效的“技术翻译桥梁”,保障关键基础设施平稳过渡。
- 大幅降低系统迁移重构风险:高保真的自动化与半自动化代码迁移方案,将显著降低过去动辄耗时数年且面临高失败率的重构工程成本。
- 拓展 AI 辅助编程的应用边界:该进展表明,模型能力不再局限于热门编程语言,通过创新的评估与训练范式,AI 正在向专业化、高度垂直化的工程纵深领域加速渗透。
English / 原文
Enable JavaScript and cookies to continue