OpenAI 已公开 MultiLangBench 题目与测试;87.4% 对 26.8% 是 OpenAI 自行运行的模型结果。
OpenAI 发布低资源编程语言评测 MultiLangBench
2026-10-19已核实动态TRIAL
OpenAI 发布 MultiLangBench,这是一个 Apache-2.0 benchmark,覆盖 COBOL、Fortran、Visual Basic 等 20 种公开训练材料较少的编程语言。OpenAI 报告 GPT-6 Astra 的平均测试通过率为 87.4%,GPT-5.6 Sol 为 26.8%。题目与测试已公开,但头部模型结果仍是厂商评测,不能直接代表生产迁移质量。
官方 · 参考材料Advancing coding in low-resource programming languages官方 · 参考材料OpenAI MultiLangBench repository
可用状态:Apache-2.0 题目与测试;仓库创建于 2026-10-19T20:58:00Z
对你意味着什么
对维护遗留系统的团队来说,公开测试让 COBOL、Fortran 等主流 coding benchmark 很少覆盖的语言有了可比基线。测试通过率只是狭窄的代码正确性信号;拿它规划迁移前,还要加入仓库规范、集成测试和人工复核。
证据与关联材料
技术细节与六维评分
| 范围 | 20 种公开数据较少的编程语言 |
|---|---|
| 可用性 | Apache-2.0 题目与测试;仓库创建于 2026-10-19T20:58:00Z |
| 厂商结果 | GPT-6 Astra 平均测试通过率 87.4%;GPT-5.6 Sol 为 26.8% |
| 证据限制 | 模型评测由厂商执行;benchmark 通过率不等于生产迁移成功 |
| 时间依据 | 官方文章发布于 2026-10-19T12:00:00Z;公开仓库创建于 2026-10-19T20:58:00Z |
技术影响 3
工程价值 4
采用信号 1
成熟度 3
验证成本 3
风险 2