重要ポイント
- OpenAIは2026年10月19日、COBOL・Fortran・Visual Basicなど学習データが少ない言語でのコーディング・移行能力が大きく向上したと発表
- 20言語でデータベースエンジンを構築させる評価「MultiLangBench」で、最上位モデルの平均合格率が26.8%から87.4%に上昇
- COBOLを他言語に移行する評価では、出力が完全一致する正解率が最大97.9%に達した
- 低コストモデルでも、APIコストを従来モデル比で6〜8割程度抑えつつ精度を改善
- OpenAIは、実運用には専門家によるレビューや業務ルールに基づくテストが引き続き必要としている
概要
OpenAIは2026年10月19日(現地時間)、COBOLやFortran、Visual Basicなど、AIの学習データが少ない言語でのコーディング・移行能力が大きく向上したと発表しました。これらの言語は金融機関や公共インフラの基幹システムで今も使われていますが、開発者や企業からは「コーディングモデルが苦手な分野」との声が多く寄せられていたといいます。OpenAIは独自の評価「MultiLangBench」とCOBOL移行評価の結果を公開し、最新モデルが従来モデルに比べて精度を大きく伸ばしたことを示しました。
詳細
2つの評価方法
OpenAIは2種類の評価でモデルの能力を測定しました。1つ目の「MultiLangBench」は、20の言語それぞれでSQLite互換のデータベースエンジンをゼロから構築させ、テストの合格率を測るものです。2つ目は、COBOLで書かれたプログラムをC++、Java、Kotlin、Python、Rustへ移行させ、変換後の出力が元の処理とバイト単位で一致するかどうかを検証する評価です。
具体的な数字
- MultiLangBenchの20言語平均合格率: 最上位モデル「GPT-6 Astra」が87.4%(従来モデル「GPT-5.6 Sol」は26.8%)
- MultiLangBenchのCOBOLのみの合格率: GPT-6 Astraが72.1%(従来モデルは10.9%)
- 低コストモデル「GPT-6 Luna」の20言語平均合格率は40.3%で、1サンプルあたりの推定APIコストは従来モデル比で約78%低い
- COBOL移行評価: 推論量を低く設定した「GPT-6.1 Sol」の正解率は86.6%(従来モデルは5.4%)で、APIコストは従来モデル比で約61%に抑えられた
- GPT-6.1 Solで推論量を増やした場合、COBOL移行の正解率は97.9%に達した
実運用での注意点
OpenAIは、評価結果が改善を示している一方で、実際のシステム移行に適用するには専門家によるレビューが欠かせないとしています。業務ルールや他システムとの依存関係に照らしたテストを行う必要があり、評価の数値だけで本番環境への適用を判断すべきではないと注意を促しています。COBOLなどの基幹システムは金融・行政サービスに直結するため、精度の向上はコスト削減の余地を示すものの、導入には段階的な検証が求められます。
出典
- OpenAI、「COBOL」など学習リソースの少ない言語でのコーディング能力が大幅向上 COBOL移行の正解率は最大97.9%に(ITmedia NEWS、2026年10月21日)
