第三者機関METR、Anthropicの開発加速を調査 根拠は大半非公開

概要

詳細

調査の3つの論点

METRは今回、次の3つの問いを調べました。(1)AI開発の加速は実際に起きているか、(2)起きているとすれば、その原因はAIの利用によるものか、(3)近い将来にその加速を妨げる要因(ボトルネック)はあるか、という内容です。

加速は「起きている可能性が高い」

METRは、明確に定義された作業におけるAI能力向上の速度が、2024年3月〜2025年10月の期間に比べて、2026年10月時点でおおむね2倍になっている可能性が高いと判断しました。下振れでは1.3倍、上振れでは3倍でも驚かないとしています。根拠の一つとして、Anthropic独自のベンチマーク「AECI」のスコアが1.9倍に上昇したことを挙げています。

原因は「AIのR&D活用」の可能性が高い

METRは、この向上の大部分はAIを研究開発(R&D)に使っていることによるものである可能性が高いと判断しました。ただしAnthropic社員への聞き取りでは評価が分かれ、一部は「大幅な生産性向上があった」と答えた一方、別の社員は「業務の重要な部分はまだ自動化されていない」と答えています。なお、METRは今回の加速が、モデル訓練に使う計算資源の単純な増加によるものではないとの見方には確信を持っているとしています。

今後1年でさらに加速する可能性

METRは、アルゴリズムの進歩・計算資源・データのいずれにも明確なボトルネックは見当たらないとし、今後1年で開発がさらに加速する可能性があると指摘しました。一方で、調査できる範囲が限られているため、見落としているボトルネックがあるかもしれないとも注記しています。

根拠の大半が非公開という課題

METRは当初、約100ページにおよぶ詳細な報告書をAnthropicに提出しましたが、公開版では結論に最も強く影響した証拠の大半が削除されました。この結果、METRは「公開報告書の結論は、自分たち自身の判断に大きく依存している」と説明しています。Anthropicは、他のAI開発企業の開発を早めてしまう可能性がある機密情報を除いたと説明しています。第三者による検証という調査の目的からすると、情報公開の範囲が今後も論点になりそうです。