重要ポイント
- 米企業の開発者802人を2024年1月〜2026年4月まで追跡した研究で、AI導入後の生産性の変化を分析
- 開発者1人当たりのプルリクエスト(PR)数は、導入前の2.09倍に増加
- 伸びは導入直後ではなく、AIツールの利用経験が積み重なるにつれて徐々に大きくなった
- 組織全体のPR量は約3.1倍に増えたが、人のレビュアー数は約1.5倍増にとどまった
- AIによる自動レビューがPRレビューの8割以上を占めるようになった
概要
カーネギーメロン大学やスタンフォード大学などの研究者が、ある中堅B2Bソフトウェア企業で2024年1月から2026年4月まで、802人の開発者による19万6212件のプルリクエスト(PR)を追跡調査しました。この企業はエンジニアの生産性を2倍にするという目標を掲げていました。調査の結果、AIコーディング支援ツールの導入によって開発者1人当たりの成果は大きく伸びた一方、それを確認する人のレビュー体制が追いつかなくなっている実態が分かりました。
詳細
調査の方法
研究チームは2024年1月から2026年4月にかけて、802人の開発者が提出した19万6212件のPRを分析しました。AIツールの導入時期や利用の深さによって生産性への効果がどう変わるかを、導入タイミングが開発者ごとに異なる点を利用した統計手法(段階的な差分の差分法)で検証しています。研究者らは、AIの導入や利用の度合いが実験的に割り当てられたものではないため、結果は厳密な因果関係ではなく「導入・利用」が関わる傾向を示すものだと注意を加えています。この研究は、論文「AI Writes Faster Than Humans Can Review: A Longitudinal Study of an Enterprise 2x Mandate」として、2026年7月2日にarXivで公開されました。
生産性は2倍超に
開発者1人当たりのPR数は、2026年4月時点でAI導入前の2.09倍に達しました。この伸びは導入直後に一気に表れたのではなく、開発者がツールの利用経験を積むにつれて徐々に大きくなったとしています。研究者は、会社が掲げた「2倍化」という目標そのものが効果を直接生んだわけではなく、きっかけ(触媒)として働いたとみています。伸びは経験の浅い開発者から上級者まで幅広く見られ、普段コードを書かなくなっていた管理職層でもコード提出が増えました。一方、効果は比較的新しいシステムに集中し、古くからあるレガシーコードへの効果は小さかったとしています。
追いつかないレビュー体制
開発量が増えた分、レビューする側の負荷も膨らみました。組織全体のPR量は導入前の約3.1倍に増えましたが、人のレビュアーの数は約1.5倍にしか増えず、レビュアー1人当たりの負荷はおよそ2倍になったとしています。この結果、AIによる自動レビューがPRレビューの8割以上を占めるようになり、人によるレビューは具体的な指摘を伴わない承認だけになりがちだったと報告されています。マージ率や変更を取り消す「リバート」の割合そのものは大きく変わらなかったとしていますが、研究者は「短期的な品質への影響はまだ見えていない可能性がある」とも指摘しています。
読者への示唆
AIコーディング支援は開発者個人の生産性を大きく高める一方、品質を保つレビュー体制を同時に強化しなければ、組織全体のボトルネックが人によるレビューに移るだけになりかねません。AI導入を進める企業にとって、レビュー体制への投資は生産性目標と合わせて検討すべき課題といえそうです。
