Thinking Machines Lab、新モデル「Inkling 2 Small」発表

概要

詳細

モデルの仕組みと仕様

Inkling 2 Smallは、必要な部分のネットワークだけを動かす「MoE(Mixture of Experts)」という構成を採用しています。総パラメータ数は594B(5940億)ですが、実際の推論時に使われる有効パラメータ数は17B(170億)にとどまります。画像を入力として扱える点も特徴で、画像の処理には292M(2億9200万)パラメータの専用エンコーダーを使っています。また、問いの難しさに応じて推論にかける「努力量」を調整できる「variable effort」という機能も備えています。音声の入出力には対応していません。事前学習には8.4兆トークンのデータを使い、NVIDIAのGB300 NVL72という計算基盤上で、4ビット浮動小数点形式「NVFP4」を用いて学習を行ったとされています。

性能

総合的な性能を測る「Artificial Analysis Intelligence Index」では31点を獲得し、前世代モデルから大きく上回ったと報告されています。特にコーディング関連の指標で高い評価を得ており、ソフトウェア開発の課題を解くベンチマーク「SWE-Bench Pro v2(Hard)」では86.3%、コーディングの実践力を測る「Vibe Code Bench v1.1」では81.6%を記録しました。ナレッジワークの指標「AA-Briefcase」は1527、デザイン性能を測る「DesignArena Website」は1340で、デザイン分野ではOpenAIのGPT-6.1 Solを上回ったとされています。ただし、すべてのベンチマークで最上位というわけではなく、一部の項目では他社モデルが上回っています。

提供方法と今後の予定

発表時点では、Inkling 2 Smallは同社の開発者向けプラットフォーム「Tinker」を通じて、クローズドウェイトの形で提供されています。「Tinker Playground」という環境で試用でき、ファインチューニングやサンプリングも可能です。外部の安全性テストとレッドチーミング(攻撃的な検証)が完了したあと、来週中を目標に、モデルの重み全体をApache 2.0ライセンスで公開する計画だとしています。重みの公開時には、学習途中の状態を保存した複数のチェックポイントもあわせてダウンロードできるようになる予定です。安全性テストの完了後、数週間以内には他のプラットフォームでも利用できるようになる見込みです。

課題として挙げられている点

Thinking Machines Lab自身も、いくつかの制限や課題を明らかにしています。安全性に関する内部評価では、意図しない「誤動作」を起こす度合いを示すスコアが14.9で、クローズドモデルであるGPT-6.1 Solの0.8と比べると高く、この差は今後取り組むべき課題だと認めています。また、簡潔な応答が得意ではなく、特に多くの開発ツールやスキルを持つコードベースでは、最適なツールを選べないことがあるとしています。さらに、チャット用途向けには最適化されておらず、メンタルヘルスに関する質問に過剰に反応する場合があるともしています。