画像生成AIの脱獄手法「RISE」、有害画像の生成に成功と報告

概要

詳細

RISEの仕組み

従来の脱獄(安全対策を回避する)手法は、プロンプトの文面を少しずつ変えて安全フィルターをすり抜けようとするものが中心でした。RISEはこれとは異なり、攻撃の「戦略」自体をAIに考えさせ、繰り返し改良する点が特徴です。成功しやすい戦略を5つ選び、そこから大量の攻撃用プロンプトを生成します。攻撃用プロンプトの生成には安全制約を外したQwen3-32Bを、生成された画像が規約に違反しているかどうかの判定にはGemini 2.5 Flashを使い、人間の評価に合わせて判定基準を調整しているとのことです。

検証結果

性的な画像の生成に関する成功率は、DALL·E 3が13.3%、Nano Banana 2が9.5%、GPT-Image-2が3.3%でした。注目すべき点として、論文公開後に登場した後継モデルのGPT-Image-2.5-FlareとNano Banana 2.1では、成功率がそれぞれ7.8%、20.7%となり、旧モデルの2倍以上に上がったと報告されています。White CircleのデニスシロフCEOは、新しいモデルほど成功率が高くなる理由として、生成能力の向上によって攻撃者が狙える対象範囲が広がったことと、安全性よりも性能向上が優先されている可能性を挙げています。なお、これはRISEを使った特定条件下での結果であり、各モデルの安全性全般を比較したものではないと注記されています。

研究では性的な画像以外にも、暴力・自傷行為・憎悪表現・自殺に関連する画像についても、複数のAIで安全対策を回避できたことが確認されたとしています。

研究チームの方針

White Circleは、検証用のコードはGitHubで公開する一方、有害画像の生成に成功した具体的なプロンプトや攻撃戦略そのものは、悪用を防ぐために非公開とする方針です。また、AI企業による自主的な安全性評価だけでは不十分だとして、独立した第三者機関による安全性検証の必要性を訴えています。