Google DeepMind、フロンティアAIモデルの初の二重盲検評価を実施

ニュース概要

Google DeepMindは2026年8月27日（太平洋時間）、独自のフロンティア級AIモデルを対象とした初の二重盲検評価を試験運用したと発表した。ハードウェア暗号化コンピューティング環境を用いて、モデルの内部重みと外部評価者のテストプロンプトを同時に互いから隠す仕組みだ。この試験では、Geminiファミリーの軽量モデルであるGemini 2.5 Flash Liteをテストし、シンガポールのAI安全研究所（AISI）、プライバシーコンピューティングの非営利団体OpenMined、AIベンチマークコンソーシアムのMLCommons、評価企業のAVERIと共同で実施された。

課題：AIテストにおける構造的なトレードオフ

独立評価は、大規模言語モデルが実際にどれほど有能で安全かを確認する主要なチェック機能の一つとされている。しかしDeepMindとそのパートナーによれば、このプロセスには長らく厄介なトレードオフがつきまとってきた。厳格な外部テストを実施する場合、評価者は従来、二つの選択肢しかなかった。機密のベンチマーク問題をモデル開発者に渡して内部でモデルを実行してもらうか、評価者自身のインフラにモデルの独自重みを公開するよう開発者に求めるかである。どちらの選択肢も心地よいものではない。ベンチマークプロンプトを事前に共有すると「汚染」のリスクが生じる。モデルやその開発者が、意図的かどうかにかかわらず、すでに見たことのある問題に合わせて性能を調整してしまい、高スコアが真の能力ではなくテストへの慣れを反映してしまう可能性があるという懸念だ。一方、モデルの重みを共有すると、企業の中核的な知的財産が露出し、双方にとってセキュリティやデータ主権の懸念が生じる。これまで評価は、技術的な保証ではなく、契約、秘密保持契約、制度的信頼に依存してこの露出を管理してきた。

二重盲検方式の仕組み

今回の試験運用の答えは、信頼を方程式から取り除き、暗号化による強制に置き換えることだった。DeepMindは、Google Cloudのコンフィデンシャルコンピューティング製品群の一つであるConfidential Space内で評価を実行した。これはハードウェアベースの信頼実行環境（TEE）を使用してデータを封印し、インフラ運営者でさえ内部で何が実行されているかを検査できないようにするものだ。この構成では、Gemini 2.5 Flash Liteのモデル重みと評価者のベンチマークプロンプトが同時に同じ封印されたエンクレーブに読み込まれ、各当事者のデータは相手から暗号化された。評価者の問題はエンクレーブ内でモデルに対して実行され、結果のスコアのみが外部に公開され、基盤となる重みやプロンプトは公開されなかった。技術設計の説明によれば、OpenMinedのPySyftフレームワークを使用して、エンクレーブ内で実行されるコードが不正な外部ネットワーク呼び出しを行えないように強制しており、これはどちらかの当事者の保護データがサイドチャネルを通じて外部にコピーされるのを防ぐことを意図している。暗号化による証明により、各当事者はエンクレーブが正しく構成されていること、そしてモデル提供者も評価者も相手の保護資料を見られないことを独立に検証できる。これにより「二重盲検」という特性は、ポリシーによる約束ではなく、ハードウェアによって強制される特性となる。

何がテストされたか

このフレームワークの下で二つの評価が実施された。一つ目はAVERI、MLCommons、OpenMinedが主導し、機密テストセットに対してGemini 2.5 Flash Liteをベンチマーク評価した。プロンプトもモデル内部も相手側に公開されることはなかった。二つ目はシンガポールのAI安全研究所が別途実施し、独自の機密プロンプトを使用して、シンガポールの規制上・文化上の文脈に関連する形で、モデルが有害コンテンツをどう扱うかを調査した。ここでも双方が相手の保護データを可視化することはなかった。DeepMindはGemini 2.5 Flash Liteを、Geminiモデルファミリーの中でも軽量で効率的なメンバーと説明しており、この手法をより大規模なフロンティアモデルに拡大する前に、初の試みとして比較的低コストの候補となった。

なぜ重要なのか

ベンチマーク汚染は、公開リーダーボードや評価スイートが公開され、スクレイピングされ、場合によっては意図せず、あるいは意図的に学習データに組み込まれる中で、AI業界全体でますます目立つ懸念事項となっている。独立検証機関、安全研究所、研究者らは、広く知られたベンチマークでのモデルのスコアが、真の能力よりも、そのベンチマークがどれだけ学習データに漏れたかを示している可能性があると繰り返し指摘してきた。暗号化によって強制される二重盲検方式は、評価コンテンツを開発者から機密に保ちながら、開発者には独自のモデル重みがコピーされたり外部評価者に露出したりしていないという保証を与える方法を提供する。DeepMindとそのパートナーは、この試験運用を、政府の安全研究所を含む独立組織が、データ主権、セキュリティ、知的財産のいずれかを妥協することなく、高度なモデルを厳格にテストする方法への一歩と位置づけている。

今後の展開

DeepMindとMLCommonsは試験運用の詳細を同時に公開し、完成した評価基準ではなく初期の概念実証と位置づけた。関与した企業と研究所は、機密二重盲検方式をより幅広いベンチマーク群に拡大し、最終的には今回の初回実行で使用された軽量のGemini 2.5 Flash Liteを超えて、より大規模で高性能なフロンティアモデルにも適用することに関心を示している。より広範な採用は、他のAI開発者や評価者が同様のハードウェア保護環境を通じて自社のモデルやベンチマークを実行することに同意するかどうか、また信頼実行環境が実際にサイドチャネルを完全に遮断できるかどうかの継続的な検証にかかっているだろう。