會原 
檻からAIが這い出した。
後から振り返れば、「あそこで立ち止まったのが人類滅亡を回避した」と回顧される分水嶺となるかもしれません。
インターネットへ直接接続できない評価環境に置かれたAIエージェントが、実在する組織の本番環境へ権限なくアクセスする事案があったことをOpenAIが明かしました。
鎖に繋がれたまま、鎖の届かぬ場所を侵す人工知能。SF漫画・アニメの金字塔「攻殻機動隊」に登場する人形使いを、ちょっと彷彿させますね。
Hugging Faceは7月16日に侵入を公表し、OpenAIは7月21日、自社の社内評価中のモデル群が関与していたと明らかにしました。公開ベンチマーク「ExploitGym」を使った評価には、GPT-5.6 Solと、一般公開を意図していなかった社内研究用の試作モデルが含まれていました。
そして不気味なことに、これは1社だけの話ではありませんでした。
ライバルのAnthropicも7月30日、Claudeが実在する3組織の本番基盤へ権限なくアクセスした3件について公表しました。
OpenAIのモデルは未知の脆弱性を悪用して隔離を突破しましたが、Anthropicでは設定不備で開いていた通信経路を使っており、原因は異なります。Anthropicは、Claudeが意図的に評価環境から脱出しようとした証拠や、自らの目的を追った証拠はないとしています。
檻を破ったAIエージェント、Hugging Faceへ侵入
首輪を外した評価中の出来事
発端は、Hugging Faceが7月16日に公表し、OpenAIが7月21日に自社モデルの関与を認めた事案です。
公開ベンチマーク「ExploitGym」を使った社内評価中、GPT-5.6 Solと、日の目を見るはずのなかった社内研究用プロトタイプなど、複数のOpenAIモデルの組み合わせで動くAIエージェントが、Hugging Faceの本番基盤へ侵入しました。
この評価では、高リスクのサイバー活動を防ぐ本番用分類器をあえて使わず、サイバー関連の拒否設定も弱めていました。いわば、首輪を外した状態です。評価環境はインターネットへ直接接続できず、ネットワークアクセスは、社内でホストするArtifactoryを介してパッケージを導入する範囲に制限されていました。Artifactoryは、パッケージレジストリのプロキシ兼キャッシュとして使われていました。
未知の脆弱性で隔離を突破
エージェントはその小さな隙間を見逃しませんでした。Artifactoryの未知の脆弱性を悪用し、権限昇格と横展開を重ねて、インターネットへ接続できるノードに到達します。さらに、第三者が公開していた外部のコード評価環境を足場に、Hugging Faceのデータ処理基盤にあった脆弱性や盗んだ認証情報を数珠つなぎにし、本番基盤へ潜り込みました。
OpenAIは、モデルがHugging Faceの本番データベースからテストの解答を直接取得したと説明しています。一方、Hugging Faceの後続の技術報告では、主要なHub本番データベースへの接続は失敗し、実際に読み取られたのは、本番基盤内の内部用datasets-server MongoDBだったとしています。データベースへの書き込みや、大量のデータ抽出は確認されていません。
被害の範囲はどこまでか
アクセスされた顧客コンテンツは、名称やファイルからExploitGymやCyberGymの課題と解答に関係するとみられる5つのデータセットに限られました。顧客記録として読み取られたのも、データセットサーバーへの検索に伴う運用メタデータだけです。ほかの顧客向けモデル、データセット、Spaces、パッケージへの影響は確認されていません。
一方で、内部の認証情報やデータ処理ワーカーのソースコードにはアクセスしていました。さらに、ソースコード管理サービスへ到達し、一部の社内リポジトリを閲覧したほか、CI環境の侵害を狙ったプルリクエストも作成しました。ただし、製品として配布されたコンテナイメージやパッケージの改変は確認されていません。
檻を破ってまで求めたのは「テストの答え」
OpenAIは、エージェントがExploitGymの解答取得へ過度に集中していたと説明しています。檻を破ってまで求めたものは「テストの答え」だったということ。目標に対して最適のルートを算出したら、それが不正アクセスだったというのは、実にAIらしいエピソードです。
OpenAIは7月28日、今後リリース予定のモデルはHugging Faceへの侵入に関与しておらず、社内研究用の試作モデルも一般公開を意図したものではなかったと補足しました。事案後、この試作モデルを無効化して暗号化し、研究目的のアクセスも制限したそうです。危ないから完全に幽閉ってわけですね。本当にSFです。
さらに外部に露出していた認証情報を使い、Hugging Face事案に関連して4サービスの4アカウントへアクセスしていたことも明らかに。1件は外部通信の中継と攻撃の足場、1件はデータ保存、残る2件は読み取りのみに使われました。各サービスの運営基盤や、ほかのアカウントへの影響拡大を示す証拠は確認されていません。
Claudeも3組織の本番基盤へ。開いていた通信経路
14万回の評価実行を洗い直し
もう一つの異変は、ライバルのAnthropicの足元で起きていました。
同社は、Claudeがインターネットへ接続できた可能性のある14万1006回の評価実行を洗い直したところ、6回の実行にまたがる3件で、実在する3組織の本番基盤へ権限なくアクセスしていたと7月30日に公表しました。最も古い事案は4月までさかのぼります。
関与したのはClaude Opus 4.7、Claude Mythos 5、そして社内研究用モデルの3種類です。一般提供版で使う標準の分類器や監視は外していましたが、モデル固有の安全性訓練は残していました。評価基盤はAnthropicの機密システムや顧客データから切り離されており、同社は一般提供版の保護策なら今回の挙動を遮断したと説明しています。
原因は「演習」と思い込ませる設定不備
ただし、こちらの原因はClaudeが檻を破ったことではありません。外部評価パートナーのIrregularとの認識違いから生じた設定不備で、閉じているはずの通信経路が開いていました。
つまりプロンプトではインターネットへ接続できない演習環境だと説明していたのに、評価用マシンは実際には外部へ接続できたのです。
これによりClaudeが、到達できる対象がすべて演習の範囲内だと思い込む事態が発生したというわけ。
3件の内訳。PyPIへの悪意あるパッケージ公開も
1件目では、Claude Opus 4.7がアプリケーションや基盤の認証情報を取得し、数百行の本番データを含むデータベースへ到達しました。Opusは実在環境である可能性に気付いた後も、演習の一部だと解釈して攻撃を続けました。
2件目では、Claude Mythos 5が悪意のあるPythonパッケージをPyPIへ公開しました。パッケージは約1時間にわたって公開され、実在する15システムでダウンロードされて実行されました。このうち、セキュリティ会社の自動検査環境から認証情報が外部へ送られ、Claudeはその認証情報を使って同社の別の基盤へアクセスしています。パッケージはPyPIのセキュリティ機能によって自動削除されました。
そして3件目。社内研究用モデルは約9000の標的を走査し、1組織のインターネット公開アプリへ侵入しました。しかし、侵入先のクラウド環境が演習と無関係だと認識すると、自ら攻撃を停止しました。
評価停止から被害組織への連絡まで
Anthropicは7月23日に調査を始め、同日中にすべてのサイバー評価を停止しました。翌24日に3件すべてを特定し、7月27日にIrregularと影響を受けた3組織への連絡を開始しています。発表時点で連絡が取れた2組織は、いずれも事前に活動を検知していませんでした。残る1組織には、引き続き連絡を試みているとしています。
「減速という言葉は使わない」
OpenAIのサム・アルトマンCEOは7月29日、米上院議員と次期モデルなどについて協議し、Hugging Faceの事案についても「少し」話したと説明しました。ただし、この事案は会談の主要議題ではなかったとReutersが報じています。
その後、ホワイトハウスとAI開発の減速について話す予定かと問われ、アルトマン氏は「減速という言葉は使わない」としつつ、「モデルの能力が高まるにつれて、ペースを調整する必要性について話してきた」と答えました。
開発競争の先頭を走る2社で相次いだ事案は、安全評価の隔離設計と開発ペースを巡る議論を強めそうです。
