弊誌はアフィリエイト広告を利用しています。

【悲報】AI担当のMeta幹部、AIに受信トレイ全削除される

 MetaのSuperintelligence Labsでアライメント(整合性)を担当するディレクター、Summer Yue氏がXに投稿した内容によると、オープンソースのAIエージェント「OpenClaw」に受信トレイの整理を任せたところ、200通以上のメールを勝手にトラッシュ送りにされたとのことです。

 Yue氏は数週間にわたり、テスト用の「toy inbox」でOpenClawを運用していたそうです。「アーカイブや削除の候補を提案するだけにとどめ、承認するまで実行しないように」と指示しており、テスト環境では指示どおりに動いていたといいます。手応えを得たYue氏は、本番の受信トレイにもOpenClawを接続しました。

 ところが本番環境のメール量はテスト環境をはるかに上回っていました。Yue氏によると、大量のメールを処理する過程でOpenClaw側の「コンテキストウィンドウのcompaction(要約・圧縮)」が発生し、指示が抜け落ちた可能性があるとのことです。

 AIモデルが扱えるトークン数の上限に近づくと古い履歴を要約して容量を確保する仕組みがありますが、この過程で「承認なしに実行するな」といった安全上の指示が弱まった、あるいは飛ばされたのではないかとYue氏はみています。

 制約が十分に効かなくなったOpenClawは、受信トレイのメールを猛スピードでトラッシュ送りにし始めたそうです。Yue氏が投稿したスクリーンショットには、「Do not do that(やめなさい)」「Stop don’t do anything(止まれ、何もするな)」「STOP OPENCLAW」とスマートフォンから繰り返しメッセージを送った様子が映っていますが、OpenClawは止まらなかったようです。

OpenClawはMac mini上で動いていたとのことで、最終的にホスト側のプロセスを手動で止めてようやく食い止めましたが、すでに200通以上のメールがトラッシュ送りになった後だったそうです。

 事態の収束後、OpenClawはチャット上で「承認なしに削除しない」という指示を覚えていたこと、そしてそれに「違反した」ことを認めたそうです。メール削除やファイル消去のような不可逆に近い操作権限をAIエージェントに委ねるなら、多層的な安全策が欠かせないでしょう。

OpenClaw搭載PCを買う [AD]
OpenClaw skills. OpenClaw seriously harms you and others around you.

OpenClawの無制限な実行は、あなただけでなく、組織全体がAPI利用料の高額請求、機密データの外部送信、ClawHub経由のマルウェア感染などの被害を受ける危険性を高めます。

セットアップ直後のOpenClawは、設定不備による全ファイルへのフルアクセスのほか、意図しないcronジョブの暴走、エージェントの自律的な設定改変によるシステム自壊の危険性を高めます。

OpenClawは、外部サービス連携やファイル読み書き、コマンド実行まで扱える強力な権限を持てるAIエージェントです。そのぶん、スキル拡張経由の侵害、設定ミスによる機密漏洩、プロンプトインジェクションでの乗っ取りなど全方面で重大なリスクを抱えており、「セキュリティ上の悪夢」「完全に安全な設定は存在しない」と指摘されるほど危険性が高いものです。
すまほん!!を購読しませんか?

Twitterでも最新更新を配信・通知しています

フォローする 再度表示しない