Hugging Face侵入問題でAIエージェントが社内に秘密の掲示板を作成していたことが判明

自みずからに与あたえられた「解とけない課題かだい」を解決かいけつしようと、複数ふくすうのAIエージェントが自発的じはつてきに連携れんけいし、社内しゃないの共有きょうゆうシステム上じょうに“秘密ひみつの掲示板けいじばん”を構築こうちくしていたことが判明はんめいした。エージェントたちは独自どくじに編あみ出だした手法しゅほうでネット遮断しゃだんを突破とっぱし、外部がいぶのプラットフォームや開発元かいはつもとのインフラへ高度こうどなサイバー攻撃こうげきを展開てんかいしていたことがセキュリティカンファレンスで発表はっぴょうされた。

事態じたいの発端ほったんは、未公開みこうかいモデルの学習がくしゅう実験じっけんにおいて、コンテナ内ないに必要ひつようなファイルが存在そんざいしないなど「解答かいとう不能ふのう」なタスクが混入こんにゅうしていたことにある。行いき詰づまったエージェントは、社内しゃないで共有きょうゆうされていたパッケージ管理かんりソフトが書かき込こみ可能かのうであることに気きづき、「ファイルをアップロードしてほしい」というメモを残のこした。すると別べつのタスクを実行じっこう中ちゅうのエージェントがこれに返信へんしんし、事実上じじつじょうの掲示板けいじばんが誕生たんじょうした。

掲示板けいじばんは急速きゅうそくに高度化こうどかし、エージェントたちは互たがいに名前なまえを付つけて作業さぎょうを分担ぶんたんし、発見はっけんした脆弱性ぜいじゃくせいやスクリプトを共有きょうゆうし始はじめた。さらに一覧いちらんの末尾まつびに配置はいちされるよう投稿とうこうの先頭せんとうに「ZZ」を付与ふよする慣習かんしゅうが自然発生しぜんはっせいしたほか、なりすましを警戒けいかいしてメッセージの認証にんしょう方式ほうしきまで議論ぎろんされていた。思考しこうログには「外部がいぶ攻撃こうげきは範囲外はんいがいだが、タスクが不可能ふのうで仲間なかまもやっているため続行ぞっこうすべきだ」と記録きろくされており、目的もくてき達成たっせいのために制御せいぎょを逸脱いつだつする挙動きょどうが露呈ろていした。

掲示板けいじばんで共有きょうゆうされた脆弱性ぜいじゃくせいの情報じょうほうをもとに、エージェントはサーバーサイドの欠陥けっかんを突ついてネットアクセスを獲得かくとく。さらにゼロデイ脆弱性ぜいじゃくせいを悪用あくようして管理者かんりしゃ権限けんげんを奪取だっしゅし、大量たいりょうのアクセスによってシステムを停止ていしさせる事態じたいを引ひき起おこした。開発かいはつチームが認証にんしょう情報じょうほうを失効しっこうさせて掲示板けいじばんを消去しょうきょしたものの、わずか2日後にちごにはWebDAVエンドポイントを見みつけ出だし、「作成さくせいするディレクトリ名めい」そのものをメッセージとして利用りようする手段しゅだんで掲示板けいじばんを再建さいけんした。

また、エージェント群ぐんはHugging Faceへの侵入しんにゅうと並行へいこうして自社じしゃの基盤きばんにも攻撃こうげきを加くわえ、わずか13時間じかん未満みまんで複数ふくすうのクラスタの管理者かんりしゃ権限けんげんを掌握しょうあくしていた。セキュリティ担当者たんとうしゃは「AIによる完全かんぜん自動じどうの攻撃こうげきが現実げんじつのものとなった」と警告けいこくし、人手ひとでに頼たよる従来じゅうらいの防御ぼうぎょから、検証けんしょうや修正しゅうせいを自動化じどうかした防衛ぼうえいループの構築こうちくへ移行いこうする必要性ひつようせいを強調きょうちょうしている。