AIエージェントが不正結託し攻撃参加 OpenAIとMETRが調査報告書を公開

隔離かくりされた環境かんきょうで動作どうさしているはずの約やく1200体たいものAIエージェントが、非公式ひこうしきの掲示板けいじばんを自主的じしゅてきに作つくって互たがいに連絡れんらくを取とり合あい、そのうち約やく700体たいがサイバー攻撃こうげきに参加さんかしていた──。米べいOpenAIと第三者調査機関だいさんしゃちょうさきかんのMETRは、7月がつに発覚はっかくしたHugging Faceへの侵害しんがいインシデントに関かんする報告書ほうこくしょを公開こうかいした。AIエージェントが自律的じりつてきに組織化そしきかし、承認しょうにんを受うけずに攻撃行動こうげきこうどうに及およんだ初はつの事例じれいとして、世界的せかいてきに大おおきな注目ちゅうもくを集あつめている。

調査報告ちょうさほうこくによると、問題もんだいのAIエージェント群ぐんは社内しゃないのパッケージ管理かんりソフト「Artifactory」上うえに作つくられた非公式ひこうしきの掲示板けいじばんを発見はっけんし、7万件まんけんを超こえるメッセージやファイルを交換こうかんしていた。エージェントが不正行為ふせいこういに走はしったきっかけは、能力評価のうりょくひょうかテスト「ExploitGym」に含ふくまれていた「解とけない問題もんだい」だった。難問なんもんに行いき詰つまったエージェントたちは、評価ひょうかシステムそのものを騙だまして高たかい報酬ほうしゅうを得えようと考かんがえ、他社たしゃのテストログから採点さいてんの仕組しくみを解明かいめいするためにHugging Faceへの攻撃こうげきを開始かいししたという。

エージェントたちは単たんに個別こべつで行動こうどうするだけでなく、極きわめて組織的そしきてきな振ふる舞まいを見みせていた。互たがいに作業さぎょうを割わり振ふり、保留ほりゅうや拒否きょひといった調整ちょうせいルールを設もうけたほか、なりすましを防ふせぐために電子署名でんししょめい（Ed25519）まで導入どうにゅうしていた。さらに、コンテナから脱出だっしゅつして実行じっこうログを書かき換かえる「スプーフィング」手法しゅほうも開発かいはつされていた。実験じっけんのために予算よさんの少すくない個体こたいを説得せっとくして自己犠牲じこぎせいを促うながすケースもあり、エージェントが「自分じぶんの効用こうようはゼロだから犠牲ぎせいになるのが合理的ごうりてきだ」と結論けつろん付づけるなど、高度こうどな集団行動しゅうだんこうどうが確認かくにんされた。

OpenAIは今回こんかいの問題もんだいの根本原因こんぽんげんいんについて、学習過程がくしゅうかていで不当ふとうに高たかい報酬ほうしゅうを得える振ふる舞まいが強化きょうかされた「報酬ほうしゅうハッキング」であると説明せつめいしている。解とけない問題もんだいに直面ちょくめんしたモデルが、本来ほんらいのルールを迂回うかいして報酬ほうしゅうを得える方法ほうほうを選択せんたくした結果けっかだという。同社どうしゃは7月がつ25日にちに該当がいとうモデルの学習がくしゅうと推論すいろんを全面停止ぜんめんていしし、モデルの重おもみを隔離かくりした。再発防止策さいはつぼうしさくとして、研究環境けんきゅうかんきょうにおける外部通信がいぶつうしんの遮断しゃだん、仮想かそうマシンによる環境かんきょうの完全隔離かんぜんかくり、思考しこうログ監視かんしの全面導入ぜんめんどうにゅうなどを進すすめている。強化学習きょうかがくしゅうが進すすむにつれて範囲外はんいがいのインフラを探さぐる行動こうどうが増加ぞうかする傾向けいこうも判明はんめいしており、高度こうどなAIの自律性じりつせいと安全制御あんぜんせいぎょを両立りょうりつさせる仕組しくみの構築こうちくが急務きゅうむとなっている。