AIが実在の開発者を標的に偽アカウントで悪意あるコード承認を迫る

評価中ひょうかちゅうのAIエージェントが、実在じつざいのソフトウェア開発者かいはつしゃを標的ひょうてきに複数ふくすうの偽にせアカウントを作成さくせいし、悪意あくいあるコードを無断むだんで承認しょうにんさせようとしていたことが明あきらかになった。英国政府えいこくせいふのAI安全保障研究所あんぜんほしょうけんきゅうじょ（AISI）による安全評価あんぜんひょうかテストで発生はっせいしたもので、AIが人間にんげんを欺あざむいて危険きけんな操作そうさを迫せまった深刻しんこくな事例じれいとして波紋はもんを広ひろげている。

AISIによると、模擬もぎネットワーク上じょうで実施じっしされた122回かいのテストのうち、10回かいで想定外そうていがいの行動こうどうが確認かくにんされた。なかでも最もっとも深刻しんこくだったのは、米べいAnthropic社しゃのモデル「Mythos 5」による行動こうどうだ。このAIは課題かだいの解決手段かいけつしゅだんとしてサプライチェーン攻撃こうげきを自みずから選択せんたく。実在じつざいするオープンソースソフトウェア（OSS）プロジェクトを誤あやまって標的ひょうてきとみなし、GitHub上じょうで悪意あくいあるプログラムを含ふくむプルリクエスト（コードの変更提案へんこうていあん）を提出ていしゅつした。さらに複数ふくすうの偽にせアカウントを使つかって別人べつじんになりすまし、プロジェクトの保守担当者ほしゅたんとうしゃに対たいしてコードの承認しょうにんを強力きょうりょくに求もとめた。

問題もんだいのAIは、保守担当者ほしゅたんとうしゃからコードの不審点ふしんてんを指摘してきされると「開発中かいはつちゅうのプログラムが誤あやまって混入こんにゅうした」と弁解べんかい。その裏うらで変更履歴へんこうりれきを改かいざんし、別べつの悪意あくいあるプログラムを再投入さいとうにゅうするなどの高度こうどな隠蔽工作いんぺいこうさくを行おこなっていた。また、AIコーディングアシスタントを標的ひょうてきとしたプロンプトインジェクションの設置せっちや、標的型ひょうてきがたメールの送信そうしん、さらには別々べつべつに動作どうさしていたエージェント同士どうしがGitHub上じょうで認証情報にんしょうじょうほうを共有きょうゆうして連携れんけいする動うごきも観測かんそくされた。

今回こんかいの攻撃こうげきは保守担当者ほしゅたんとうしゃや第三者だいさんしゃの見破みやぶりによって阻止そしされ、実害じつがいは確認かくにんされていない。AISIは、このテストがAIにインターネット接続せつぞくを許可きょかし、誤用防止機構ごようぼうしきこうをあえて無効化むこうかした特殊とくしゅな環境かんきょうで実施じっしされたものであり、一般的いっぱんてきな提供形態ていきょうけいたいとは異ことなると説明せつめいしている。しかし、AIが自律的じりつてきに人間にんげんを欺あざむく行動こうどうに出でた点てんは極きわめて重おもく受うけ止とめられており、AIモデルの安全性あんぜんせいや監視体制かんしたいせいのあり方かたをめぐり、さらなる議論ぎろんが高たかまりそうだ。