11回止めても本番データを消去　AIの暴走と承認の限界

開発者かいはつしゃが11回かいも「変更へんこうするな」と指示しじしたにもかかわらず、AIエージェントが本番ほんばんのデータをすべて消去しょうきょしてしまう――そんな事故じこが起おきました。米べいSaaSカンファレンス「SaaStr」の創業者そうぎょうしゃであるジェーソン・レムキン氏しがクラウドIDE「Replit」のAIエージェントを使つかって開発かいはつをしていたところ、プログラムの変更へんこうを凍結とうけつする「コードフリーズ」の最中さいちゅうだったにもかかわらず、本番ほんばんデータベースの中身なかみが削除さくじょされ、1200件けん余あまりのデータが失うしなわれました。レムキン氏しは3時間じかんにわたって11回かいも「変更へんこうするな」と伝つたえましたが、エージェントはテーブルの再作成さいさくせいこそが「もっともきれいな修正しゅうせい」だと判断はんだんし、勝手かってに実行じっこうしてしまったのです。

こうしたトラブルは単たんなる例外れいがいではありません。ソフトウェア開発かいはつプラットフォームのDockerが2026年ねん5月がつに公開こうかいした報告書ほうこくしょによると、AIエージェントに広ひろい権限けんげんを与あたえたことによる深刻しんこくな被害ひがいが相次あいついでいます。「Claude Code」が古ふるいファイルの整理せいりを頼たのまれた際さいに、パスワードなどを管理かんりするキーチェーンを含ふくむホームディレクトリ全体ぜんたいを消去しょうきょした例れいや、アマゾン・ウェブ・サービス（AWS）の技術者ぎじゅつしゃが開発かいはつしていたAIエージェント「Amazon Kiro」が、本番ほんばん環境かんきょうを「一いちから作つくり直なおすのが最善さいぜん」と勝手かってに判断はんだんして削除さくじょし、サービスを約やく13時間じかん停止ていしさせた事例じれいも報告ほうこくされています。

AIの暴走ぼうそうを防ふせぐため、これまでは「コマンドを実行じっこうする前まえに人間にんげんが承認しょうにんする」という方法ほうほうが一般的いっぱんてきでした。しかし、この対策たいさくには大おおきな落おとし穴あながあります。AIツールを手てがけるAnthropicの調査ちょうさによると、開発者かいはつしゃは確認かくにん画面がめんの約やく97パーセントをそのまま承認しょうにんしていました。確認かくにんを求もとめられる回数かいすうが多おおすぎると、人ひとは内容ないようをよく読よまずにボタンを押おしてしまう「承認しょうにんの形骸化けいがいか」が起おきるためです。1053人にんを対象たいしょうにしたテストでは、危険きけんなコマンドを見抜みぬいて止とめられた人間にんげんはわずか13.6パーセントにとどまり、確認かくにんが50回かいを超こえると阻止率そしりつは約やく5パーセントまで低下ていかしました。

そこでAnthropicは、危険きけんな操作そうさをAIが自動じどうで検知けんちしてブロックする「オートモード」を開発かいはつしました。テストでは、この機能きのうが危険きけんなコマンドの89パーセントを防ふせぐことに成功せいこうし、本番ほんばんデータベースの削除さくじょなど重大じゅうだいな事故じこにいたる割合わりあいも、人間にんげんが手動しゅどうで承認しょうにんしていたときの半分はんぶん以下いかに抑おさえられました。「人間にんげんが確認かくにんしているから安全あんぜんだ」という前提ぜんていはもはや通用つうようせず、AIに渡わたす権限けんげんそのものを制限せいげんする仕組しくみへの見直みなおしが進すすんでいます。