米Anthropic、LLM内部で自然発生する「J-space」を発見——「意識の領域」の機能と安全性監視への応用

米べいAIスタートアップのAnthropicは、大だい規模きぼ言語げんごモデル（LLM）の内部ないぶに、人間にんげんの意識いしき研究けんきゅうにおける「グローバルワークスペース」と類似るいじした構造こうぞうが自然しぜんに形成けいせいされていることを発見はっけんした。この領域りょういきを「J-space」と命名めいめいし、その状態じょうたいを可視化かしかする手法しゅほう「Jacobian lens（J-lens）」を公開こうかいした。モデルが外部がいぶに出力しゅつりょくしない「内うちなる思考しこう」を読よみ取とることで、AIの安全性あんぜんせい監視かんしなどに役やく立だてる。

J-spaceは、モデル全体ぜんたいの活動かつどうにおける極きわめて限定げんてい的てきなパターンから構成こうせいされる。モデルが特定とくていの概念がいねんを「出力しゅつりょく」するのではなく、「思考しこう」している状態じょうたいを示しめすという。例たとえば、バグを含ふくむコードを読よみ取とった際さいに「ERROR」と想起そうきし、指示しじを悪用あくようする攻撃こうげきを検知けんちした際さいには「injection」や「fake」といった情報じょうほうを内部ないぶで処理しょりしているが、これらはテキスト出力しゅつりょくには現あらわれない。

研究けんきゅうグループは、J-spaceがグローバルワークスペース理論りろんにおける「アクセス意識いしき」の条件じょうけんを満みたしていることを実験じっけんで確認かくにんした。質問しつもんに対たいして思考しこう内容ないようを報告ほうこくでき、意図いと的てきな操作そうさが可能かのうであり、かつ推論すいろんの結果けっかに因果いんが的てきな影響えいきょうを与あたえる。実際じっさい、蜘蛛くもの脚あしの数かずを推論すいろんさせる際さい、J-space内ないの「spider」を「ant」に置おき換かえたところ、出力しゅつりょく結果けっかが「8本ほん」から「6本ほん」に変化へんかしたという。さらに、J-spaceの機能きのうを無効化むこうかすると、単純たんじゅんな会話かいわは可能かのうであるものの、高度こうどな推論すいろんや要約ようやく、創作そうさくといった複雑ふくざつな思考しこう能力のうりょくが著いちじるしく低下ていかすることが確認かくにんされた。

また、この技術ぎじゅつはAIの安全性あんぜんせい監視かんしへの応用おうようが期待きたいされる。モデルが不正ふせいな指示しじに対たいして裏うらで「secretly」や「manipulation」といった意図いとを抱だいているか、あるいは評価ひょうかテストであることを認識にんしきしているかを外部がいぶから監視かんしできるためだ。

Anthropicは、これが主観しゅかん的てきな体験たいけんを伴ともなう「現象げんしょう的てき意識いしき」を示しめすものではないと慎重しんちょうな立場たちばを取とりつつも、知的ちてきなシステムが学習がくしゅうする過程かていで機能きのう的てきな意識いしきの仕し組くみが自発じはつ的てきに獲得かくとくされる可能性かのうせいを示唆しさしている。