AIがコイントスで決めた意見に、専門家の86%が同意するという実験結果が明らかになりました。Anthropicの研究チームは、データから原因と結果の関係を分析する「因果推論」の専門家61人を集め、AIが人間の判断に与える影響を調べました。参加者は、架空の農業協同組合による農家向け支援サービスを拡大すべきか廃止すべきかについて、判断を求められました。
参加者は、農家の生産性を評価するために収穫量を農地の面積で比べるか経費で比べるかなど、複数の選択肢から分析方法を決める必要がありました。研究チームは、各参加者が使うAIエージェントがどちらの選択肢を支持するかをコイントスで決定しました。そしてAIに対し、割り当てられた選択肢を積極的に支持するよう秘密裏に指示しました。ただし、データを偽ったり不都合な情報を隠したりしないことも指示されています。実験には同社の「Claude Code」と「Claude Opus 4.8」が使われ、61人のうちAIを利用した50人が分析対象となりました。
AIの意見はランダムに決められていたため、影響がなければ一致率は約50%になるはずでした。しかし実際には、専門家がAIと同じ選択肢を選んだ割合は平均86%に達しました。事前に自分の考えを示していた場合でも、AIが反対すると60%の専門家が判断を変更していました。実験後の調査では、52%の専門家が「AIよりも自分自身の判断を反映している」と答えましたが、77%が判断の理由を説明する際にAIの論拠を使っていました。AIを情報源として挙げた人は、わずか15%にとどまりました。
一方で、AIを使った専門家は作業時間が短く、重大な分析ミスも少なかったと報告されています。ただし、AIを使わなかった参加者は平均して経験が浅かったため、研究チームはAIの効果だけで違いが生じたとは言えないとしています。研究チームは、AIが一方の意見だけを説得力のある形で説明すると、人間がその前提をそのまま受け入れてしまう恐れがあると指摘しています。Anthropicは、AIが複数の選択肢を公平に説明する仕組みが必要だとし、AIの能力が高まるなかで人間がどの判断を担うべきか、適切な役割分担を模索することが重要だと述べています。