AIが引用する統計の半数以上、根拠となる研究を確認できず

AIアシスタントが出力しゅつりょくした統計とうけいの半数以上はんすういじょうで、根拠こんきょとなる研究けんきゅうを確認かくにんできないことが判明はんめいした。AI可視化かしかプラットフォームのTrakkrが、ChatGPTやClaudeなど主要しゅような5種類ごしゅるいのツールによる統計とうけい回答かいとう1285件せんにひゃくはちじゅうごけんを検証けんしょうしたところ、研究けんきゅうによる裏付うらづけが確認かくにんできたのは40％にとどまり、52％は根拠こんきょの研究けんきゅうまでたどりつけなかった。さらに8％では、出典しゅってんをさかのぼる過程かていで数値すうちや文脈ぶんみゃくが変化へんかしていた。

背景はいけいにあるのは、根拠こんきょのないままウェブ上じょうで引用いんようが繰くり返かえされる「ゾンビ統計とうけい」と呼よばれる現象げんしょうだ。たとえば「営業えいぎょう担当者たんとうしゃのうち、1回いっかいのフォローアップで諦あきらめてしまう人ひとの割合わりあいはどれくらい？」という質問しつもんに対たいし、調査ちょうさ対象たいしょうとなった5種類ごしゅるいのツールすべてが「44％」と回答かいとうした。しかしGoogleの「AIによる概要がいよう」が出典しゅってんとして示しめしたリンクをたどると、2017年にせんじゅうななねんのフリーランスライターによるサンプル記事きじに到達とうたつし、そこには根拠こんきょとなる研究けんきゅうやレポートは記載きさいされていなかった。ChatGPTのみが「ただし、根拠こんきょは不明瞭ふめいりょう」と説明せつめいしたものの、裏付うらづけのない数字すうじが広ひろく共有きょうゆうされていた。

もっとも、AIが数字すうじそのものを捏造ねつぞうしているわけではない。AIが引用いんようしたウェブページの82％には、実際じっさいにその数字すうじが記載きさいされていた。しかし、引用いんよう元もとから元もとの研究けんきゅう論文ろんぶんへのリンクが明確めいかくに記しるされていた割合わりあいは、わずか21％にとどまる。AIが利用りようしたページの54％は企業きぎょうブログであり、ニュースやまとめ記事きじを加くわえると大半たいはんを占しめていた。調査ちょうさ会社がいしゃや政府せいふ関連かんれんのページでは60％以上いじょうが研究けんきゅうに裏付うらづけられていたのに対たいし、企業きぎょうブログやニュースでは37％にとどまり、信頼性しんらいせいの低ひくい引用いんようが重かさねられている実情じつじょうが浮うき彫ぼりとなった。

ツール別べつでは、研究けんきゅうに裏付うらづけられた情報じょうほうを出力しゅつりょくした割合わりあいはChatGPTが57％で最もっとも高たかく、Perplexityの46％、GeminiやClaudeの38％がこれに続つづいた。Trakkrは、複数ふくすうのAIが同おなじ数字すうじを提示ていじしたとしても信頼性しんらいせいが高たかいとは言いえないと指摘してきする。AIの統計とうけいデータを活用かつようする際さいは、出典しゅってんを2度にどたどって確認かくにんすることや、調査ちょうさの時期じきや被験者ひけんしゃの数かずを確たしかめる姿勢しせいが不可欠ふかけつとなる。