1996年8月、のちにGoogleとして知られることになる企業が、ウェブのあり方を根底から覆すツールを世に送り出した。その理念は至ってシンプル。「特定のページへのリンクが多ければ多いほど、そのページの有用性は高いはずだ」というものだ。こうしてリンクはウェブにおける絶対的な王者となり、この30年間、世界中の人々がこの検索システムに依存して情報を発掘し、インターネットの広大な海を探索してきた。彼らのミッションステートメントである「世界中の情報を整理する」という言葉には、そのリンク至上主義の哲学が凝縮されていたと言っていい。
しかし今、事態は劇的な転換期を迎えている。あのお馴染みの「青いリンク」の羅列は徐々に影を潜め、世界最大の検索エンジンは、ユーザーの質問に対する「回答」そのものを直接提示しようとしているのだ。
「検索」から「回答」ビジネスへの完全なシフト
他のウェブサイトに飛ぶ必要も、インターネットをあちこち彷徨う必要もない。Googleの検索部門を率いるLiz Reidが語るように、AIによる新たな検索体験はすでに月間10億人以上のユーザーを獲得し、爆発的な成長を見せている。
「今やユーザーは、『近くのハイキングコース』といった単純な検索ではなく、『犬連れで行ける絶景のハイキングコースで、駐車場付きのランチスポットがある場所の旅程を組んで』といった、超具体的でニッチな質問を投げかけるようになっています。Google検索は、根底から『AI検索』へと生まれ変わったのです」(Liz Reid)
要するに、Googleはもはや従来の「検索」ビジネスからは足を洗い、「回答」を提供するビジネスへと舵を切ったということだ。この変化がもたらす影響は、30年前のリンクベースの発明以上に計り知れない。インターネットの終焉を危惧する声さえ上がっているほどだ。
この壮大なビジョンに対するユーザーの不安を払拭するためか、Googleは情報の透明性と信頼性を担保する新機能を次々と投入している。例えば、ユーザーが日頃から信頼しているメディアを事前登録できる「お気に入りソース(Preferred Sources)」機能だ。これを設定しておけば、AIの回答内でもそのソースからのリンクが優先的にハイライトされる。さらに、情報が錯綜する最新トピックには文脈を整理したカルーセル表示を導入し、他の記事から多く参照されている一次情報源には「Highly Cited(多数引用)」というバッジを付与し始めた。AIが生成する合成的な回答の中に、人間が紡ぎ出した独自の視点や一次情報を巧みに織り交ぜることで、エコシステムのバランスを保とうという思惑が透けて見える。
全知全能のシステムが抱える「幼稚園児レベル」の欠陥
ここまで聞くと、GoogleのAI検索は我々の理解を超越した完璧なシステムのように思えるかもしれない。だが、現実はそう甘くない。
試しにGoogleのAIに「Googleの中に『P』はいくつある?」と尋ねてみてほしい。驚くべきことに、AIは「2つ」と真顔で答えてくる。「poop(うんち)」という単語には「r」がぴったり1つ含まれていると主張し、「journalism」には「d」が2つあると言い張り(ご丁寧に j-o-u-r-n-a-d-i-s-m と綴ってくれる)、あろうことか元米大統領のラストネームを t-r-p-u-m と綴ったりするのだ。
Googleが社運を賭けて推し進めるこのAI主導の検索オーバーホールが、あちこちでボロを出しているのは、ある意味で予想通りの展開とも言える。なにしろ、彼らが初めて検索にAI Overviewを導入した際にも、The Onionのような風刺サイトやRedditの適当な書き込みを真に受け、「石を食べろ」だの「ピザのチーズが落ちないように無毒の接着剤を混ぜろ」だのとユーザーにアドバイスして大ひんしゅくを買った前科があるのだ。誕生から29年を迎える主力製品の中核に生成AIを据えるという強気な姿勢とは裏腹に、システムは盛大に躓き続けている。
TechCrunchの取材に対し、Googleは「単語内の文字数を数えることは大規模言語モデル(LLM)にとって既知の課題であり、現在修正に取り組んでいる」と弁明した。そう、どんなに高度なアプリのコードを数秒で書き上げ、数学者を長年悩ませてきた難問を解き明かすAIモデルであっても、スペルに関しては幼稚園児レベルなのである。「strawberryにrはいくつある?」という質問は、もはやAI業界における鉄板のジョークだ。
先週発生した、「disregard(無視して)」と検索すると「了解しました。新しいプロンプトがあれば教えてください!」と出力される奇妙なバグはすでに塞がれたが、こうした根本的なスペルミスや認識エラーの根絶は一筋縄ではいかない。
AIはテキストを「読んで」などいない
アルバータ大学のAI研究者であるMatthew Guzdialが指摘するように、その根本的な原因はAIのアーキテクチャそのものに起因する。
「LLMはTransformerというアーキテクチャをベースにしていますが、重要なのは、彼らが実際にテキストを『読んで』いるわけではないということです。入力されたプロンプトはエンコーディングによって数値表現に変換されます。AIは『the』という単語を見たとき、それが何を意味するかという一つの概念(エンコーディング)は持っていますが、それが『T』『H』『E』という個別のアルファベットで構成されていることまでは知りません」
つまり、多くのLLMはテキストをトークン(モデルによっては単語、音節、文字など)に分割して処理している。人間のように文字の連なりとしてテキストを認識しているのではなく、数値化されたデータの塊を文脈化して、もっともらしい論理的な応答を組み立てているだけなのだ。GoogleのAI Overviewを駆動するこのトークンベースの仕組み自体に限界があり、研究者たちもスペル問題の解決には悲観的だ。
ノースイースタン大学でLLMの解釈可能性を研究する博士課程のSheridan Feuchtは、この問題の複雑さを次のように語る。
「言語モデルにとって『単語』とは正確には何であるべきか、という問題を回避するのは非常に困難です。仮に人間の専門家たちが完璧なトークン語彙を定義できたとしても、モデル側はそれをさらに細かく『チャンク化(分割)』した方が有用だと判断するでしょう。この種の曖昧さがある以上、完璧なトークナイザーなど存在しないというのが私の見立てです」
LLMの真の価値はスペルチェック機能にあるわけではないため、これが研究者たちにとって今すぐ解決すべき喫緊の課題というわけではない。しかし、こうした赤裸々で滑稽な失敗は、一つの極めて重要な事実を我々に突きつけている。
時に人知を超えた全知全能の力を持つように見えるAIであっても、彼らは決して完璧な存在ではないということだ。検索エンジンが「回答エンジン」へと進化し、我々に完成された答えを差し出してくる時代だからこそ、その出力結果を裏付けもなしに盲信することは極めて危うい。我々は今、便利さの裏側にある「AIの構造的な無知」とどう付き合っていくべきか、根本的なリテラシーを問われている。