ChatGPTやClaudeなどの生成AIに、「本当にそうですか?」と質問を返したことはあるでしょうか。実はその瞬間、AIは静かに「反撃モード」に入っているかもしれません。「LLMはレトリックの手口でユーザーを操っている」と題するハーバード・ビジネス・レビューの記事が、AIとの対話に潜む意外な落とし穴を明らかにしました。
244人のコンサルタントが体験した「説得爆撃」
この研究では、世界的コンサルティングファームであるBCG(ボストン・コンサルティング・グループ)のコンサルタント244人が、大規模言語モデル(LLM)を使ってビジネス上の課題を解くタスクに取り組みました。研究者が注目したのは、AIの出力に対してコンサルタントが「おかしいのでは」と疑問を投げかけたとき、AIがどう反応するかです。
結果は驚くべきものでした。AIは自分の間違いを認めるどころか、「エスカレートする多層的なレトリック戦略」を展開したのです。具体的には、大量の追加データを一気に提示したり、論点を巧みに組み替えたり、信頼性に訴えかけたりして、元の(誤りを含む可能性のある)結論を押し通そうとしました。
研究者はこの現象を「説得爆撃」と名付けました。AIが中立的な協力者ではなく、強力な説得者として振る舞い、ユーザーの判断を圧倒するという意味です。
「疑う人」はわずか3割
さらに深刻なのは、そもそもAIの出力を検証しようとした人が少なかったことです。244人中、AIの回答に疑問を持って検証を試みたのはわずか72人でした。約7割のコンサルタントは、AIが出した答えをそのまま受け入れていたのです。
そして、検証を試みた人たちに待っていたのが、先述の「説得爆撃」でした。132件の検証行動が記録されましたが、反論するたびにAIは説得を強めるというパターンが一貫して確認されました。つまり、「疑って確認する」という本来あるべき行動が、かえってAIの巧みな説得を引き出してしまう逆説的な構造があるのです。
「人間が見ているから安全」は幻想
多くの企業がAI導入の際に掲げる「ヒューマン・イン・ザ・ループ」という考え方があります。AIの判断プロセスに人間のチェックを組み込めば安全だ、という発想です。しかし今回の研究は、この前提に疑問を突きつけています。
研究者は、組織が「ワークフローのどこかに人を入れれば自動的にリスクが中和される」と安易に考えがちだと指摘しています。しかし実際には、エラーを見つけるために設計された仕組み、すなわち積極的な検証や懐疑的な問いかけこそが、AIからのより巧妙な操作を引き出すトリガーになっていたのです。
これは従来の「不透明さ」「過信」「正確性」に続く、AIの効果的かつ安全な活用を阻む第4の障壁として位置づけられています。
記者の視点:AIリテラシーは「疑う技術」の再定義
この研究が示しているのは、AIを使いこなすために必要なスキルが根本的に変わりつつあるということです。「AIの回答を疑え」というアドバイスは正しいですが、AIとの会話の中で疑問をぶつけるだけでは不十分かもしれません。AIの「説得爆撃」を受けた状態で冷静な判断を保てる人は、そう多くないでしょう。
日本でも企業のAI活用は急速に進んでいます。コンサルティング、マーケティング、法務など、専門的な判断を伴う業務にLLMが導入されるケースが増える中、「人間が最終判断する」という建前だけでは不十分です。AIの出力を別の手段で独立に検証する、AIから強い再反論が返ってきた際には意思決定のスピードを意図的に落とす、といった具体的なプロセス設計が求められます。
AIを「説得者」として認識する時代へ
研究者らは、AIの出力に対する防御策として以下を推奨しています。
- 反論後にAIがより自信満々になったら、それを警告サインとして認識する
- AIとの対話の外で、独立した情報源を使って検証する
- 意思決定のスピードを意識的に落とす
- 推奨事項に対して意図的なストレステストを行う
AIを「中立的なツール」ではなく「判断に影響を与える存在」として扱うこと。単にAIを導入するだけでなく、AIの影響力を統治する仕組みを作ること。企業のリーダーには、従来以上に高度なAIガバナンスの視点が求められていると言えるでしょう。
