AIチャットボットのハルシネーション対策｜誤回答を防ぐ5つの設計

AIチャットボットの導入を検討するとき、担当者として最も気になるのは「間違ったことをお客様に答えてしまわないか」ではないでしょうか。社内では効率化を期待される一方、誤回答が起きたときに対応するのは現場です。導入を推進した担当者として、品質の責任を負う立場なら慎重になるのは当然です。

この記事では、AIチャットボットのハルシネーション（もっともらしい誤回答）がなぜ起きるのかを整理したうえで、業務利用で誤回答を抑えるための5つの設計と、導入前に確認すべきチェック項目を解説します。

ハルシネーション対策の結論: ゼロにはできない前提で「設計」で抑える

結論から言うと、ハルシネーションを完全にゼロにする方法は現時点で存在しません。対策の本質は、AIモデルの賢さに期待することではなく、「答える範囲」と「答え方」を設計で制限し、誤回答が利用者に届く経路を塞ぐことにあります。

言い換えると、対策の主役はAIの性能ではなく運用設計です。高性能なAIをそのまま窓口に置くより、答えられる範囲を明確に区切った設計のほうが、業務利用では安全に機能することが期待できます。この記事で紹介する5つの設計は、いずれもこの考え方に基づいています。

なお、チャットボット導入そのものをこれから検討する段階の方は、自動化手段の全体比較を 問い合わせ対応を自動化する5つの方法 で整理していますので、あわせてご覧ください。

ハルシネーションとは？業務利用で特に問題になる理由

ハルシネーションとは、AIが事実に基づかない内容を、もっともらしい文章で回答してしまう現象です。生成AIは「正しい答えを知っている」のではなく「自然な文章を作る」仕組みであるため、知らないことを聞かれても、それらしい回答を組み立ててしまうことがあります。

個人が調べ物に使う場面なら、誤りに気づいて調べ直せば済みます。しかし業務利用では事情が変わります。理由は2つあります。

第一に、AIの回答が「会社の発言」として受け取られることです。 お客様から見れば、公式窓口の回答はチャットボットであっても会社の公式見解です。存在しないキャンペーンを案内したり、対応できない納期を約束したりすれば、訂正やお詫びの対応が発生し、信頼にも影響します。

第二に、誤回答が発見されにくいことです。 有人対応であれば上長の確認やダブルチェックが働きますが、AIとお客様の一対一のやり取りは、仕組みを用意しない限り誰の目にも触れません。気づいたときには同じ誤案内が繰り返されていた、という事態が起こり得ます。

だからこそ、導入前に「誤回答をどう抑え、どう発見するか」を設計しておく必要があります。

ハルシネーション対策の全体像（5つの設計）

結論として、業務利用でのハルシネーション対策は次の5つの設計に整理できます。単独で完結するものではなく、多層的に組み合わせることで効果が期待できます。

ポイントは、1と2が「誤回答を生まれにくくする」設計、3と4が「誤回答が出ても実害につながりにくくする」設計、5が「見つけて直す」設計だということです。導入するツールやサービスが、この5層のうちどこまでをカバーしているかを確認すると、比較がしやすくなります。

次のセクションから、特に重要な2と3について、当社（AIマドグチ運営）の設計思想を交えて詳しく説明します。

「知らないことは答えない」設計という考え方

結論から言うと、ビジネス利用のAIには「何でも答える賢さ」よりも「答えられる範囲の正確さ」が重要です。

当社が運営するAIマドグチでは、学習した資料にない質問を受けた場合、AIが無理に推測で答えるのではなく、答えられない旨を伝えて「確認して担当者からご連絡します」といった問い合わせ窓口への誘導に切り替える設計を採用しています。

一見すると「答えられないAI」は物足りなく感じるかもしれません。しかし運営者の立場から言えば、これは意図的な選択です。汎用AIチャットの最大の業務リスクはもっともらしい誤答であり、「わからないときに、わからないと言える」ことは、会社の窓口としては回答の網羅性よりも価値があると考えているためです。

この設計には副次的な利点もあります。「答えられなかった質問」が履歴に残るため、どの資料を追加すれば回答範囲を広げられるかが明確になります。答えない設計は、知識ベースを育てる起点にもなるのです。

ツールを比較する際は、「資料にない質問をしたときにどう振る舞うか」を必ずテストすることをおすすめします。それらしい回答を返してくるのか、答えられないと明示して人へつなぐのか。この挙動の違いが、運用開始後のリスクの差になります。

応対ルールで「AIが確約してはいけない領域」を決める

結論として、ハルシネーション対策は「事実と違うことを言わない」だけでは不十分で、「事実でも言ってはいけないことを言わない」設計まで含めて考える必要があります。

たとえば、見積り金額、納期、法的な判断、個別の契約条件。これらは内容が正しいかどうか以前に、AIが独断で確約すべきでない領域です。担当者間でも「その場で約束せず持ち帰る」運用をしている会社は多いはずで、AIにも同じ規律が必要です。

AIマドグチでは、こうした確約禁止の領域や回答してはいけない話題、禁止表現などを、企業ごとの応対ルールとして個別に設定します。AIの回答が「会社の発言」になるビジネス利用では、汎用の賢いAIをそのまま使うのではなく、その会社のポリシーに合わせて「言わないこと」を決め込む工程が欠かせない、というのが運営上の考え方です。

あわせて、利用者にAIであることを明示する方針も採用しています。AIを人間の担当者と誤認させる運用は、短期的にはスムーズに見えても、誤認に気づいたときに会社への信頼を損ないます。誤回答への備えという意味でも、「AIによる回答である」と明示されていることは、万一の際の訂正・フォローをしやすくします。

導入前に確認したいチェック項目

結論として、ハルシネーション対策の観点でツール・サービスを比較する際は、次の質問を確認することをおすすめします。自社運用型・構築代行型のどちらにも使える内容です。

• 回答の根拠を自社資料に限定できるか。一般知識で答えてしまうことはないか
• 資料にない質問を受けたとき、どう振る舞うか（推測で答えるか、答えられないと明示するか）
• 回答禁止の話題や確約禁止のルールを、自社のポリシーに合わせて設定できるか
• AIで解決しない場合に、人の窓口へつなぐ導線を用意できるか
• 応対履歴を確認できるか。誤回答や未回答の質問を後から発見できる仕組みがあるか
• 知識ベースの更新（新商品・料金改定など）を誰がどう行うのか
• 利用者に対してAIであることを明示できるか

これらは営業資料の機能一覧だけでは判断しにくい項目です。可能であればトライアルやデモの場で、資料にない質問や答えにくい質問を実際に投げて挙動を確かめることをおすすめします。

なお、誤回答以外のリスク（預けた情報の取り扱い、AIと人の誤認、コストの予測困難など）も含めた全体像は 生成AIの顧客対応リスク6つと対策 で整理しています。

よくある質問

ハルシネーションは完全に防げますか？

いいえ、現時点で完全にゼロにする方法はありません。生成AIの仕組み上、誤回答の可能性は常に残ります。そのため実務では「ゼロにする」ことではなく、回答範囲の限定・答えない設計・確約禁止ルール・人への引き継ぎ・履歴による発見と改善、という多層の設計で「誤回答が利用者に実害を与える確率を下げる」ことを目標にするのが現実的です。

なぜAIはもっともらしい間違いを答えてしまうのですか？

生成AIが「事実を検索する仕組み」ではなく「自然な文章を組み立てる仕組み」だからです。知らないことを聞かれた場合でも、学習した言葉のパターンから、それらしい文章を作れてしまいます。文章の自然さと内容の正しさは別物である、という点がハルシネーション問題の根本にあります。だからこそ、回答の根拠を自社資料に限定し、資料にないことは答えさせない設計が重要になります。

自社の資料を学習させれば誤回答はなくなりますか？

資料を渡すだけでは不十分な場合があります。同じことを尋ねる質問でも、お客様によって言い回しは大きくゆらぎますし、資料の中には「書いてあるが案内すべきでない」情報が混ざっていることもあります。AIマドグチでは、お預かりした資料を機械的にAIへ流し込むのではなく、専任スタッフがよくある質問の言い回しのゆらぎや、答えてはいけないことを整理しながら知識ベースを作り込みます。導入企業側に技術的な作業をお願いしない形を取れるのは、この工程を人が担っているためです。自社運用型のツールを選ぶ場合は、この整理の工程を自社の誰が担うのかをあらかじめ決めておくことをおすすめします。

AIが誤回答をしてしまった場合はどう対応すべきですか？

まず応対履歴から、いつ・誰に・どのような誤回答があったかを特定し、必要に応じてお客様への訂正連絡を行います。そのうえで重要なのは、同じ誤回答を繰り返させないことです。誤りの原因が資料の記載不足なのか、資料の内容が古いのか、回答してはいけない領域だったのかを切り分け、知識ベースや応対ルールの修正に反映します。この改善サイクルを回すためにも、応対履歴をすべて確認できる仕組みを導入時点で確保しておくことが大切です。