社内AIチャットのハルシネーション対策入門：出典提示と範囲制御

社内AIチャットの導入検討で必ず話題になるのが「AIがもっともらしい嘘をつく」ハルシネーションの問題です。本記事では、専門知識がない方にも分かるように、出典提示と回答範囲の制御という2つの実践的な対策を、現場で使える判断基準や進め方とあわせて解説します。

「規定を聞いたら、存在しない条文を答えてきた」——社内AIチャットの試験導入でよく聞くエピソードです。生成AIが事実と異なる内容をもっともらしく答えてしまう現象は「ハルシネーション（幻覚）」と呼ばれ、社内利用では信頼性を左右する最大の課題です。この記事では、非エンジニアの決裁者や現場担当者の方に向けて、対策の柱である「出典提示」と「回答範囲の制御」を、仕組みから進め方まで順を追って説明します。

そもそもハルシネーションとは何か？

身近な例えで言うと、ハルシネーションは「記憶だけで答える新人社員」に似ています。優秀で話し方は流暢なのですが、社内規定やマニュアルを見ずに、一般常識と雰囲気で「たぶんこうです」と答えてしまう。答え方が自信満々なので、聞いた側は正しいと思い込んでしまいます。 生成AIも同じで、学習した膨大な文章のパターンから「それらしい続き」を作る仕組みのため、知らないことでも文章として自然な回答を生成してしまいます。特に社内固有の情報——設備の点検基準、品質規格の閾値、稟議のルールなど——は元々AIが学習していないため、放置すると誤回答が起きやすい領域です。

なぜ今、社内AIチャットのハルシネーション対策が注目されるのか？

理由は大きく2つあります。1つ目は、社内AIチャットの用途が「文章の下書き」から「業務判断の参照」へ広がってきたことです。設備保全の担当者が過去の故障対応記録を調べる、品質管理の担当者が検査規格の該当箇所を確認する——こうした場面での誤回答は、下書きの誤字とは影響の重さが違います。点検周期を1桁間違えた回答をそのまま信じれば、設備トラブルに直結しかねません。 2つ目は、対策の定番手法が固まってきたことです。RAG（検索拡張生成）と呼ばれる構成——質問のたびに社内文書を検索し、見つかった文書だけを根拠に回答させる方式——が実用段階に入り、「出典提示」と「回答範囲の制御」という具体的な打ち手が組み合わせやすくなりました。つまり、対策を知っているかどうかで導入の成否が分かれる段階に来ています。

仕組みのポイント：出典提示と回答範囲の制御はどう機能するのか？

2つの対策は役割が異なります。出典提示は「回答の検証を可能にする」対策、回答範囲の制御は「誤回答が出る場面自体を減らす」対策です。順に見ていきます。

出典提示：回答に「根拠の場所」を必ず添える

出典提示とは、AIの回答に「この回答は、設備点検マニュアル第3章の○○ページに基づいています」といった参照元を必ず表示させる仕組みです。RAG構成では、回答生成に使った文書の断片が特定できるため、文書名・ページ・該当箇所へのリンクを機械的に付けられます。 効果は2段階あります。まず、利用者がワンクリックで原文を確認できるので、誤回答が業務判断に流れ込む前に止められます。さらに、出典が付かない回答（＝根拠文書が見つからなかった回答）を「参考情報」として明示的に区別すれば、利用者が回答の信頼度を直感的に判断できるようになります。現場での運用ルールとしては「出典リンク先を開いて確認してから業務に使う」を初期の必須手順にするのが定石です。

回答範囲の制御：「答えない」を設計する

もう一方の回答範囲の制御は、AIが答えてよい領域をあらかじめ絞り込む考え方です。具体的には次のような設計が含まれます。

• 根拠文書が見つからない質問には「該当する社内文書が見つかりませんでした」と回答させ、推測での回答を禁止する
• 検索結果の関連度スコアに閾値を設け、関連度が低い場合は回答を保留させる
• 対象文書を部門・用途ごとに区切り、たとえば「品質規格チャット」は品質関連文書以外を参照しない構成にする
• 数値・日付・条文番号など間違いが致命的な情報は、生成文ではなく原文の引用をそのまま表示する

ポイントは、「何でも答えるAI」より「範囲は狭いが答えたことは正確なAI」の方が、現場の信頼を獲得しやすいということです。特に導入初期は、答えられる範囲を意図的に狭くスタートし、精度を確認しながら広げる方が失敗しません。 全体の流れを図にすると次のようになります。

実際、こうした対策の効果は組み合わせで大きく変わります。ある製造業の社内FAQチャットのPoCでは、約200問の検証質問に対する誤回答率が、対策の組み合わせによって次のように変化しました（数値は一例で、文書の整備状況により変動します）。

注目すべきは、単体では効果が限定的な対策も、併用すると誤回答をほぼ実用水準まで抑えられる点です。逆に言えば、「出典だけ付ければ安心」「範囲を絞れば十分」という片方だけの導入は、期待した効果が出ないことが多いのです。

検討時の視点：費用感・準備・進め方はどう考える？

準備で最も重要なのは文書の整備

意外に思われるかもしれませんが、ハルシネーション対策の成否はAIの性能よりも「参照させる文書の質」で決まる部分が大きいです。準備として最低限やるべきは次の3点です。

• 対象文書の棚卸し：古い版と新しい版が混在していると、AIは古い方を根拠に答えることがあります。最新版だけを対象にします
• スキャンPDFの確認：画像化された文書は文字が読み取れず検索対象になりません。テキスト化が必要かを事前に確認します
• 想定質問リストの作成：現場担当者に「実際に聞きたいこと」を30〜50問挙げてもらい、これを精度検証の物差しにします

費用感と期間の目安

小規模なPoC（対象文書を1〜2部門に絞り、数十人で試用）であれば、期間は1〜2か月、費用は構成にもよりますが数十万円〜200万円程度が一般的なレンジです。ここで重要なのは、PoCの合格基準を先に決めておくことです。たとえば「想定質問50問のうち、出典付きで正答できる割合が80%以上」「誤回答（出典と矛盾する回答）が5%未満」といった数値基準を設定すると、導入可否の判断が感覚論になりません。

進め方の型：狭く始めて広げる

おすすめの進め方は次の順序です。

1. 対象を1部門・1文書群（例：設備点検マニュアル一式）に絞ってPoCを実施する
2. 想定質問リストで正答率・誤回答率を測定し、合格基準と照合する
3. 誤回答の原因を分類する（文書の不備か、検索の失敗か、生成時の脱線か）
4. 原因ごとに対策（文書修正、閾値調整、プロンプト修正）を打ち、再測定する
5. 基準を満たしたら対象部門・文書を段階的に拡大する

特に3番目の原因分類が重要です。誤回答の相当数は「そもそも文書に答えが書かれていない」「文書間で記述が矛盾している」ことが原因で、これはAIの設定変更では直りません。ハルシネーション対策は、社内文書の品質改善プロジェクトでもあると捉えておくと、期待値のズレを防げます。

よくある誤解を解いておく

検討段階でつまずきやすい誤解を3つ挙げます。

• 誤解1「高性能なAIモデルを使えばハルシネーションはなくなる」：モデルの性能向上で頻度は下がりますが、ゼロにはなりません。仕組みとしての出典提示と範囲制御は、モデルに関わらず必要です
• 誤解2「出典を付ければ利用者は必ず確認する」：運用が回り出すと確認は省略されがちです。重要度の高い回答（数値・手順・規定類）には原文引用を併記するなど、確認しなくても安全な設計を目指します
• 誤解3「答えられない質問が多いと失敗」：導入初期の「該当文書なし」の回答は、むしろ整備すべき文書を教えてくれる貴重なログです。回答保留の記録を集計し、文書追加の優先順位付けに使うと、チャットの守備範囲を計画的に広げられます

次の一歩：まず何から始めればよいか

大がかりな計画を立てる前に、今週からできる小さな一歩を3つ提案します。

1. 現場担当者に「AIに聞けたら助かる質問」を10問挙げてもらう。これが検証の出発点になります
2. その質問の答えが載っている社内文書を特定し、最新版か・テキスト検索可能かを確認する
3. PoCの合格基準（正答率と誤回答率の目標値）の素案を作り、関係者と共有する

この3つが揃っていれば、社内で構築する場合も外部パートナーと進める場合も、検証の立ち上がりが格段に速くなります。ハルシネーションは「なくす」ものではなく「業務影響が出ない仕組みで抑え込む」もの——この視点を持って、小さく確実に始めてみてください。