社内AIチャット効果測定の指標選び：問い合わせ削減率と自己解決率

社内AIチャットを導入したものの、経営層への効果報告で「何をどう測ればよいのか」と迷う担当者は少なくありません。本記事では、効果測定の代表指標である「問い合わせ削減率」と「自己解決率」を比較し、導入フェーズや目的に応じてどちらを主指標にすべきかの判断基準を、計測方法と数値の目安つきで解説します。

社内AIチャットの効果測定で最初に決めるべきこと

社内文書やDBを対象にしたRAG構成のAIチャットは、導入自体は数か月で完了しても、「効果が出ているのか」を説明できずに更新予算の稟議で苦労するケースが目立ちます。とくに製造業では、情シスのヘルプデスクだけでなく、設備保全のマニュアル照会、品質管理の規格・手順の確認など、問い合わせの発生源が複数部門にまたがるため、指標を決めずに走り出すと後から数字が集められません。 効果測定の主指標としてよく使われるのが「問い合わせ削減率」と「自己解決率」の2つです。どちらも一長一短があり、導入フェーズや測りたい効果によって適切な選択が変わります。まず前提として、両者が何を測る指標なのかを整理します。

• 問い合わせ削減率：有人窓口（ヘルプデスク、担当部署への電話・メール等）への問い合わせ件数が、導入前と比べてどれだけ減ったかを測る指標
• 自己解決率：AIチャットを使ったユーザーのうち、その後有人窓口に頼らず問題を解決できた割合を測る指標

似ているようで、前者は「窓口側の負荷」、後者は「AIチャット自体の性能と利用者の体験」を測っている点が本質的に異なります。

選択肢1：問い合わせ削減率で測る

定義と計測方法

問い合わせ削減率は次の式で計算します。

問い合わせ削減率(%) = (導入前の月間問い合わせ件数 - 導入後の月間問い合わせ件数) ÷ 導入前の月間問い合わせ件数 × 100

計測に必要なのは有人窓口の件数記録だけです。チケット管理システムがあればそのまま集計でき、なければメール件数や電話記録簿からでも概算できます。重要なのは導入前3か月以上のベースラインを必ず取っておくことです。月次の繁閑差（決算期、新人配属期、設備の定期点検月など）があるため、1か月分の比較では誤差に埋もれます。

数値の目安

社内文書のカバレッジが十分な状態で運用が定着すると、導入後3〜6か月で20〜30%の削減が現実的なラインです。ある製造業の情シスヘルプデスクの例では、月間420件前後だった問い合わせが、導入半年後に約300件まで減少しました。

メリットと落とし穴

最大のメリットは経営層への説明力です。「月120件の削減 × 1件あたり対応15分 = 月30時間の工数削減」のように、人件費換算で投資対効果を直接示せます。 一方で落とし穴も明確です。第一に、外部要因の影響を強く受けること。新システムの導入や組織変更で問い合わせが一時的に増えると、AIチャットの効果が数字上は消えてしまいます。第二に、効果が数字に現れるまで時間がかかること。利用が定着する前の1〜2か月は削減がほぼ見えず、この期間に「効果がない」と判断されるリスクがあります。第三に、削減率だけを追うと「そもそも聞かれなくなっただけで、現場が自己流で誤った手順を続けている」ケースを見逃します。

選択肢2：自己解決率で測る

定義と計測方法

自己解決率の計測方法は主に2つあります。

1. フィードバックボタン方式：回答表示後に「解決した／しなかった」ボタンを設置し、「解決した」の割合を集計する
2. 行動追跡方式：AIチャット利用後、同一ユーザーが一定時間内（例：24時間以内）に同じテーマで有人窓口に問い合わせたかをログで突合する

フィードバックボタンは実装が簡単ですが回答率が低く（実務上10〜30%程度）、押す人に偏りが出ます。行動追跡はチャットログと問い合わせ記録の突合が必要でやや手間ですが、実態に近い数字が取れます。両方を併用し、フィードバックは回答品質の改善用、行動追跡は報告用と使い分けるのが実務的です。

数値の目安

RAG構成の社内AIチャットでは、文書整備の状態にもよりますが、運用初期で40〜50%、ナレッジの追加とチューニングを重ねた後で60〜70%が目安になります。次の例は、行動追跡方式で分類したチャット利用後の行動内訳です。

メリットと落とし穴

自己解決率のメリットは、導入直後から測れることと、改善の打ち手に直結することです。「解決しなかった」質問ログを分類すれば、どの文書が不足しているか、どの回答が誤っているかが具体的に分かり、ナレッジ整備の優先順位を付けられます。設備保全の現場であれば「この機種のエラーコード一覧が未登録」といった欠落が質問ログから直接見えます。 落とし穴は、単体では投資対効果を語れないことです。自己解決率70%と報告しても、そもそもの利用件数が月20件では工数削減効果はごくわずかです。必ず利用件数とセットで見る必要があります。また、簡単な質問ばかりが投げられる環境では自己解決率が高く出やすく、数字の見かけほどの価値がない場合もあります。

2つの指標の比較

ケース別の推奨：どちらを主指標にするか

PoC〜導入初期（〜3か月）：自己解決率を主指標に

この時期に問い合わせ削減率を見ても、利用が定着していないため意味のある数字は出ません。自己解決率と利用件数を週次で追い、未解決ログからナレッジの穴を潰す改善サイクルを回すことに集中すべきです。PoC段階での合格ラインとしては「対象業務を絞った上で自己解決率50%以上、かつ想定ユーザーの30%以上が月1回以上利用」あたりが現実的な判断基準になります。

本格運用期（3か月〜）：問い合わせ削減率を主指標に、自己解決率を補助に

利用が定着したら、経営層への報告は問い合わせ削減率を軸に工数・費用換算で示します。ただし自己解決率のモニタリングはやめないでください。削減率が頭打ちになったとき、原因が「AIの回答品質」なのか「利用率の伸び悩み」なのかを切り分けられるのは自己解決率と利用件数のほうです。

問い合わせ記録が存在しない場合：自己解決率一択

電話や口頭での問い合わせが中心で件数記録がない現場（製造現場の保全担当への直接質問など）では、削減率のベースラインが作れません。この場合は無理に過去件数を推定するより、自己解決率と利用件数を導入時点から正しく設計して測るほうが信頼できる数字になります。

選択の決め手：「誰に何を説明するための数字か」

2つの指標のどちらを選ぶかは、突き詰めれば「誰に何を説明するための数字か」で決まります。経営層に投資対効果を示すなら問い合わせ削減率、運用チームが改善を回すなら自己解決率です。実務上は両方を測るのが理想ですが、リソースが限られるなら、フェーズに応じて主指標を切り替える運用が最も失敗が少ないと私たちは考えています。 そしてもう一つの決め手は、導入前の準備です。問い合わせ削減率は導入前にベースラインを取っていなければ後から測れません。これから導入を検討する段階であれば、まず現状の問い合わせ件数の記録を今日から始めること。それが効果測定の成否を分ける最初の一歩になります。