外観検査AIは精度何%で合格か──95%で止まった現場の話

ある金属部品メーカーの現場では、外観検査AIのPoCで「精度95%」という結果が出たにもかかわらず、導入判断が半年近く止まっていました。転機になったのは、精度という1つの数字を疑い、合格ラインを「業務の数字」から逆算し直したことです。本記事では、その試行錯誤の過程を通じて、AI導入の合格ラインの決め方を具体的に紹介します。

「精度95%です」の報告に、品質保証課長は首を縦に振らなかった

ある金属加工部品メーカーの話です。従業員は約300名、自動車向けの機械加工部品を月産数十万個の規模で生産しており、出荷前の外観検査は3名の検査員が目視で担当していました。熟練検査員の高齢化と採用難が重なり、「検査をAIに任せられないか」という声が経営層から上がったのが取り組みの始まりです。 DX推進担当者が画像AIのPoCを企画し、約2か月かけて3,000枚の画像を収集・学習。検証の結果は「正解率95%」でした。担当者としては十分な手応えのある数字です。ところが報告会で、品質保証課長はこう返しました。 「その95%には、不良を良品と判定した分がどれだけ入っているのか。1個でも不良が客先に流出したら、95%どころの話ではない」 答えられなかった担当者は、その場で導入判断を持ち帰ることになりました。ここから半年、プロジェクトは「精度何%なら使えるのか」という問いに向き合うことになります。

外観検査AIの精度は、1つの数字では語れなかった

持ち帰った担当者がまず気づいたのは、正解率という指標のからくりでした。この現場の不良率は約2%。つまり、極端な話、AIが全部を「良品」と答えても正解率は98%になります。95%という数字は、一見高く見えて、肝心の「不良をどれだけ捕まえられたか」をほとんど語っていなかったのです。 そこで評価指標を2つに分解し直しました。

• 見逃し率：不良品のうち、AIが良品と判定してしまった割合。流出リスクに直結する。
• 過検出率：良品のうち、AIが不良と判定した割合。再検査の工数と歩留まりに直結する。

この軸で測り直すと、見逃し率は約8%。つまり不良100個のうち8個を素通しする状態でした。さらに不良の種類別に検出率を見ると、集計値では見えなかった弱点がはっきりします。

キズや打痕はほぼ検出できている一方、発生頻度は低いものの流出時の影響が大きい「微小な欠け」の検出率が7割程度しかない。平均値の裏に、致命的な穴が隠れていました。「精度95%」という報告は、間違いではないものの、判断材料としてはほとんど意味をなしていなかったのです。

合格ラインは「AIの数字」ではなく「業務の数字」から逆算した

次にプロジェクトが取り組んだのは、合格ラインそのものの定義でした。参考にしたのは、AIの性能値ではなく、現行業務の実測値です。 まず、過去の流出クレームと工程内手直しの記録から、目視検査の見逃し率を推定しました。抜き取り再検査のデータと突き合わせると、熟練検査員でも見逃し率はおよそ3〜5%。「人は100%正しい」という暗黙の前提が、まず崩れました。 次に、運用の形を先に決めました。AIに最終判定を任せるのではなく、AIが「不良の疑いあり」とした品だけを人が再確認する二段構えです。この形なら、AIの過検出は「人の再検査工数」という具体的なコストに換算できます。検査員の持ち時間から逆算すると、全数のうち15%程度までのAI判定NG品なら、1名の検査員で再確認を回せる計算でした。 こうして合格ラインは次のように定まりました。

1. 見逃し率は、人の実測値（3〜5%）を明確に下回る1%以下とする。
2. 過検出率は、再検査が1名で回る15%以下とする。
3. 致命不良（欠け・異物）は種類別に見逃し率を評価し、個別に基準を満たすこと。

「精度何%か」ではなく、「流出リスクを人より下げられるか」「増える工数を吸収できるか」。問いの立て方が変わった瞬間でした。

しきい値を1本動かすだけで、見える景色が変わった

合格ラインが決まると、やるべきことは明確になりました。多くの画像AIは「不良らしさ」をスコアで出力しており、どのスコア以上をNGとするかの判定しきい値は後から調整できます。しきい値を下げれば見逃しは減り、代わりに過検出が増える。このトレードオフを、検証用データで実測しました。

しきい値0.4付近で、見逃し率0.5%・過検出率18%。見逃しは合格ラインを満たすものの、過検出がわずかに超過します。そこでモデルを作り直すのではなく、弱点だった「微小な欠け」の学習画像を300枚追加し、照明の角度を1灯分調整しました。再検証では、しきい値0.4で見逃し率0.5%・過検出率12%。両方の合格ラインを初めて同時に満たしました。 重要なのは、この間モデルの「正解率」はほとんど動いていないことです。変えたのは、評価の切り口としきい値、そして弱点に絞ったデータ追加。追加学習と照明調整を含めても、再検証までの期間は約6週間でした。

稼働3か月後の数字と、残した運用ルール

二段構えの運用を開始して3か月。実績値は、AI一次判定の見逃しゼロ（人の再確認まで含めた最終流出もゼロ）、AI判定NG品の割合は全数の11%前後で安定し、検査工数は従来比でおよそ60%削減となりました。検査員3名のうち2名は、より判断の難しい限度見本管理と工程改善に移っています。 また、導入時に次の運用ルールを文書化しました。

• 月次でAI判定NG品の内訳と見逃し監査（抜き取り全数照合）を実施する。
• 新しい不良モードが出た場合は、しきい値を一時的に下げて安全側に振り、画像を追加学習する。
• 合格ライン（見逃し1%以下・過検出15%以下）は品質保証部門が管理し、AI側の都合で変更しない。

合格ラインを「作って終わり」にせず、監査と改訂の仕組みごと運用に組み込んだことが、現場の信頼につながっています。

この事例から持ち帰れること

この現場の半年間を振り返ると、持ち帰れるポイントは4つに整理できます。

1. 正解率だけで判断しない。不良率が低い外観検査では、正解率は高く出やすい。見逃し率と過検出率に分解し、致命不良は種類別に評価する。
2. 比較対象は理想ではなく現状。人の検査の見逃し率を実測し、「人より流出を減らせるか」を基準にする。100%を求めると、どんなAIも永遠に不合格になる。
3. 運用の形を先に決める。AI単独判定か、人との二段構えか。それによって過検出の許容値が「再検査工数」という具体的な数字に変わる。
4. しきい値とデータ追加を調整代として残す。モデルの出来を0か100かで評価せず、しきい値調整と弱点データの追加で合格ラインに寄せる余地を検証計画に含める。

「精度何%なら使えるのか」という問いに、業種を超えた唯一の正解はありません。しかし、流出コスト・再検査工数・人の実力値という自社の数字から逆算すれば、合格ラインは必ず具体的な数値として定義できます。PoCを始める前に、この合格ラインを品質部門・現場・推進側の三者で合意しておくこと。それが、検証結果を前にして判断が止まらないための、最も確実な準備です。