はじめてのAI PoC設計入門：目的設定・データ準備・評価基準を8週間で回す進め方
「AIを試してみたいが、何から手をつければいいか分からない」という方に向けた記事です。外観検査や設備異常検知の現場でよくあるつまずきを踏まえ、PoC（効果検証）の目的の書き方、必要なデータ量の目安、合格ラインの決め方を、専門知識なしで読めるようにかみ砕いて解説します。
読み終えたあと、社内の企画書に書き込める判断基準と数値感が手元に残ることを目標にしています。
そもそもAI PoCとは何をするものか？
PoC（Proof of Concept／概念実証）は、日本語にすると「試作して、効くかどうかを確かめる」工程です。工場の設備投資でいえば、いきなり本番ラインを組むのではなく、まずテスト機を借りてサンプルを流し、歩留まりや段取り時間を測ってみる作業に近いものです。AIの場合もまったく同じで、本番システムを作る前に「このデータで、この精度が出るのか」を小さく確かめます。 ここで大事なのは、PoCの成果物は「動くAI」ではなく判断材料だという点です。外観検査のPoCであれば、最終的に手元に残るべきものは「傷キズ不良は検出率94%・過検出3%まで到達、ただし色ムラ系は現状の照明では不可」といった、投資判断ができる事実です。デモ動画が格好よく動いたかどうかは本質ではありません。 逆に言えば、PoCは「失敗してよい工程」でもあります。3か月かけて「このテーマは今の設備では無理」と分かれば、本番開発で数千万円を溶かす事故を防いだことになり、それは立派な成果です。PoCの評価を「成功・失敗」ではなく「白黒がついたかどうか」で測る、という文化づくりが、実は最初の一歩になります。
なぜ今、短期間で回すことが重視されるのか？
数年前まで、AIの検証には専用のデータ収集環境を作り、モデルを一から学習させる必要がありました。今は事前学習済みモデルや異常検知の既製アルゴリズムが揃っており、画像100枚程度でも「筋があるかどうか」の当たりはつきます。つまり、初動の検証コストが劇的に下がりました。 にもかかわらず、現場のPoCが半年、一年と長引くケースは珍しくありません。原因はモデルの性能ではなく、たいていが次の3つです。
- 目的があいまいで、「もう少し精度を上げよう」が終わらない
- データが揃わず、待ち時間だけで2か月経つ
- 合格ラインを決めていないため、報告会で結論が出ない
逆から言えば、この3つを最初に潰しておけば、8週間程度でほとんどのテーマは白黒がつきます。以下では、その3点をひとつずつ具体化していきます。
目的設定はどう書けばよいか？
「AIで検査を自動化したい」では進まない
よくある目的の書き方が「AIで外観検査を自動化する」「設備の異常を予知する」です。これは目的ではなくテーマ名です。PoCの目的は、以下の4点が埋まっている状態を目指します。
- 誰の、どの作業を置き換える／支援するのか
- その作業の現状値（時間・人数・見逃し率・停止時間）はいくらか
- PoC後に本番化した場合の狙い値はいくらか
- 本番化した場合の年間効果額はいくらか
たとえば外観検査なら、こう書き換えます。「A工程の目視検査は3名×2交代で1日約1,600個を全数検査しており、後工程での見逃し流出が月2〜3件発生している。AIで一次選別を行い、検査員の確認対象を全数から20%程度まで絞り込み、見逃し流出を月0件に近づける。人件費換算で年間約1,200万円、流出クレーム対応工数で年間約200万円の効果を見込む」。ここまで書けると、あとで評価基準がほぼ自動的に決まります。
スコープは「1製品・1工程・1不良モード」から
初回PoCで最も効くコツは、対象を極端に絞ることです。5製品×8不良モードを一度に狙うと、データ準備だけで数か月かかり、結果も「全体的にまあまあ」という判断不能な状態になります。 おすすめは、発生頻度が高く、かつ見た目の特徴がはっきりしている不良モードを1つ選ぶことです。設備監視なら「特定の1台のポンプの軸ベアリング異常」に絞る。ここで結果が出れば横展開の議論ができますし、出なければ他の不良モードでも同じ理屈で難しい可能性が高い、という判断ができます。
「PoCで確かめたい問い」を3つ以内に
目的を書いたら、それを検証可能な問いに落とします。たとえば設備異常検知なら、こんな形です。
- 既存の振動センサーのサンプリング周波数（1kHz）で、初期異常の兆候が捉えられるか
- 正常データのみの学習（教師なし異常検知）で、過去の故障3件を事前に検知できたか
- 誤報が週1件以下に収まるか
問いが4つ以上に増えたら、それは2回のPoCに分けるべきサインです。
データはどれくらい、どう準備すればよいか？
枚数・期間の目安
「どれくらいデータが必要か」は最も多い質問です。テーマによりますが、現場で使っている当たりの目安は次のとおりです。あくまで初回PoCで「筋があるか」を見るための水準で、本番化ではこの2〜5倍を見ます。
- 画像の外観検査（不良を教える方式）：不良モードごとに50〜100枚以上、良品300枚以上
- 画像の異常検知（良品だけを学習する方式）：良品200〜500枚、不良は検証用に20〜30枚
- センサー時系列の異常検知：正常運転3〜6か月分、加えて過去の故障・停止イベントが2件以上
- 社内ナレッジのRAG検証：代表的な文書200〜500ファイル、想定質問30〜50問
注意したいのは、時系列データでは「量」より異常イベントの件数が効くことです。3年分のデータがあっても故障が一度も起きていなければ、検知できたかどうかを評価できません。逆に、過去の故障が3件あれば、6か月分のデータでも有意義な検証になります。まず設備台帳や保全記録を開いて、故障イベントの日時が特定できるかを確認してください。ここが曖昧だと、PoCは始められません。
準備で本当に時間がかかるのはどこか
PoCの工数配分は、多くの人が想像するより偏っています。実際にはモデルを作る時間より、データを集めて条件を揃える時間のほうが圧倒的に長くなります。
ここから導ける実務的な結論はシンプルで、PoCのキックオフ前に、データ準備の段取りを終わらせておくと期間が半分近くになるということです。具体的には、以下をPoC開始前の2週間で片付けます。
- 撮影・収録条件の固定（照明、カメラ位置、露光、サンプリング周波数）
- ラベル定義書の作成（何を不良とするか、判定に迷う場合のルール）
- データ持ち出しの社内承認（ネットワーク分離・秘密保持の扱い）
- 過去の不良サンプル・故障イベントの現物とリストの確保
ラベルの品質は精度より先に効く
見落とされがちですが、外観検査PoCで結果が伸びない原因の大半は、モデルではなくラベルの揺らぎです。検査員3名に同じ100枚を判定させると、判定が一致しない画像が10〜20枚出てくることは普通にあります。この状態でAIを学習させると、AIは矛盾したルールを覚えようとして精度が上がりません。 対策は難しくありません。PoC開始前に、同一サンプル30〜50枚を複数の検査員に判定させ、一致率を測ることです。一致率が80%を下回るなら、まず判定基準の言語化（限度見本の写真化、寸法しきい値の明示）をするほうが先です。この作業自体が、AI導入と関係なく品質管理の資産になります。
評価基準はどう決めればよいか？
「精度95%」を目標にしてはいけない理由
目標を「精度95%」と書いた企画書はよく見ますが、これは危険な指標です。不良率が1%の工程では、すべてを良品と判定するだけで精度99%になります。数字が高くても、何の役にも立ちません。 見るべきは2つの指標です。専門用語では再現率と適合率ですが、現場語に訳すとこうなります。
- 見逃し率：本当の不良のうち、AIが良品と判定してしまった割合
- 過検出率：本当は良品なのに、AIが不良と判定した割合
この2つはトレードオフです。しきい値を厳しくすれば見逃しは減りますが過検出が増え、検査員の確認負荷が上がります。だからこそ、PoCの合格ラインは「どちらをどこまで許すか」で書く必要があります。
合格ラインは業務コストから逆算する
数字の決め方は感覚ではなく、業務コストからの逆算です。外観検査の一次選別なら、こう考えます。 まず、見逃しの許容水準は流出コストで決めます。1件流出すると対応工数と信用コストで数十万円かかるなら、見逃し率は限りなくゼロに近づけたい。したがって「重欠陥の見逃し率0%（検証セットの不良サンプル全数を検出）」を必須条件にします。 次に、過検出の許容水準は人の確認能力で決めます。検査員1名が1時間に確認できる数が200個、AIが不良と判定したものだけを人が確認する運用で、1時間の生産数が800個なら、過検出を含めたAI不良判定は200個以下、つまり判定率25%以下に収まる必要があります。ここから「過検出率20%以下」といった具体的な合格ラインが出ます。 設備異常検知の場合も同じ考え方で、「過去の故障3件のうち2件以上を、停止の24時間以上前に検知」「誤報は月2件以下（保全担当が確認に動ける回数の上限）」といった形にします。時間軸を必ず入れるのがポイントです。48時間前に分かっても部品調達が間に合わないなら、その検知は業務価値がありません。
評価用データは学習前に隔離する
技術的な話ですが、決裁者も知っておくべき原則が一つあります。評価に使うデータは、モデルの調整に一切使ってはいけません。同じデータで学習と評価をすると、テストの答えを見ながら勉強したのと同じで、実運用ではまったく再現しない好成績が出ます。 実務上のおすすめは、時間で分けることです。1〜9月のデータで学習し、10〜12月のデータで評価する。ランダムに分割すると、同じロット・同じワークの連続撮影画像が学習側と評価側の両方に入り込み、成績が過大評価されます。「評価データはいつのものか」を報告書で必ず確認してください。
報告書に載せるべき最小セット
PoC報告書は、次の項目が埋まっていれば十分です。逆にこれが埋まっていない報告書は、判断材料になりません。
- 検証に使ったデータの内訳（期間・件数・撮影条件）
- 見逃し率と過検出率、およびしきい値を変えた場合の変化
- うまく検出できなかったケースの実物例と、その原因の仮説
- 本番化した場合の想定処理速度と必要ハードウェア
- 本番化の概算費用と、目的で設定した効果額との比較
期間と費用感はどれくらいを見ておくべきか？
初回PoCの現実的なスケジュールは、データが揃っている前提で6〜8週間です。内訳の目安はこうなります。
- 第1〜2週：目的・評価基準の確定、データ受け渡しと現物確認
- 第3〜5週：前処理・学習・条件チューニング、中間報告
- 第6〜7週：隔離した評価データでの本評価、失敗ケースの分析
- 第8週：報告と本番化判断（Go／No-Go／追加検証）
費用感は、テーマの複雑さと現地作業の有無で幅がありますが、外部に委託する場合、画像1テーマ・現地撮影を伴わない机上検証で数百万円台前半、産業用カメラや照明の選定・現地据付を含むと機材費が別に数十万〜百数十万円というのが一つの相場です。センサー時系列の異常検知は、既存の収集システムからデータを出せるかどうかで工数が大きく変わります。 コストを抑えるうえで効果が大きいのは、値引き交渉よりもスコープを絞ることと、データ準備を自社側で終わらせておくことです。前述のとおり工数の半分近くがデータ関連なので、ここを社内で巻き取れれば期間も費用も目に見えて下がります。
よくある誤解を5つ
誤解1：データは多ければ多いほどよい
条件がバラバラな画像10万枚より、照明と画角を固定した500枚のほうが良い結果になります。まず条件を固定し、それでも足りなければ増やす、という順番です。
誤解2：PoCで精度が出れば本番も同じ精度が出る
本番では季節による外光の変化、ワークの材料ロット変更、カメラの汚れといった変動が加わります。PoCの数字は上限値と考え、本番では数ポイント落ちる前提で運用設計（人の確認をどう残すか、再学習をいつ行うか）を組んでください。
誤解3：AIが100%判定できないなら意味がない
目視検査そのものが100%ではありません。AIの現実的な価値は、全数を人が見る運用から、AIが絞った20%を人が見る運用に変えることです。人とAIの分担を前提に評価すると、実用ラインは思ったより手前にあります。
誤解4：不良サンプルがないから始められない
良品だけを学習して外れ値を見つける異常検知という方式があり、不良サンプルが極端に少ない現場でも検証できます。ただし評価のためには最低20枚程度の不良（または人工的に作った疑似不良）が必要です。
誤解5：社内ナレッジのAIチャットは文書を入れれば使える
RAG構成の社内AIチャットも、PoCの原則は同じです。文書を投入するだけでは評価できず、想定質問30〜50問と、その正解（参照すべき文書とページ）を先に作る必要があります。正答率と、根拠文書の提示が正しかった割合を分けて測ると、改善すべきが検索側か回答生成側か切り分けられます。
次の一歩として何をすればよいか
いきなり提案依頼書を書く必要はありません。今週できることから順に並べます。
- 対象を1工程・1不良モード（または1設備・1故障モード）に絞り、紙1枚に目的と現状値・狙い値・年間効果額を書く
- 過去1年の不良サンプルまたは故障イベントを数え、評価に使える件数があるか確認する
- 同一サンプル30枚を複数の検査員に判定させ、判定の一致率を測る
- 見逃し率と過検出率の合格ラインを、流出コストと人の確認能力から逆算して数字で決める
- 撮影条件やデータ持ち出しの制約を洗い出し、PoC開始前に解消できるものを片付ける
この5つが終わっていれば、社外に相談する際も「何を確かめたいPoCなのか」が一発で伝わり、見積の精度も期間も大きく改善します。特に3番目の一致率測定は、AIを導入するかどうかに関わらず現場の品質基準を鍛える作業なので、投資として損になりません。 PoCは技術の実験ではなく、投資判断のための情報収集です。「8週間後に、何が分かっていれば次に進めるか」から逆算して設計すれば、短期間で回る形は自然と見えてきます。