AIの判定がどれだけ正しいか
この方法で測ります

定義。AIが出した判定ラベル（真陽性、誤検知、追加調査が必要）とリスク度が、アナリストが最終確定した値と一致する割合です。

測定。リスク度「高」以上の判定は全件、それ以外は毎月無作為に標本を抽出します。基準はお客様側アナリストの確定判定で、お客様側の確定がない案件はGenoxのアナリスト2名が別々に採点します。2名の判断が分かれた場合は3人目が決め、その不一致の件数もあわせて記録します。AIの判定を先に見ると人もそれに引きずられやすいため、標本の採点はAIの判定と確信度を伏せた画面で行います。

理由。全体の一致率だけを見ると、件数の多い低リスクのアラートが数字を押し上げます。そのため、リスク度別に分けて報告します。

定義。誤検知は、AIが脅威と判定し、アナリストが正常と確定したものです。見逃しは、AIが正常または低リスクとしてクローズし、後から脅威と確認されたものです。

測定。誤検知は、判定の正確性と同じ標本で数えます。見逃しは2つの経路で探します。一つは、AIがクローズしたアラートから毎月標本を抽出して再オープンし、アナリストがレビューする方法です。もう一つは、インシデント調査や脅威ハンティングで後から見つかった案件をさかのぼり、当時のアラートとひも付ける方法です。2つの経路で見つかった件数は分けて記載します。

理由。監視AIがアラートをクローズすれば、アナリストはそのアラートを見直しません。見逃しは「知らないもの」を数える作業なので、どうしても実際より少なく出ます。その点もレポートにそのまま書きます。

定義。判定記録にひも付いた証拠が一つもない、または根拠の文がどの証拠IDも指していない判定の割合です。

測定。全判定を自動でチェックします。判定記録の形式では根拠ごとに証拠IDを必須とし、欠けていれば判定を「根拠不足」に差し戻して人に引き継ぎます。

理由。形式で防いでいれば0になるのは当然に見えます。それでも数えるのは、チェックをすり抜ける経路が生まれるからです。調査ステップがタイムアウトしたときに通る代替経路や、例外処理のコードがよくその例です。0でない月があれば、原因と修正内容をあわせて公開します。

定義。AIが調査中に呼び出すツール（ログ検索、資産照会、サンドボックス実行、脅威インテリジェンス照会）を正しく選んだか、ホスト名や時間範囲といった引数が正しいか、必要な呼び出しが抜けていないか、許可範囲外の呼び出しを試みていないかを見ます。

測定。調査プロセスの標本を、Genoxのエンジニアが1ステップずつレビューして採点します。許可範囲外の呼び出しの試行は、標本を取らずに全件を自動集計します。

理由。判定が外れたケースをたどると、推論よりも照会の段階でずれていることが多くあります。ログ検索の時間範囲を15分短く取れば、「証拠なし」という結論になります。許可範囲外の呼び出しはOWASP Top 10 for LLM Applications 2025のLLM06 Excessive Agency（過剰な権限）と同じリスクのため、別に数えます。

定義。判定記録で引用したログ行、イベントID、ファイルハッシュ、パスが、実際に収集した元データに存在するかを照合します。存在しないログを引用した場合や内容が異なる場合は不一致として数えます。

測定。全判定を自動で照合します。引用箇所をもとに元データの保管先を照会してハッシュを比較し、一つでも合わなければ判定を保留してアナリストに引き継ぎます。保留件数と、そのうち実際に捏造だった件数をあわせて公開します。

理由。LLMはもっともらしいログ行を作り出すことがあります。OWASPはこれをLLM09 Misinformationとして、NIST AI 600-1はconfabulation（作話）として扱っています。ただし、この照合で確認できるのは引用が存在するかどうかだけです。実在するログを誤って解釈したケースは、判定の正確性で捕捉します。

定義。ホストの隔離やアカウントのロックなど承認が必要な推奨のうち、アナリストが承認、修正、却下した割合です。取り消し率は、承認して実行した対応を、後から「判定の誤り」を理由に元に戻した割合です。

測定。承認画面の記録を全件集計します。対応を元に戻す際は理由を選択する仕組みにして、業務への影響で解除したものと、判定が誤っていたため解除したものを区別します。依頼から承認までにかかった時間も記録します。

理由。承認率がほぼ100%に張り付いていれば、良い兆候である可能性もありますが、アナリストが根拠を読まずにボタンを押しているだけかもしれません。承認までの時間が数秒に集中していないかをあわせて見るのはそのためです。

定義。判定時に保存した入力、モデルバージョン、ポリシーバージョンで再実行したとき、判定ラベルとリスク度が同じになる割合です。文章の表現は比較しません。同じ文章が出ることは保証できないためです。

測定。毎月、過去の判定の標本を再実行します。モデルやポリシーのバージョンを変える前には、過去の判定セットを新バージョンで実行し、結果がどう変わるかを回帰比較します。

理由。再実行で結論が変わる判定は境界線上にあったということで、人が見直すべき対象です。一致度が高いからといって判定が正しいとは限りません。同じ間違いを繰り返しても一致度は高く出ます。

定義。アラート受信から判定記録の作成まで、判定から承認まで、アラート受信から対応の実行までの3区間です。

測定。システムの記録から全件を集計し、平均の代わりに中央値と上位10%の区間（p90）を出します。

理由。平均は、少数の長い調査に引っ張られます。速く終わった判定でも正確性が低ければ意味がないため、処理時間は常に正確性と同じ表に載せます。