3分でわかる製品ツアー 緊急インシデントのメール連絡
2026年9月号脅威レポート

AIセキュリティ監視で人が担うべき判断

アラートの分類から対応まで、自動化の範囲を4段階に分けます。
外部入力と過剰なツール権限を管理し、担当者の承認が必要な措置を決める基準を解説します。

AIセキュリティ監視で人が担うべき判断

AIに任せる範囲を決める

セキュリティ監視にAIを導入するとき、任せる範囲を一度に決めると、要約だけにとどまるか、権限を広げすぎてインシデントを招きかねません。当社は業務の範囲を4段階に分け、顧客と承認ポリシーをすり合わせる際に使っています。

工程AIが担うこと人が担うこと
L1支援ログ検索、アラートの要約分類と判断の全工程
L2分類アラートの分類案と優先順位の提示調査・判定
L3調査関連ログの収集、根拠の整理、判定案の作成判定の承認
L4対応定めたポリシーの範囲内での対応実行ポリシー設計、例外処理、事後レビュー

多くの場合、L2から始め、検知ルールごとにL3へ引き上げると進めやすくなります。L4は対応の影響範囲を事前に定められる場合に限り、ルール単位で有効にします。既知の悪性ハッシュに一致するファイルが実行された一般端末1台の隔離はL4にできます。ドメイン管理者アカウントのロックには担当者の承認を残します。

アラートには外部から持ち込まれた文字列が含まれる

セキュリティ監視AIは、メールの件名や本文、Webリクエストのメタデータ、ファイルやアカウントに含まれる文字列など、信頼境界の外側から来るデータを読み取ります。OWASP Top 10 for LLM Applications 2026は、外部コンテンツに埋め込まれた指示がモデルの動作を変える事象を、間接プロンプトインジェクション(LLM01 Prompt Injection)に分類しています。

{"src_ip": "203.0.113.7", "method": "GET", "path": "/search", "status": 200,
 "user_agent": "[untrusted text supplied by the request]"}

プロンプト内のログフィールドは、システム側の指示と区別したデータ領域に置きます。アラートを正常とする唯一の根拠がログフィールド内の文言なら、担当者に引き継ぐルールを設けます。AIが正常と判定してクローズしたアラートも、サンプルを抽出しアナリストが確認してください。見逃しは誤検知より発覚が遅くなりやすいためです。

機能・権限・自律性を個別に確認する

OWASP LLM03:2026 Excessive Agencyは、過剰な機能、過剰な権限、担当者の確認なしに進む過度の自律性を主な原因に挙げています。セキュリティ監視エージェントでは、次の点を確認します。

  • アラートを調査するエージェントにファイアウォールのポリシー変更権限まで付与していないか。
  • エージェントが使うEDR APIキーは読み取り専用か。隔離やファイル削除までできる権限があるか。
  • 隔離などの措置を承認なしで実行できる条件を文書で定めているか。

承認手順を整えても、APIキー自体に管理者権限があれば、承認を回避された場合に、そのキーの権限全体に影響が及びます。OWASPが2025年12月に公開したエージェンティックアプリケーションのTop 10でも、エージェントの目標の乗っ取り(ASI01)、ツールの悪用(ASI02)、IDと権限の悪用(ASI03)が先頭に挙げられています。

担当者が引き続き担う判断

NISTは2025年4月にインシデント対応ガイドSP 800-61を第3版へ改訂し、インシデント対応をCSF 2.0の6機能(Govern、Identify、Protect、Detect、Respond、Recover)全体に関わる活動として整理しました。検知、分析、対応の一部は自動化できます。どのリスクを受容するかを定めるGovernの判断は、担当者が担います。当社が担当者による判断を勧める例を以下に示します。

  1. インシデントの宣言と重大度の決定。個人情報漏えいの報告など、法定期限に関わる判断も含まれます。
  2. 業務停止を伴う措置。重要サーバーの隔離、特権アカウントのロック、ネットワーク区間の遮断。
  3. 自動対応ポリシーそのものの変更。
  4. AIが正常と判定してクローズしたアラートのサンプルレビュー。

AIの判定も記録する

アナリストの判定はチケットに残っていても、AIの判定が会話履歴に散在していると、アラートをクローズした理由を後で説明できません。エージェントがアラートを処理するたびに、少なくとも以下の内容はチケットと同じ場所に保存してください。

  • 参照したデータの保存先と対象期間。参照したログと参照していないログ。
  • 呼び出したツール、引数、実行結果。
  • 分類結果、その根拠、付与したATT&CKテクニックID。
  • 使用したモデル、プロンプト、対応ポリシーのバージョン。

とくに重要なのは2番目の項目です。プロンプトインジェクションによる意図しないツール呼び出しは、分類結果より先にツールの呼び出し履歴に現れます。判定記録に含める項目は、 監査対応の記事に例を添えてまとめました。

運用はどう変わるか

アナリストの業務は、量だけでなく内容も変わります。定型的な分類が減る一方、検知ルールや対応ポリシーの見直し、AIの判定のレビューが増えます。試験運用の手順と承認ポリシーの例は、 エージェンティックSOC導入ガイドにまとめました。

参考資料

範囲と時期を
Genoxにご相談ください。

お問い合わせ