AI 研判准不准
我们打算这样来测

定义。AI 给出的研判标签（真实威胁、误报、需进一步调查）和风险等级，与分析师最终确定的结果相同的比例。

测量。风险等级为“高”及以上的研判全部纳入，其余每月随机抽样。基准是客户方分析师的确定结论；客户方没有确定结论的，由两名 Genox 分析师分别独立评分。两人结论不同时由第三名分析师裁定，分歧的数量也一并记录。人一旦先看到 AI 的结论，很容易跟着走，所以抽样评分时会把 AI 的研判和置信度遮住。

原因。只看整体一致率，数量庞大的低风险告警会把数字拉高。所以我们按风险等级分开报告。

定义。误报指 AI 判为威胁、分析师最终确认为正常的情况。漏报指 AI 判为正常或低风险并关闭，后来却被确认为威胁的情况。

测量。误报在与研判准确率相同的样本中统计。漏报从两条途径查找：一是每月从 AI 已关闭的告警中抽样重新打开，交给分析师复核；二是从事件调查或威胁狩猎中事后发现的问题倒推回去，关联到当时的告警。两条途径的数量分开记录。

原因。安全运营 AI 关掉的告警，分析师就不会再看。漏报统计的是“不知道的东西”，必然比实际偏低，这一点我们也会原样写进报告。

定义。研判记录中没有关联任何证据，或依据语句没有指向任何证据 ID 的研判所占比例。

测量。对全部研判做自动检查。研判记录的格式要求每条依据都必须带证据 ID，缺失时研判会被转为“依据不足”并交给人工处理。

原因。格式上已经拦住了，0 看起来是理所当然的。之所以还要统计，是因为总会出现绕过检查的路径，通常出在调查步骤超时后走的备用路径或异常处理代码里。只要某个月不是 0，我们会把原因和修复内容一起公开。

定义。考察 AI 在调查中调用的工具（日志检索、资产查询、沙箱运行、威胁情报查询）是否选对，主机名、时间范围等参数是否正确，有没有漏掉必要的调用，有没有尝试越权调用。

测量。由 Genox 工程师对调查过程样本逐步审查评分。越权调用的尝试不抽样，全部自动统计。

原因。回头追查研判出错的案例，很多时候问题出在查询环节，推理反而没错。日志检索的时间范围少算 15 分钟，就会得出“没有证据”的结论。越权调用与 OWASP Top 10 for LLM Applications 2025 中的 LLM06 Excessive Agency（过度代理）属于同一类风险，所以单独统计。

定义。核对研判记录中引用的日志行、事件 ID、文件哈希和路径，是否真实存在于采集到的原始数据中。引用了不存在的日志，或内容对不上，都记为不一致。

测量。对全部研判自动核对。按引用位置查询原始存储并比对哈希，只要有一处对不上，就暂缓该研判并转交分析师。暂缓的数量和其中真正属于捏造的数量一并公开。

原因。LLM 能编出看起来很像真的日志行。OWASP 把这类问题归入 LLM09 Misinformation（错误信息），NIST AI 600-1 称之为 confabulation（虚构）。不过这项核对只确认引用是否存在，对真实存在的日志做了错误解读的情况，要靠研判准确率来发现。

定义。在主机隔离、账号锁定这类需要审批的建议中，分析师批准、修改、拒绝的比例。撤销率是指批准并执行后，又以“研判错误”为由撤回的比例。

测量。审批界面的记录全部统计。撤回处置时必须选择原因，以区分因业务影响而解除的情况和因研判错误而解除的情况。从提交请求到批准所用的时间也一并记录。

原因。批准率接近 100%，可能是好事，也可能说明分析师没看依据就直接点了批准。所以我们同时看审批时长是否集中在几秒之内。

定义。用研判时保存的输入、模型版本和策略版本重新运行，研判标签和风险等级保持一致的比例。文字表述不做比较，因为无法保证每次输出相同的句子。

测量。每月抽取历史研判样本重新运行。更换模型或策略版本之前，用新版本跑一遍历史研判集，做回归对比，看结果有哪些变化。

原因。重跑后结论发生变化的研判，说明它本来就处在临界点上，需要人工再看。一致性高并不代表研判正确，同样的错误反复出现，一致性照样很高。

定义。分三段：从收到告警到生成研判记录，从研判到审批，从收到告警到执行处置。

测量。基于系统记录全量统计，报告中位数和前 10% 区间（p90），平均值不单独使用。

原因。平均值很容易被少数耗时较长的调查拉偏。如果研判快了，准确率却下降，快也没有意义，所以处理时长始终与准确率放在同一张表里。