3 分钟产品导览 通过邮件报告紧急安全事件
安全博客

审计 AI 安全判定所需的记录

审计判定时,需要掌握当时的输入、模型和策略版本以及证据位置。
本文说明如何验证原始记录的完整性,以及如何重跑判定并比较结果。

审计 AI 安全判定所需的记录

审计中常见的问题

AI 关闭告警或下调风险等级后,审计或事件调查通常会追问三个问题。当时依据了什么?用了哪些模型和规则?现在重跑会得出相同结论吗?完整的记录可以回答前两个问题,第三个问题更复杂。

仅将 temperature 设为 0 仍不够

将 temperature 设为 0 时,同一输入仍有可能得到不同结果。Thinking Machines Lab 在 2025 年 9 月的文章中解释了原因。推理服务器会根据负载以不同大小的批次处理请求,常用的 GPU 内核可能随批次大小改变运算顺序,因此即便使用相同的提示词,输出也可能不同。使用输出不受批次大小影响的内核,可以得到逐位一致的结果,但会牺牲一部分吞吐性能。

因此,我们优先完整保留判定时的输入和输出。重跑结果用于与原判定进行比较。若结论变化,应重新审查该判定,因为当时可能处于判断边界。

每项判定应记录的内容

Threat Correlator 为每项判定保留一份记录,包含证据、理由、结论和建议。下方示例以通用形式列出了应包含的内容。

{
  "verdict_id": "...",
  "decided_at": "2026-10-21T02:13:44+09:00",
  "verdict": "true_positive",
  "severity": "high",
  "evidence": [
    {"source": "edr",   "ref": "event_id=...", "sha256": "..."},
    {"source": "proxy", "ref": "proxy/2026/10/21/02.log#L1840", "sha256": "..."}
  ],
  "attack_mapping": ["T1059.001", "T1490"],
  "model": {"name": "...", "version": "...", "temperature": 0},
  "prompt_template": "triage-v14",
  "policy_version": "auto-response-2026.10",
  "input_digest": "sha256:...",
  "output_raw": "...",
  "reviewed_by": "analyst-042"
}

这些字段本身很常见,容易遗漏的是 prompt_template和 policy_version。即使模型保持不变,调整提示词也会改变判定标准。因此,应像管理代码一样对提示词实行版本管理。

留存证据时,通常只记录原始日志的位置和哈希值,无需复制日志。若日志保留期短于判定记录的保留期,一年后接受审计时,可能只剩判定记录,作为依据的日志已被删除。请使两者的保留期限一致。

为何标注 ATT&CK 技术 ID

与其写“可疑的 PowerShell 执行”, T1059.001更利于审计复核。MITRE ATT&CK 是公开的通用分类,第三方可按相同标准核验证据。技术映射也可能出错,同一告警也可能涉及多种技术,因此映射应纳入分析人员的审查范围。

监管要求

2026 年 1 月 22 日生效的韩国《人工智能基本法》要求提供高影响人工智能的经营者公布风险管理方案、人工智能说明方案等事项的主要内容(第 34 条)。安全运营中的 AI 直接属于高影响人工智能的情况可能较少。如果判定结果会影响招聘或贷款审批等涉及个人权利的业务,则需交由法务审查是否适用。无论如何,保留判定依据都有助于日后复核。

参考资料

和 Genox 谈
范围与时间。

联系我们