
审计中常见的问题
AI 关闭告警或下调风险等级后,审计或事件调查通常会追问三个问题。当时依据了什么?用了哪些模型和规则?现在重跑会得出相同结论吗?完整的记录可以回答前两个问题,第三个问题更复杂。
仅将 temperature 设为 0 仍不够
将 temperature 设为 0 时,同一输入仍有可能得到不同结果。Thinking Machines Lab 在 2025 年 9 月的文章中解释了原因。推理服务器会根据负载以不同大小的批次处理请求,常用的 GPU 内核可能随批次大小改变运算顺序,因此即便使用相同的提示词,输出也可能不同。使用输出不受批次大小影响的内核,可以得到逐位一致的结果,但会牺牲一部分吞吐性能。
因此,我们优先完整保留判定时的输入和输出。重跑结果用于与原判定进行比较。若结论变化,应重新审查该判定,因为当时可能处于判断边界。
每项判定应记录的内容
Threat Correlator 为每项判定保留一份记录,包含证据、理由、结论和建议。下方示例以通用形式列出了应包含的内容。
{
"verdict_id": "...",
"decided_at": "2026-10-21T02:13:44+09:00",
"verdict": "true_positive",
"severity": "high",
"evidence": [
{"source": "edr", "ref": "event_id=...", "sha256": "..."},
{"source": "proxy", "ref": "proxy/2026/10/21/02.log#L1840", "sha256": "..."}
],
"attack_mapping": ["T1059.001", "T1490"],
"model": {"name": "...", "version": "...", "temperature": 0},
"prompt_template": "triage-v14",
"policy_version": "auto-response-2026.10",
"input_digest": "sha256:...",
"output_raw": "...",
"reviewed_by": "analyst-042"
}
这些字段本身很常见,容易遗漏的是 prompt_template和 policy_version。即使模型保持不变,调整提示词也会改变判定标准。因此,应像管理代码一样对提示词实行版本管理。
留存证据时,通常只记录原始日志的位置和哈希值,无需复制日志。若日志保留期短于判定记录的保留期,一年后接受审计时,可能只剩判定记录,作为依据的日志已被删除。请使两者的保留期限一致。
为何标注 ATT&CK 技术 ID
与其写“可疑的 PowerShell 执行”, T1059.001更利于审计复核。MITRE ATT&CK 是公开的通用分类,第三方可按相同标准核验证据。技术映射也可能出错,同一告警也可能涉及多种技术,因此映射应纳入分析人员的审查范围。
监管要求
2026 年 1 月 22 日生效的韩国《人工智能基本法》要求提供高影响人工智能的经营者公布风险管理方案、人工智能说明方案等事项的主要内容(第 34 条)。安全运营中的 AI 直接属于高影响人工智能的情况可能较少。如果判定结果会影响招聘或贷款审批等涉及个人权利的业务,则需交由法务审查是否适用。无论如何,保留判定依据都有助于日后复核。
参考资料
- Defeating Nondeterminism in LLM Inference, Thinking Machines Lab, 2025.9
- Command and Scripting Interpreter: PowerShell, T1059.001, MITRE ATT&CK
- 《人工智能发展与信任基础建设等基本法》,韩国国家法令信息中心


