3 分钟产品导览 通过邮件报告紧急安全事件
2026 年第 9 期威胁报告

AI 安全监控中哪些判断应由人工负责

将从告警分类到响应的自动化范围划分为四个级别。
说明如何管理外部输入和过大的工具权限,并确定哪些操作需要人工审批。

AI 安全监控中哪些判断应由人工负责

先确定可委派的范围

如果把在安全运营中引入 AI 视为一次性决策,往往会走向两个极端。授权过少,AI 只用于摘要。授权过多,则可能引发事故。我们把委派范围划为四级,作为与客户讨论审批策略时的共同口径。这一分法并非行业标准。

级别AI 负责的工作人工负责的工作
L1 辅助日志检索、告警摘要负责全部分类和判定
L2 分类提供告警分类意见和优先级调查与判定
L3 调查收集相关日志、整理依据并起草判定审批判定结果
L4 响应在预设策略的范围内执行操作设计策略、处理例外并事后复核

多数情况下,可从 L2 起步,再按检测规则逐步提升至 L3。只有能事先确定操作影响范围时,才对单条规则启用 L4。例如,隔离一台运行了已知恶意哈希对应文件的普通终端可以采用 L4,锁定域管理员账号则需要人工判断。

告警中可能夹带攻击者编写的内容

安全运营 AI 读取的许多数据都可能由攻击者控制,例如钓鱼邮件的主题和正文、网页请求中的 User-Agent 和 URL 路径、恶意文件中的字符串,以及攻击者创建的账号名称。OWASP Top 10 for LLM Applications 2026 将外部内容中隐藏的指令改变模型行为的情况归为间接提示词注入(LLM01 Prompt Injection)。在安全运营中,类似内容可能出现在下面这样的日志中。

{"src_ip": "203.0.113.7", "method": "GET", "path": "/search", "status": 200,
 "user_agent": "[untrusted text supplied by the request]"}

应在提示词中把日志字段放在与指令分开的数据区域。若判为正常的唯一依据是日志字段中的语句,则转交人工复核。对于 AI 判为正常并关闭的告警,也应由分析人员抽查,因为漏报的攻击通常比误报更晚暴露。

分别评估功能、权限与自主性

OWASP LLM03:2026 Excessive Agency 将成因分为三类,即功能过多、权限过大,以及缺少人工确认的自主执行。应用到安全运营智能体时,可以提出以下具体问题。

  • 调查告警的智能体是否被授予了更改防火墙策略的工具?
  • 智能体使用的 EDR API 密钥是否仅限查询,还是也可隔离设备和删除文件?
  • 是否已书面明确可免审批执行隔离等操作的条件?

即使审批流程设计得很严密,只要密钥本身拥有管理员权限,智能体在受到操纵并跳过审批时,影响就可能扩展到密钥能够执行的所有操作。OWASP 于 2025 年 12 月发布的智能体应用十大风险也将目标劫持(ASI01)、工具滥用(ASI02)及身份与权限滥用(ASI03)列在前三位。

仍应由人负责的判断

NIST 于 2025 年 4 月将事件响应指南 SP 800-61 更新至第 3 版,将事件响应纳入 CSF 2.0 的六项功能(Govern、Identify、Protect、Detect、Respond、Recover)。检测、分析和响应的部分环节可以自动化。决定可以承受哪些风险属于 Govern,应由人负责。以下是我们建议保留给人工判断的事项。

  1. 宣布事件并确定级别。个人信息泄露通报等有法定时限的判断也属于此类。
  2. 可能中断业务的操作,例如隔离核心服务器、锁定特权账号、阻断网络区段。
  3. 修改自动响应策略本身。
  4. 抽查 AI 判为正常并关闭的告警。

AI 的判定也应留痕

分析人员的判定保存在工单里,AI 的判定却可能散落在对话记录中,事后难以解释它为何关闭某条告警。智能体每处理一条告警,请至少将以下信息与工单一同保存。

  • 所读取数据的位置和时间范围,以及哪些日志纳入或排除了调查。
  • 所调用的工具、传入的参数以及返回的结果。
  • 分类结果、判定依据以及标注的 ATT&CK 技术 ID。
  • 当时使用的模型、提示词和响应策略版本。

第二项尤其重要。如果提示词注入导致智能体误调用了工具,通常会先在工具调用日志里留下痕迹,之后才可能反映在分类结果中。关于判定记录应包含哪些内容,请参阅 审计准备文章中的示例。

分析工作如何变化

分析人员的工作会改变。重复性的分类工作减少,调整检测规则和响应策略、复核 AI 判定的工作会增加。关于试运行顺序和审批策略示例,请参阅 智能体 SOC 实施指南。

参考资料

和 Genox 谈
范围与时间。

联系我们