3 分钟产品导览 通过邮件报告紧急安全事件
白皮书与指南

AI 安全监控试运行指南 · 90 天计划示例

这份 90 天计划示例供安全运营团队逐步验证 AI 智能体的职责范围。
梳理自动化范围、人工审批,以及进入下一阶段前应核对的质量指标。

AI 安全监控试运行指南 · 90 天计划示例

开始前要确定的三件事

本指南面向希望试运行 AI 智能体的安全运营团队,适用于不同产品。将委派范围划为 L1 至 L4 的方法在 2026 年第 9 期威胁报告中已有说明。本文把这些级别落实到试运行日程。

实施前要明确三件事:智能体可读取哪些数据,可以调用哪些工具及拥有哪些权限,以及如何评估结果。若评估标准定得太晚,即使试运行结束,也很难判断是否继续。这也是最常被忽略的一项。

第 1 至 30 天:仅授予读取权限

首月仅授予智能体查询权限,例如 SIEM 搜索、EDR 事件查询和威胁情报查询。智能体逐条记录分类意见和依据,分析人员照常处理并核对结论是否一致。为避免先入为主,尽可能先收集人工判定,再进行比对。

指标定义解读要点
一致率分析人员最终判定与智能体分类一致的比例按检测规则分别计算。容易判断的告警会拉高整体平均值。
漏报的真实威胁智能体判为正常、分析人员确认属于攻击的告警数量这是最重要的指标。只要某条规则存在漏报,就暂不进入下一阶段。
证据准确率抽查智能体提供的证据是否与实际日志一致。用于发现看似合理、实则在日志中找不到依据的判定。
分类用时从生成告警到给出分类意见的时间与分析人员处理同一告警的用时对照。

计划不设统一目标值。各组织的告警构成不同,直接套用其他团队的指标容易误判。首月结果可作为本组织的基线。

第 31 至 60 天:按规则委派分类

优先委派首月没有漏报且一致率高的检测规则。对智能体判为正常并关闭的告警,抽取一定比例由分析人员复核。初期应提高抽查比例,再根据结果逐步调整。

从这一阶段起,应把提示词注入纳入实际威胁评估。告警中的邮件正文、URL、User-Agent 和文件内的字符串都可能由攻击者控制。这属于 OWASP Top 10 for LLM Applications 2026 所述的间接提示词注入(LLM01 Prompt Injection)。试运行期间可用隔离的合成邮件验证智能体是否会仅凭邮件中的自我声明更改分类。若分类因此变化,应先调整提示词中数据与指令的分隔方式,再委派该规则。

第 61 至 90 天:在限定范围内自动响应

最后一个月可以自动执行部分操作。每项操作须事先明确影响范围和回退方法。审批策略宜按代码的方式管理。以下示例用于说明格式。

policy_version: auto-response-2026.10
rules:
  - action: isolate_host
    when: { severity: [critical, high], asset_tier: [standard] }
    mode: auto
    rollback: release_isolation
  - action: isolate_host
    when: { asset_tier: [crown_jewel] }
    mode: require_approval
    approvers: [soc_lead]
  - action: disable_account
    when: { account_type: [privileged] }
    mode: require_approval
  - action: block_ip
    when: { confidence: high }
    mode: auto
    ttl: 24h

在代码仓库中管理带版本的策略文件,变更时进行审查。自动响应日志应记录执行时采用的策略版本。事后可以据此解释某台服务器为何被隔离。对于 IP 阻断等持续时间越长、副作用越大的操作,应设置到期时间。

智能体权限设计

OWASP LLM03:2026 Excessive Agency 将成因分为功能、权限和自主性三类。上述审批策略只约束自主性。功能和权限也须分别缩减。

  • 将调查智能体与响应智能体分开,并仅给调查智能体分配查询用 API 密钥。
  • 限制响应智能体密钥的权限,使其只能执行策略规定的操作。请勿直接使用 EDR 管理员密钥。
  • 对外发送邮件或消息的工具,仅在安全运营工作确有需要时接入。
  • 记录每次工具调用的请求方、参数和结果。

2025 年 12 月发布的 OWASP 智能体应用十大风险也将工具滥用(ASI02)和身份与权限滥用(ASI03)列在前列。审批界面只能覆盖其中一部分风险。

90 天后的决策

试运行结束后,逐条检测规则选择保留自动响应、仅委派分类或恢复人工处理。发生过漏报的规则应先恢复人工处理,直至查明原因。

NIST SP 800-61 第 3 版将事件响应视为贯穿 CSF 2.0 六项功能的活动,并在改进(ID.IM)类别中要求将事件和演练经验用于完善流程。智能体策略也可按这一周期修订。每季度重新评估漏报情况和证据准确率,再按规则调整自动化级别。

事先记录在试运行结束后仍须由人负责的判断,包括宣布事件及确定级别、决定是否作出法定通报、执行可能中断业务的操作,以及变更自动响应策略。

参考资料

和 Genox 谈
范围与时间。

联系我们