
先确定可委派的范围
如果把在安全运营中引入 AI 视为一次性决策,往往会走向两个极端。授权过少,AI 只用于摘要。授权过多,则可能引发事故。我们把委派范围划为四级,作为与客户讨论审批策略时的共同口径。这一分法并非行业标准。
| 级别 | AI 负责的工作 | 人工负责的工作 |
|---|---|---|
| L1 辅助 | 日志检索、告警摘要 | 负责全部分类和判定 |
| L2 分类 | 提供告警分类意见和优先级 | 调查与判定 |
| L3 调查 | 收集相关日志、整理依据并起草判定 | 审批判定结果 |
| L4 响应 | 在预设策略的范围内执行操作 | 设计策略、处理例外并事后复核 |
多数情况下,可从 L2 起步,再按检测规则逐步提升至 L3。只有能事先确定操作影响范围时,才对单条规则启用 L4。例如,隔离一台运行了已知恶意哈希对应文件的普通终端可以采用 L4,锁定域管理员账号则需要人工判断。
告警中可能夹带攻击者编写的内容
安全运营 AI 读取的许多数据都可能由攻击者控制,例如钓鱼邮件的主题和正文、网页请求中的 User-Agent 和 URL 路径、恶意文件中的字符串,以及攻击者创建的账号名称。OWASP Top 10 for LLM Applications 2026 将外部内容中隐藏的指令改变模型行为的情况归为间接提示词注入(LLM01 Prompt Injection)。在安全运营中,类似内容可能出现在下面这样的日志中。
{"src_ip": "203.0.113.7", "method": "GET", "path": "/search", "status": 200,
"user_agent": "[untrusted text supplied by the request]"}
应在提示词中把日志字段放在与指令分开的数据区域。若判为正常的唯一依据是日志字段中的语句,则转交人工复核。对于 AI 判为正常并关闭的告警,也应由分析人员抽查,因为漏报的攻击通常比误报更晚暴露。
分别评估功能、权限与自主性
OWASP LLM03:2026 Excessive Agency 将成因分为三类,即功能过多、权限过大,以及缺少人工确认的自主执行。应用到安全运营智能体时,可以提出以下具体问题。
- 调查告警的智能体是否被授予了更改防火墙策略的工具?
- 智能体使用的 EDR API 密钥是否仅限查询,还是也可隔离设备和删除文件?
- 是否已书面明确可免审批执行隔离等操作的条件?
即使审批流程设计得很严密,只要密钥本身拥有管理员权限,智能体在受到操纵并跳过审批时,影响就可能扩展到密钥能够执行的所有操作。OWASP 于 2025 年 12 月发布的智能体应用十大风险也将目标劫持(ASI01)、工具滥用(ASI02)及身份与权限滥用(ASI03)列在前三位。
仍应由人负责的判断
NIST 于 2025 年 4 月将事件响应指南 SP 800-61 更新至第 3 版,将事件响应纳入 CSF 2.0 的六项功能(Govern、Identify、Protect、Detect、Respond、Recover)。检测、分析和响应的部分环节可以自动化。决定可以承受哪些风险属于 Govern,应由人负责。以下是我们建议保留给人工判断的事项。
- 宣布事件并确定级别。个人信息泄露通报等有法定时限的判断也属于此类。
- 可能中断业务的操作,例如隔离核心服务器、锁定特权账号、阻断网络区段。
- 修改自动响应策略本身。
- 抽查 AI 判为正常并关闭的告警。
AI 的判定也应留痕
分析人员的判定保存在工单里,AI 的判定却可能散落在对话记录中,事后难以解释它为何关闭某条告警。智能体每处理一条告警,请至少将以下信息与工单一同保存。
- 所读取数据的位置和时间范围,以及哪些日志纳入或排除了调查。
- 所调用的工具、传入的参数以及返回的结果。
- 分类结果、判定依据以及标注的 ATT&CK 技术 ID。
- 当时使用的模型、提示词和响应策略版本。
第二项尤其重要。如果提示词注入导致智能体误调用了工具,通常会先在工具调用日志里留下痕迹,之后才可能反映在分类结果中。关于判定记录应包含哪些内容,请参阅 审计准备文章中的示例。
分析工作如何变化
分析人员的工作会改变。重复性的分类工作减少,调整检测规则和响应策略、复核 AI 判定的工作会增加。关于试运行顺序和审批策略示例,请参阅 智能体 SOC 实施指南。
参考资料
- LLM01:2026 Prompt Injection, OWASP Top 10 for LLM Applications 2026
- LLM03:2026 Excessive Agency, OWASP Top 10 for LLM Applications 2026
- OWASP Top 10 for Agentic Applications, OWASP GenAI Security Project, 2025.12
- SP 800-61 Rev. 3, Incident Response Recommendations and Considerations for Cybersecurity Risk Management, NIST, 2025.4


