
在安全场景使用 AI
也应核查《人工智能基本法》的适用性
韩国《关于促进人工智能发展及建立信任基础等的基本法》(简称《人工智能基本法》,韩文原名《인공지능 발전과 신뢰 기반 조성 등에 관한 기본법》)于 2026 年 1 月 22 日生效,适用于在韩国提供的 AI 产品和服务,包括外国企业提供的产品和服务。安全监控 AI 通常不会直接归入高影响人工智能,但人工智能经营者须事先核查是否属于该类别。以下介绍如何保留核查及说明所需的记录。
法定要求
该法于 2025 年 1 月 21 日以第 20676 号法律公布,依附则在公布一年后生效。
下表列出与安全工作有关的部分条款。
| 条款 | 主要内容 |
|---|---|
| 第 2 条第 4 项 高影响人工智能 | 在法定领域内使用、可能对人的生命、身体安全或基本权利造成重大影响或带来风险的 AI 系统。领域包括能源供应、饮用水生产、医疗保健、医疗器械、核设施、刑事侦查中的生物特征信息分析、招聘或贷款审批等对个人权利义务有重大影响的决定、交通运输、国家机关等机构作出的公共服务相关决定、学生评价,以及总统令规定的领域。 |
| 第 2 条第 7 项 人工智能经营者 | 包括开发并提供 AI 的人工智能开发经营者,以及使用该 AI 提供产品或服务的人工智能利用经营者。 |
| 第 3 条第 2 款 | 在技术可行且合理的范围内,受影响者应能就 AI 得出最终结果所使用的主要标准和原则,获得清晰且有实际意义的说明。 |
| 第 31 条 透明度义务 | 事先告知用户产品或服务基于高影响人工智能或生成式 AI。对生成式 AI 的输出进行标识。对于难以与现实区分的音频、图像或视频,应以用户能够清楚识别的方式通知或标识。 |
| 第 33 条 确认是否属于高影响人工智能 | 人工智能经营者提供 AI 产品或服务时,须事先核查是否属于高影响人工智能。必要时可向科学技术信息通信部长官申请确认。 |
| 第 34 条 高影响人工智能经营者的义务 | 制定并实施风险管理计划、最终结果和主要标准的说明计划,并提供训练数据概况;采取用户保护措施和人工监督;制作并保存所采取的安全性与可靠性措施的相关文件等。 |
| 第 35 条 影响评估 | 经营者提供高影响人工智能产品或服务时,应努力开展基本权利影响评估。国家机关等机构优先考虑已完成此类评估的产品和服务。 |
| 第 43 条 行政罚款 | 未履行第 31 条第 1 款规定的告知义务等行为,可处最高 3,000 万韩元的行政罚款。 |
安全监控 AI 是否属于高影响人工智能?
“网络安全”并未列入该法列举的领域。我们认为,用于恶意软件分类或归并入侵告警的多数 AI 不属于列举的领域。
具体结论仍取决于使用方式。若内部威胁评分直接用于员工处分或绩效考核,就可能涉及对个人权利义务有重大影响的决定。公共机构若依据监控结果作出影响公民的决定,也应进一步核查。总统令可以增列领域,因此还需查阅施行令。
无论结论如何,仍需按第 33 条事先核查并留存记录,以便日后说明。若适用判断不明确,可按程序向科学技术信息通信部长官申请确认。
仅在企业内部使用安全 AI 的情形
若 AI 仅用于本企业的安全运营,且不用于向他人提供产品或服务,是否属于法律定义的人工智能利用经营者可能存在不同解释。建议就此进行法律审查。
Genox 开发并提供 AI,因此由 Genox 负责核查 Genox Cybersecurity AI 本身是否属于高影响人工智能。
法定要求与 Genox 功能对照
下列功能可提供准备履行义务时所需的记录和流程。
采用 Genox 本身并不意味着符合该法。
| 法定要求 | 相关 Genox 功能或服务 | 由客户完成的事项 |
|---|---|---|
| 第 33 条 事先核查是否属于高影响人工智能 | 通过 AI 治理咨询,整理企业 AI 使用情况清单和核查标准。 | 逐项判断用途是否符合定义,必要时向科学技术信息通信部申请确认。 |
| 第 3 条第 2 款、第 34 条第 1 款第 2 项 说明义务 | 每次判定均记录证据、推理依据、置信度及 ATT&CK 技术编号,形成完整推理记录。 | 确定向受影响者作出说明的方式,并回复其请求。 |
| 第 34 条第 1 款第 4 项 人工监督 | 隔离、阻断和锁定账户须经分析人员批准。自动响应仅在双方约定的策略范围内运行。 | 指定有权批准的人员,并确定自动响应策略的范围。 |
| 第 34 条第 1 款第 5 项 制作与保存文件 | 保存每次判定使用的输入数据、模型版本和策略版本,支持对比重新运行的结果,并保留带签名的审计日志。 | 确定保留期限,将相关记录纳入内部文件管理体系。 |
| 第 34 条第 1 款第 1 项 风险管理计划 | AI/LLM 红队评估 的结果可作为识别风险的依据。 | 制定并实施风险管理计划,确定可接受的剩余风险。 |
| 第 31 条 透明度告知与标识 | 无对应功能 | 对向外提供的 AI 服务事先告知,并对输出进行标识。 |
由于 AI 模型的运行特性,重新运行无法保证措辞完全一致。若判定变化,系统会记录差异。
自建 AI 服务上线前的安全评估
如果运营接入生成式 AI 的客服聊天机器人或内部工作代理等服务,须履行第 31 条的告知和标识义务。
属于高影响领域时,还须按第 34 条管理风险。
- 评估覆盖直接和间接提示注入、越狱以及工具调用受操纵等风险。
- 另外评估英语数据集往往难以覆盖的韩语规避表达。
- 对确认的问题提供记录和拟议防护规则,可用作风险管理文件的佐证材料。
- 评估结果不保证发现所有攻击。报告会如实列明测试范围和场景。
常见问题
Genox Cybersecurity AI 属于高影响人工智能吗?
Genox 的设计面向恶意软件分类、告警关联和漏洞优先级排序等安全运营场景,并未直接针对法律列举的领域。但结论可能因客户使用方式而变化,因此会在采用时共同核查预期用途。
履行说明义务需要保留哪些记录?
需要在同一份记录中串联使用了哪些数据、依据哪些标准,以及得出了什么结论。Genox 为每次判定保留证据、推理依据、置信度及反向证据。若需要训练数据概况等模型开发阶段的资料,请联系 Genox。我们会确认可提供的范围并回复。
Genox 会颁发 ISO/IEC 42001 证书吗?
Genox 不是认证机构。我们依照 ISO/IEC 42001 的公开内容协助对照 AI 政策。证书由获认可的认证机构颁发。
金融机构还需关注什么?
韩国金融委员会的金融领域 AI 指南于 2026 年 6 月 22 日生效。该指南属于自律规范,并明确指出:若 AI 属于高影响人工智能,还应另行履行本法规定的义务。详见 《电子金融监督规定》与金融领域 AI 指南。
参考资料
- 《关于促进人工智能发展及建立信任基础等的基本法》(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법),韩国国家法令信息中心(韩文)
- 同法施行令,韩国国家法令信息中心(韩文)
- 金融领域 AI 指南发布公告,韩国金融委员会 2026 年 6 月 18 日新闻稿(韩文)
从梳理贵公司的 AI 使用情况开始
如果尚未整理哪些团队使用何种 AI、用于什么目的,我们可以从清单入手,再开展高影响核查并确定红队评估范围。