3 分钟产品导览 通过邮件报告紧急安全事件
人工智能基本法

在安全场景使用 AI
也应核查《人工智能基本法》的适用性

韩国《关于促进人工智能发展及建立信任基础等的基本法》(简称《人工智能基本法》,韩文原名《인공지능 발전과 신뢰 기반 조성 등에 관한 기본법》)于 2026 年 1 月 22 日生效,适用于在韩国提供的 AI 产品和服务,包括外国企业提供的产品和服务。安全监控 AI 通常不会直接归入高影响人工智能,但人工智能经营者须事先核查是否属于该类别。以下介绍如何保留核查及说明所需的记录。

法定要求

法定要求

该法于 2025 年 1 月 21 日以第 20676 号法律公布,依附则在公布一年后生效。
下表列出与安全工作有关的部分条款。

条款主要内容
第 2 条第 4 项
高影响人工智能
在法定领域内使用、可能对人的生命、身体安全或基本权利造成重大影响或带来风险的 AI 系统。领域包括能源供应、饮用水生产、医疗保健、医疗器械、核设施、刑事侦查中的生物特征信息分析、招聘或贷款审批等对个人权利义务有重大影响的决定、交通运输、国家机关等机构作出的公共服务相关决定、学生评价,以及总统令规定的领域。
第 2 条第 7 项
人工智能经营者
包括开发并提供 AI 的人工智能开发经营者,以及使用该 AI 提供产品或服务的人工智能利用经营者。
第 3 条第 2 款在技术可行且合理的范围内,受影响者应能就 AI 得出最终结果所使用的主要标准和原则,获得清晰且有实际意义的说明。
第 31 条
透明度义务
事先告知用户产品或服务基于高影响人工智能或生成式 AI。对生成式 AI 的输出进行标识。对于难以与现实区分的音频、图像或视频,应以用户能够清楚识别的方式通知或标识。
第 33 条
确认是否属于高影响人工智能
人工智能经营者提供 AI 产品或服务时,须事先核查是否属于高影响人工智能。必要时可向科学技术信息通信部长官申请确认。
第 34 条
高影响人工智能经营者的义务
制定并实施风险管理计划、最终结果和主要标准的说明计划,并提供训练数据概况;采取用户保护措施和人工监督;制作并保存所采取的安全性与可靠性措施的相关文件等。
第 35 条
影响评估
经营者提供高影响人工智能产品或服务时,应努力开展基本权利影响评估。国家机关等机构优先考虑已完成此类评估的产品和服务。
第 43 条
行政罚款
未履行第 31 条第 1 款规定的告知义务等行为,可处最高 3,000 万韩元的行政罚款。
安全 AI 是否属于高影响人工智能

安全监控 AI 是否属于高影响人工智能?

“网络安全”并未列入该法列举的领域。我们认为,用于恶意软件分类或归并入侵告警的多数 AI 不属于列举的领域。

具体结论仍取决于使用方式。若内部威胁评分直接用于员工处分或绩效考核,就可能涉及对个人权利义务有重大影响的决定。公共机构若依据监控结果作出影响公民的决定,也应进一步核查。总统令可以增列领域,因此还需查阅施行令。

无论结论如何,仍需按第 33 条事先核查并留存记录,以便日后说明。若适用判断不明确,可按程序向科学技术信息通信部长官申请确认。

仅在企业内部使用安全 AI 的情形

若 AI 仅用于本企业的安全运营,且不用于向他人提供产品或服务,是否属于法律定义的人工智能利用经营者可能存在不同解释。建议就此进行法律审查。

Genox 开发并提供 AI,因此由 Genox 负责核查 Genox Cybersecurity AI 本身是否属于高影响人工智能。

功能对照

法定要求与 Genox 功能对照

下列功能可提供准备履行义务时所需的记录和流程。
采用 Genox 本身并不意味着符合该法。

法定要求相关 Genox 功能或服务由客户完成的事项
第 33 条
事先核查是否属于高影响人工智能
通过 AI 治理咨询,整理企业 AI 使用情况清单和核查标准。逐项判断用途是否符合定义,必要时向科学技术信息通信部申请确认。
第 3 条第 2 款、第 34 条第 1 款第 2 项
说明义务
每次判定均记录证据、推理依据、置信度及 ATT&CK 技术编号,形成完整推理记录。确定向受影响者作出说明的方式,并回复其请求。
第 34 条第 1 款第 4 项
人工监督
隔离、阻断和锁定账户须经分析人员批准。自动响应仅在双方约定的策略范围内运行。指定有权批准的人员,并确定自动响应策略的范围。
第 34 条第 1 款第 5 项
制作与保存文件
保存每次判定使用的输入数据、模型版本和策略版本,支持对比重新运行的结果,并保留带签名的审计日志。确定保留期限,将相关记录纳入内部文件管理体系。
第 34 条第 1 款第 1 项
风险管理计划
AI/LLM 红队评估 的结果可作为识别风险的依据。制定并实施风险管理计划,确定可接受的剩余风险。
第 31 条
透明度告知与标识
无对应功能对向外提供的 AI 服务事先告知,并对输出进行标识。

由于 AI 模型的运行特性,重新运行无法保证措辞完全一致。若判定变化,系统会记录差异。

AI 红队评估

自建 AI 服务上线前的安全评估

如果运营接入生成式 AI 的客服聊天机器人或内部工作代理等服务,须履行第 31 条的告知和标识义务。
属于高影响领域时,还须按第 34 条管理风险。

  • 评估覆盖直接和间接提示注入、越狱以及工具调用受操纵等风险。
  • 另外评估英语数据集往往难以覆盖的韩语规避表达。
  • 对确认的问题提供记录和拟议防护规则,可用作风险管理文件的佐证材料。
  • 评估结果不保证发现所有攻击。报告会如实列明测试范围和场景。
查看 AI/LLM 红队评估
常见问题

常见问题

Genox Cybersecurity AI 属于高影响人工智能吗?

Genox 的设计面向恶意软件分类、告警关联和漏洞优先级排序等安全运营场景,并未直接针对法律列举的领域。但结论可能因客户使用方式而变化,因此会在采用时共同核查预期用途。

履行说明义务需要保留哪些记录?

需要在同一份记录中串联使用了哪些数据、依据哪些标准,以及得出了什么结论。Genox 为每次判定保留证据、推理依据、置信度及反向证据。若需要训练数据概况等模型开发阶段的资料,请联系 Genox。我们会确认可提供的范围并回复。

Genox 会颁发 ISO/IEC 42001 证书吗?

Genox 不是认证机构。我们依照 ISO/IEC 42001 的公开内容协助对照 AI 政策。证书由获认可的认证机构颁发。

金融机构还需关注什么?

韩国金融委员会的金融领域 AI 指南于 2026 年 6 月 22 日生效。该指南属于自律规范,并明确指出:若 AI 属于高影响人工智能,还应另行履行本法规定的义务。详见 《电子金融监督规定》与金融领域 AI 指南。

参考资料

参考资料

联系

从梳理贵公司的 AI 使用情况开始

如果尚未整理哪些团队使用何种 AI、用于什么目的,我们可以从清单入手,再开展高影响核查并确定红队评估范围。

和 Genox 谈
范围与时间。

联系我们