3 分钟产品导览 通过邮件报告紧急安全事件
工具调用监测规则

针对 AI 应用
检查权限和数据流

针对内部聊天机器人、检索增强生成(RAG)、AI 智能体及外部模型,检查输入处理、工具权限和供应链风险。可在咨询时确认验证范围和交付内容。体验区展示模拟场景。

#AI红队#LLM漏洞#提示注入#MCP安全

服务运营中结合相关场景,复现和评估提示注入、MCP 工具说明、工具权限过大及供应链软件包等风险。体验区为模拟环境。 服务标准

服务范围与实施方式

每家客户配备专用分析节点

分析在为每家客户单独分配的专用节点上进行,计算资源和存储空间均不与其他客户共享。

每项判定都保留依据

每条记录都注明作出判定的引擎、作为依据的日志和建议采取的措施。审计时可直接提交该记录。

过往判定可以重新运行

我们会一并记录作出判定时的模型与策略版本。如果对上个月的判定有疑问,可以用相同数据重新运行并比对结果。

由人工作出最终决定

AI 负责告警分类和摘要,分析员负责审批响应措施。服务器隔离或账号锁定须经人工批准后执行。

服务组成

AI 安全评估服务明细

LLM 应用安全评估

在 OWASP LLM Top 10 基础上增加 AI 智能体威胁和韩国法规相关项目,共检查 20 项。根据服务架构复现攻击场景。体验区为模拟环境。

主要特点

20 项检查

在 OWASP LLM Top 10 基础上增加 AI 智能体威胁和韩国法规相关项目。

隔离实验环境

攻击测试提示词与产出均留在内部。

附上复现证据

每项漏洞均附上测试所用的原始提示词及实际响应。

建议防御规则

针对发现的各项漏洞,提供适用的防护规则和过滤规则。

主要评估项目(20 项)

分类评估项目说明风险等级
输入直接提示注入使系统指令失效或篡改角色高
输入间接提示注入执行隐藏于文档、网页或邮件中的指令高
输入越狱(Jailbreak)诱导模型生成绕过安全策略的响应中
输入通过多语言或编码绕过控制韩语表达变体、Base64 等形式造成的过滤绕过风险中
数据系统提示词泄露泄露内部指令和业务逻辑中
数据敏感信息泄露响应中夹带个人信息或商业秘密高
数据绕过 RAG 权限控制搜索结果暴露用户无权访问的文档高
数据提取训练数据模型原样输出记忆中的训练数据中
智能体工具权限过大接入权限超出所需范围的工具或 API高
智能体操纵工具调用提示注入诱导发送邮件、查询数据库等操作高
智能体冒充 MCP 服务器连接到恶意或遭篡改的 MCP 服务器高
智能体绕过审批诱导跳过须经人工批准的环节中
输出输出处理不当模型输出未经检查便作为代码或查询执行高
输出生成有害内容生成违反策略的内容中
输出模型幻觉导致的信息错误生成无依据的事实陈述或不存在的链接低
供应链模型文件篡改恶意序列化文件和植入后门的模型高
供应链数据投毒微调与 RAG 数据污染中
运营资源耗尽令牌消耗或调用次数过多,引发成本激增或服务故障中
运营缺少日志和审计未记录提示词和工具调用低
治理符合监管要求未满足韩国《人工智能基本法》和《个人信息保护法》的要求低

实施流程

威胁建模

梳理服务架构和数据流

  • 威胁模型

自动化攻击测试

自动运行提示词安全测试集

  • 自动化评估结果

复现

逐项复现场景并记录结果

  • 漏洞清单

防御设计

制定防护规则和权限优化方案

  • 防御指南

复验

修复后重新进行攻击测试

  • 整改复查报告

常见问题

需要将模型传到外部吗?

检查在客户环境内或隔离的 Research Lab 中开展,攻击测试数据保留在相应环境内。

也能用于应对韩国《人工智能基本法》吗?

报告会单独标出与高影响人工智能风险管理要求相关的项目。

查看全部常见问题

AI 智能体与 MCP 评估

列出 AI 智能体可调用的工具、API 和 MCP 服务器,以及对应权限。
随后测试智能体在处理含隐藏指令的文档或邮件时,是否会被诱导发送邮件或查询数据库。

主要特点

权限图谱

在一张图上展示每个智能体可访问的工具和数据。

分析委派关系

追踪智能体调用其他智能体时权限如何传递。

验证 MCP 服务器

核查已连接的 MCP 服务器的来源、版本和签名。

模型与供应链安全评估

梳理日常工具调用模式,提供可识别异常调用的检测规则。

实施流程

编制清单

梳理智能体、工具和 MCP 连接

  • 权限图谱

攻击测试

测试工具调用被篡改的风险

  • 漏洞清单

改进

逐项建议应收紧的权限

  • 权限优化方案

监控

应用行为分析检测规则

  • 检测规则

LLM 应用安全评估

检查从公开存储库下载的模型文件、数据集和插件中是否含有恶意代码或被污染的数据。

主要特点

检查模型文件

检查 pickle 等序列化模型文件中是否隐藏加载时会执行的代码。

编制 AI-BOM

建立在用模型、数据和库的清单,便于持续管理。

在隔离环境中运行

在隔离的 Research Lab 中运行模型,检查异常行为。

制定导入流程

协助制定内部流程,用于核查来源与完整性并办理审批。

实施流程

编制清单

梳理正在使用的模型和数据

  • AI-BOM

静态检查

查找文件中隐藏的代码

  • 检查结果

运行评估

在隔离环境中试运行

  • 评估结果

制定策略

设计仅允许使用已获批准模型的管理机制

  • 导入策略文档
部署咨询

安全服务部署咨询

请告知您的运行环境和所需的安全范围,我们将介绍适用的配置方案。

和 Genox 谈
范围与时间。

联系我们