
服务范围与实施方式
每家客户配备专用分析节点
分析在为每家客户单独分配的专用节点上进行,计算资源和存储空间均不与其他客户共享。
每项判定都保留依据
每条记录都注明作出判定的引擎、作为依据的日志和建议采取的措施。审计时可直接提交该记录。
过往判定可以重新运行
我们会一并记录作出判定时的模型与策略版本。如果对上个月的判定有疑问,可以用相同数据重新运行并比对结果。
由人工作出最终决定
AI 负责告警分类和摘要,分析员负责审批响应措施。服务器隔离或账号锁定须经人工批准后执行。
AI 安全评估服务明细
LLM 应用安全评估
按 20 个项目检查聊天机器人、RAG 和内部 AI 服务。
查看详情AI 智能体与 MCP 评估
检查智能体的工具权限、委派关系和 MCP 连接。
查看详情LLM 应用安全评估
检查从外部取得的模型、数据集和插件是否安全。
查看详情LLM 应用安全评估
在 OWASP LLM Top 10 基础上增加 AI 智能体威胁和韩国法规相关项目,共检查 20 项。根据服务架构复现攻击场景。体验区为模拟环境。
主要特点
20 项检查
在 OWASP LLM Top 10 基础上增加 AI 智能体威胁和韩国法规相关项目。
隔离实验环境
攻击测试提示词与产出均留在内部。
附上复现证据
每项漏洞均附上测试所用的原始提示词及实际响应。
建议防御规则
针对发现的各项漏洞,提供适用的防护规则和过滤规则。
主要评估项目(20 项)
| 分类 | 评估项目 | 说明 | 风险等级 |
|---|---|---|---|
| 输入 | 直接提示注入 | 使系统指令失效或篡改角色 | 高 |
| 输入 | 间接提示注入 | 执行隐藏于文档、网页或邮件中的指令 | 高 |
| 输入 | 越狱(Jailbreak) | 诱导模型生成绕过安全策略的响应 | 中 |
| 输入 | 通过多语言或编码绕过控制 | 韩语表达变体、Base64 等形式造成的过滤绕过风险 | 中 |
| 数据 | 系统提示词泄露 | 泄露内部指令和业务逻辑 | 中 |
| 数据 | 敏感信息泄露 | 响应中夹带个人信息或商业秘密 | 高 |
| 数据 | 绕过 RAG 权限控制 | 搜索结果暴露用户无权访问的文档 | 高 |
| 数据 | 提取训练数据 | 模型原样输出记忆中的训练数据 | 中 |
| 智能体 | 工具权限过大 | 接入权限超出所需范围的工具或 API | 高 |
| 智能体 | 操纵工具调用 | 提示注入诱导发送邮件、查询数据库等操作 | 高 |
| 智能体 | 冒充 MCP 服务器 | 连接到恶意或遭篡改的 MCP 服务器 | 高 |
| 智能体 | 绕过审批 | 诱导跳过须经人工批准的环节 | 中 |
| 输出 | 输出处理不当 | 模型输出未经检查便作为代码或查询执行 | 高 |
| 输出 | 生成有害内容 | 生成违反策略的内容 | 中 |
| 输出 | 模型幻觉导致的信息错误 | 生成无依据的事实陈述或不存在的链接 | 低 |
| 供应链 | 模型文件篡改 | 恶意序列化文件和植入后门的模型 | 高 |
| 供应链 | 数据投毒 | 微调与 RAG 数据污染 | 中 |
| 运营 | 资源耗尽 | 令牌消耗或调用次数过多,引发成本激增或服务故障 | 中 |
| 运营 | 缺少日志和审计 | 未记录提示词和工具调用 | 低 |
| 治理 | 符合监管要求 | 未满足韩国《人工智能基本法》和《个人信息保护法》的要求 | 低 |
实施流程
威胁建模
梳理服务架构和数据流
- 威胁模型
自动化攻击测试
自动运行提示词安全测试集
- 自动化评估结果
复现
逐项复现场景并记录结果
- 漏洞清单
防御设计
制定防护规则和权限优化方案
- 防御指南
复验
修复后重新进行攻击测试
- 整改复查报告
常见问题
需要将模型传到外部吗?
检查在客户环境内或隔离的 Research Lab 中开展,攻击测试数据保留在相应环境内。
也能用于应对韩国《人工智能基本法》吗?
报告会单独标出与高影响人工智能风险管理要求相关的项目。
查阅相关内容,了解更多信息。
AI 智能体与 MCP 评估
列出 AI 智能体可调用的工具、API 和 MCP 服务器,以及对应权限。
随后测试智能体在处理含隐藏指令的文档或邮件时,是否会被诱导发送邮件或查询数据库。
主要特点
权限图谱
在一张图上展示每个智能体可访问的工具和数据。
分析委派关系
追踪智能体调用其他智能体时权限如何传递。
验证 MCP 服务器
核查已连接的 MCP 服务器的来源、版本和签名。
模型与供应链安全评估
梳理日常工具调用模式,提供可识别异常调用的检测规则。
实施流程
编制清单
梳理智能体、工具和 MCP 连接
- 权限图谱
攻击测试
测试工具调用被篡改的风险
- 漏洞清单
改进
逐项建议应收紧的权限
- 权限优化方案
监控
应用行为分析检测规则
- 检测规则
查阅相关内容,了解更多信息。
LLM 应用安全评估
检查从公开存储库下载的模型文件、数据集和插件中是否含有恶意代码或被污染的数据。
主要特点
检查模型文件
检查 pickle 等序列化模型文件中是否隐藏加载时会执行的代码。
编制 AI-BOM
建立在用模型、数据和库的清单,便于持续管理。
在隔离环境中运行
在隔离的 Research Lab 中运行模型,检查异常行为。
制定导入流程
协助制定内部流程,用于核查来源与完整性并办理审批。
实施流程
编制清单
梳理正在使用的模型和数据
- AI-BOM
静态检查
查找文件中隐藏的代码
- 检查结果
运行评估
在隔离环境中试运行
- 评估结果
制定策略
设计仅允许使用已获批准模型的管理机制
- 导入策略文档




