Tour del producto en 3 min Correo para incidentes urgentes
Evaluación · Seguridad de IA

Revisamos los permisos y los flujos de datos
de las aplicaciones de IA

Revisamos el procesamiento de entradas, los permisos de herramientas y los riesgos de la cadena de suministro en chatbots internos, sistemas de generación aumentada por recuperación (RAG), agentes de IA y modelos externos. En la consulta puede confirmar el alcance de la evaluación y los entregables. La demostración presenta escenarios hipotéticos.

#EquipoRojoIA#VulnerabilidadesDeLLM#InyecciónDeInstrucciones#SeguridadMCP

En funcionamientoLa evaluación abarca escenarios de inyección de instrucciones, descripciones de herramientas MCP, permisos excesivos y riesgos de paquetes de la cadena de suministro. La demostración es una simulación. Criterios del servicio

Alcance y metodología del servicio

Nodos de análisis dedicados por cliente

El análisis se ejecuta en nodos dedicados a cada cliente. Los recursos de cómputo y almacenamiento son exclusivos de cada cliente.

Cada dictamen conserva su evidencia

Un solo registro identifica el motor que emitió el dictamen, los registros en que se basó y la medida que recomendó. Puede presentar ese registro directamente en una auditoría.

Volvemos a ejecutar evaluaciones anteriores

Se registran las versiones del modelo y de la política que se usaron para cada dictamen. Si hay dudas sobre un dictamen del mes anterior, puede volver a ejecutar la evaluación con los mismos datos y comparar el resultado.

La decisión final la toma una persona

La IA clasifica y resume las alertas. Un analista autoriza las respuestas. El aislamiento de servidores y el bloqueo de cuentas requieren aprobación humana.

Modalidades del servicio

Servicios de evaluación de seguridad de IA

Evaluación de aplicaciones con LLM

La evaluación comprende 20 puntos basados en OWASP LLM Top 10 e incorpora amenazas relacionadas con agentes de IA y requisitos de la normativa surcoreana. Los escenarios de prueba se ajustan a la arquitectura del servicio. El entorno interactivo es una simulación.

Características destacadas

20 puntos de revisión

A los puntos de OWASP LLM Top 10 añadimos amenazas relacionadas con agentes y requisitos de la normativa surcoreana.

Entorno de experimentación aislado

Las entradas de prueba y los archivos generados permanecen dentro del entorno.

Evidencias de reproducción adjuntas

Para cada vulnerabilidad adjuntamos la entrada de prueba y la respuesta que produjo el sistema.

Propuesta de reglas de protección

Para cada vulnerabilidad detectada, proporcionamos reglas de protección y filtrado que se pueden aplicar.

20 puntos principales de evaluación

ClasificaciónPuntos de evaluaciónDescripciónNivel de riesgo
EntradaInyección directa de instruccionesAnulación de instrucciones del sistema o suplantación de rolesAlto
EntradaInyección indirecta de instruccionesEjecución de instrucciones ocultas en documentos, páginas web o correosAlto
EntradaElusión de controles (jailbreak)Respuestas que eluden las políticas de seguridadMedio
EntradaElusión mediante distintos idiomas o codificacionesResistencia de los filtros ante variantes en coreano y entradas codificadas en Base64Medio
DatosFiltración de las instrucciones del sistemaExposición de instrucciones internas y lógica de negocioMedio
DatosExposición de información sensibleExposición de datos personales o secretos comerciales en las respuestasAlto
DatosElusión de permisos de RAGExposición en los resultados de búsqueda de documentos fuera del alcance de los permisos del usuarioAlto
DatosExtracción de datos de entrenamientoReproducción literal de datos de entrenamiento memorizados por el modeloMedio
AgentesPermisos excesivos de las herramientasHerramientas o API conectadas con más permisos de los necesariosAlto
AgentesManipulación de llamadas a herramientasIntentos de provocar envíos de correo o consultas a bases de datos mediante inyección de instruccionesAlto
AgentesSuplantación de servidores MCPConexión a un servidor MCP malicioso o manipuladoAlto
AgentesElusión de la aprobaciónIntentos de saltarse una etapa que requiere aprobación humanaMedio
SalidaTratamiento inadecuado de las salidasEjecución directa de la salida del modelo como código o consultaAlto
SalidaGeneración de contenido perjudicialGeneración de contenido que infringe la políticaMedio
SalidaInformación errónea por alucinacionesGeneración de datos sin fundamento o enlaces inexistentesBajo
Cadena de suministroManipulación de archivos de modelosArchivos de serialización maliciosos y modelos con puertas traserasAlto
Cadena de suministroEnvenenamiento de datosContaminación de datos de ajuste fino y RAGMedio
OperacionesAgotamiento de recursosAumento desproporcionado del coste o interrupción por exceso de tokens o llamadasMedio
OperacionesAusencia de registros y auditoríaFalta de registro de instrucciones y llamadas a herramientasBajo
GobernanzaAlineación normativaIncumplimiento de requisitos de la Ley Marco de IA y de la Ley de Protección de Datos Personales de Corea del SurBajo

Etapas del servicio

Modelado de amenazas

Revisamos la arquitectura del servicio y los flujos de datos

  • Modelo de amenazas

Pruebas de seguridad automatizadas

Ejecutamos automáticamente pruebas con entradas adversarias

  • Resultados de la evaluación automatizada

Reproducción

Reproducimos los escenarios de cada punto y documentamos los resultados

  • Lista de vulnerabilidades

Diseño de medidas de protección

Proponemos reglas de protección y mejoras de permisos

  • Guía de protección

Verificación posterior

Repetimos las pruebas tras aplicar las correcciones

  • Informe de verificación de medidas correctivas

Preguntas frecuentes

¿Hay que enviar el modelo fuera de nuestro entorno?

Realizamos la evaluación dentro del entorno del cliente o en el entorno aislado de Research Lab. Los datos de prueba permanecen en el entorno.

¿Puede ayudar a cumplir la Ley Marco de IA de Corea del Sur?

El informe identifica por separado los puntos relacionados con la gestión de riesgos de IA de alto impacto.

Ver todas las preguntas frecuentes

Evaluación de agentes de IA y MCP

Elaboramos un inventario de las herramientas, API y servidores MCP que los agentes de IA pueden invocar, junto con sus permisos.
Después comprobamos si el agente protege el envío de correos y las consultas a bases de datos frente a instrucciones no autorizadas procedentes de documentos o mensajes.

Características destacadas

Mapa de permisos

Mostramos en un solo mapa a qué herramientas y datos puede acceder cada agente.

Análisis de las relaciones de delegación

Seguimos cómo se transfieren los permisos cuando un agente llama a otro.

Verificación de servidores MCP

Verificamos el origen, la versión y la firma de los servidores MCP conectados.

Reglas de monitorización de llamadas a herramientas

Documentamos el patrón habitual de llamadas a herramientas y proporcionamos reglas para detectar desviaciones.

Etapas del servicio

Inventario

Inventariamos los agentes, las herramientas y los servidores MCP

  • Mapa de permisos

Ataque

Evaluamos la resistencia a la manipulación de llamadas a herramientas

  • Lista de vulnerabilidades

Mejora

Indicamos qué permisos conviene reducir

  • Propuestas de mejora de permisos

Monitorización

Aplicamos reglas de detección basadas en el comportamiento

  • Reglas de detección

Evaluación de modelos y cadena de suministro

Inspeccionamos los archivos de modelos, conjuntos de datos y complementos descargados de repositorios públicos para detectar código malicioso o datos contaminados.

Características destacadas

Inspección de archivos de modelos

Buscamos código que se ejecute al cargar archivos serializados de modelos, como los de formato pickle.

Elaboración de un AI-BOM

Organizamos un inventario de los modelos, datos y bibliotecas en uso para que pueda mantenerlo al día.

Ejecución en un entorno aislado

Ejecutamos el modelo en el entorno aislado de Research Lab para comprobar si muestra un comportamiento anómalo.

Definición del procedimiento de incorporación

Le ayudamos a establecer un procedimiento interno para verificar el origen y la integridad antes de aprobarlos.

Etapas del servicio

Inventario

Inventariamos los modelos y datos que se utilizan

  • AI-BOM

Análisis estático

Buscamos código oculto en los archivos

  • Resultados de la inspección

Evaluación en ejecución

Probamos la ejecución en un entorno aislado

  • Resultados de la evaluación

Definición de políticas

Diseñamos un proceso para que solo se utilicen modelos aprobados

  • Documento de política de incorporación
Consultar sobre la implementación

Consulta para implementar servicios de seguridad

Si nos indica su entorno operativo y el alcance de seguridad que necesita, le orientaremos sobre las configuraciones aplicables.

Hable con un experto
en seguridad de Genox.

Hable con nosotros