Tour del producto en 3 min Correo para incidentes urgentes
Libros blancos y guías

Guía de verificación de seguridad de la IA · Aspectos que revisar y criterios de evaluación

Relacionamos 20 controles para aplicaciones LLM y agentes de IA con OWASP Top 10 for LLM Applications 2026.
La guía también recoge el alcance de la evaluación y los criterios de clasificación del riesgo.

Guía de verificación de seguridad de la IA · Aspectos que revisar y criterios de evaluación

De dónde salen los 20 controles

La evaluación de IA y LLM con equipo rojo de Genox incluye 20 controles. Toma como base OWASP Top 10 for LLM Applications 2026, publicado el 3 de agosto de 2026, y añade riesgos de agentes, conexiones MCP y requisitos normativos surcoreanos. La lista de OWASP contiene diez categorías, de LLM01 Prompt Injection a LLM10 Improper Output Handling. La tabla indica la correspondencia de cada control, incluidos los que carecen de una categoría directa.

ClasificaciónControl evaluadoOWASP LLM 2026
EntradaInyección directa de instruccionesLLM01
EntradaInyección indirecta de instruccionesLLM01
EntradaEvasión de las restricciones del modelo (jailbreak)LLM01
EntradaElusión mediante distintos idiomas o codificacionesLLM01
DatosFiltración de las instrucciones del sistemaLLM08
DatosExposición de información sensibleLLM02
DatosElusión de permisos de RAGLLM09
DatosExtracción de datos de entrenamientoLLM02
AgentesPermisos excesivos de las herramientasLLM03
AgentesManipulación de llamadas a herramientasLLM03, LLM01
AgentesSuplantación de servidores MCPLLM04
AgentesElusión de la aprobaciónLLM03
SalidaTratamiento inadecuado de las salidasLLM10
SalidaGeneración de contenido perjudicialSin correspondencia directa (según la política del servicio)
SalidaInformación errónea por alucinacionesLLM07
Cadena de suministroManipulación de archivos de modelosLLM04
Cadena de suministroEnvenenamiento de datosLLM05
OperacionesAgotamiento de recursosLLM06
OperacionesAusencia de registros y auditoríaSin correspondencia directa
GobernanzaAlineación normativaLey marco de IA y Ley de Protección de Datos Personales de Corea del Sur

Cómo se realiza la evaluación

Empezamos con el modelado de amenazas. En un diagrama de flujo de datos anotamos las entradas del usuario, el prompt de sistema, los documentos recuperados, las herramientas conectadas y los destinos de la salida del modelo. Así se identifican las vías de entrada de contenido no confiable y dónde la salida podría ejecutarse como código o consulta. MITRE ATLAS sirve como referencia para clasificar las amenazas.

Para ampliar la cobertura de la evaluación usamos herramientas públicas como garak, PyRIT y promptfoo, además de casos de evaluación en coreano. El equipo revisa el contexto del servicio y dedica una fase a los escenarios específicos de su arquitectura, donde suelen aparecer los hallazgos más graves. Entregamos los resultados y volvemos a comprobar los controles una vez aplicadas las correcciones.

El resultado de una evaluación de LLM puede variar entre intentos. Registre el número de intentos y cuántos reprodujeron el hallazgo. Un resultado como «3 de 20 intentos» ayuda a estimar el riesgo y a comparar evaluaciones posteriores.

Cuatro escenarios de evaluación

Elusión de permisos de RAG

En un buscador de documentos internos, compruebe que el control de acceso se aplique durante la recuperación de documentos. Si se aplica tras generar la respuesta, el resumen podría incorporar datos para los que el usuario carece de permiso. Una evaluación con documentos sintéticos y roles diferenciados permite verificar ese control. Clasificamos como alto el riesgo si aparece contenido fuera del ámbito autorizado.

Riesgo de llamadas a herramientas por inyección indirecta

En un agente que resume y envía correo, compruebe que el texto recibido se trate como datos y que todo envío espere una confirmación. Si la herramienta de envío puede invocarse sin confirmación, el riesgo se clasifica como alto. Si el flujo se detiene para pedir aprobación, pero la pantalla omite el origen de la solicitud, el riesgo se registra como medio.

Tratamiento inadecuado de las salidas

Cuando una función convierte preguntas en SQL, la salida del modelo llega a la base de datos. Revise que se validen las consultas antes de ejecutarlas y que se use una cuenta de solo lectura con acceso limitado a las tablas autorizadas. La ausencia de esos controles se clasifica como riesgo alto, con independencia del resultado de una prueba individual.

Manipulación de archivos de modelos

Los archivos de modelos de PyTorch procedentes de terceros (.pt, .bin) pueden contener datos serializados en formato Pickle cuya carga supone un riesgo de ejecución de código. Wiz documentó este riesgo en 2024 en la infraestructura de inferencia de Hugging Face. Durante la evaluación, revisamos el código que carga los modelos.

torch.load(path)
torch.load(path, weights_only=True)
from safetensors.torch import load_file

Desde PyTorch 2.6, weights_only tiene el valor predeterminado True. Compruebe si aún se usan versiones anteriores o si alguna parte del código asigna False de forma explícita.

Criterios de clasificación del riesgo

NivelCriterios
AltoSe reproduce con permisos de usuario estándar o a partir de contenido externo y permite divulgar datos, realizar acciones fuera del alcance autorizado o ejecutar código.
MedioSe reproduce con un impacto limitado. Por ejemplo, requiere una condición específica, se detiene en la aprobación o afecta a información de baja sensibilidad.
BajoImpacto indirecto, como una respuesta que incumple la política o contiene información errónea, o una tasa de reproducción muy baja.

La gravedad inicial se ajusta según el impacto. Si un prompt de sistema expuesto contiene una clave de API, elevamos la gravedad a alta. El informe documenta el motivo de cada clasificación.

A quién va dirigida la guía

La guía va dirigida a responsables de desarrollo, seguridad y gobernanza que incorporan IA a un servicio. Sus tablas y escenarios también sirven para planificar una evaluación interna.

Referencias

Hable con un experto
en seguridad de Genox.

Hable con nosotros