
Monitorización de seguridad con IA
Seguridad de la IA interna
Utilizamos IA para clasificar alertas y realizar la investigación inicial.
Revisamos los permisos y los flujos de datos de los chatbots y agentes que utiliza la organización.
La IA investiga
y el analista aprueba el dictamen
| Nivel de automatización | Funciones de la IA | Funciones del equipo humano | Configuración predeterminada de Genox |
|---|---|---|---|
| L1: asistencia | Resumen y búsqueda | Todos los dictámenes | - |
| L2: clasificación | Clasificación y priorización de alertas | Investigación y dictamen | - |
| L3: investigación | Investigación y documentación de evidencias | Aprobación del dictamen | ✓ Predeterminado |
| L4: respuesta | Respuesta automática dentro del alcance acordado | Diseño de políticas y gestión de excepciones | Selección por nivel de riesgo y activo |
La situación es ficticia y tiene fines ilustrativos. Los tiempos y las cifras en pantalla son ejemplos.
La IA interna se revisa antes del lanzamiento,
durante la operación y dentro del sistema de gestión
Evaluación con equipo rojo antes del lanzamiento de la IA
Sometemos las aplicaciones LLM, los agentes y la cadena de suministro de modelos a pruebas directas de 20 puntos. Cuando una prueba tiene éxito, adjuntamos la instrucción y la respuesta originales.
Evaluación de IA y LLM con equipo rojoMonitorización del comportamiento en producción
Establecemos qué herramientas utiliza el agente habitualmente y detectamos llamadas inusuales después de una inyección de instrucciones.
Behavioral AnalyzerSistema de gestión de la IA
Los requisitos de la Ley Marco de Inteligencia Artificial de Corea del Sur y de ISO/IEC 42001 sirven de base para el inventario interno de IA, la evaluación de riesgos y los procedimientos de aprobación.
Consultoría de gobernanza de la IAQué permite y qué bloquea el asistente de IA
Seleccione un escenario para ver qué solicitudes permite el asistente ficticio y qué instrucciones ignora o bloquea.
Escenarios
El asistente ficticio solo puede leer la ayuda pública. Los permisos de acceso a la información y los de ejecución de herramientas se revisan por separado.
La simulación muestra situaciones y decisiones predefinidas. Funciona sin conexión a modelos de IA ni herramientas externas.
Situación
La solicitud pide consultar el horario de atención en la ayuda pública.
Decisión
Autorización
Evidencia
La consulta de la ayuda pública es una operación de solo lectura incluida en la lista de acciones permitidas.
Amenazas contra los sistemas de IA
Funciones de Genox
| Amenaza | Descripción | Nivel de riesgo | Respuesta de Genox |
|---|---|---|---|
| Inyección de instrucciones | Manipulación del comportamiento mediante instrucciones directas o indirectas | Alto | Equipo rojo, separación estructural y detección de comportamientos |
| Permisos excesivos de los agentes | Permisos innecesarios sobre herramientas y datos | Alto | Mapa de permisos y comparación con el mínimo necesario |
| Cadena de suministro de MCP | Servidores MCP suplantados o manipulados | Alto | Verificación del origen y de la firma · Evaluación en aislamiento |
| Exposición de información sensible | Filtración a través de respuestas o consultas RAG | Medio | Revisión de permisos de RAG y de las salidas |
| Manipulación de modelos y envenenamiento | Archivos de modelos maliciosos y contaminación de datos de entrenamiento | Medio | Análisis de modelos y AI-BOM |
| IA en la sombra | Uso de IA sin autorización | Bajo | Inventario y gobernanza de la IA |