
Supervision de la sécurité par IA et
Sécurité de l’IA interne
Nous utilisons l’IA pour le triage des alertes et la première investigation.
Nous vérifions les autorisations et les flux de données des chatbots et agents utilisés dans l’organisation.
L’IA mène l’investigation,
les analystes approuvent les décisions
| Niveau d’automatisation | Rôle de l’IA | Rôle de l’équipe | Configuration par défaut de Genox |
|---|---|---|---|
| Assistance L1 | Synthèse et recherche | Toutes les décisions | - |
| Triage L2 | Triage et priorisation des alertes | Investigation et décision | - |
| Investigation L3 | Investigation et production d’éléments probants | Validation des décisions | ✓ Par défaut |
| Réponse L4 | Réponse automatisée dans le périmètre convenu | Conception des politiques et gestion des exceptions | Sélection par niveau de risque et par actif |
Ce scénario fictif sert d’illustration. Les horaires et les chiffres à l’écran sont des exemples.
Sécuriser l’IA interne avant son lancement,
pendant son exploitation et dans sa gouvernance
Évaluation red team avant la mise en production de l’IA
Nous évaluons les applications LLM, les agents et la chaîne d’approvisionnement des modèles sur 20 points de contrôle. Pour les tests qui aboutissent, le rapport inclut le prompt employé et la réponse obtenue.
Évaluation red team pour l’IA et les LLMSurveillance des comportements en exploitation
Nous établissons la liste des outils qu’un agent appelle habituellement pour repérer les appels inhabituels qui suivent une injection.
Behavioral AnalyzerSystème de management de l’IA
Nous dressons l’inventaire des usages internes de l’IA, évaluons les risques et définissons les procédures d’approbation à partir de la loi-cadre sud-coréenne sur l’IA et des exigences d’ISO/IEC 42001.
Conseil en gouvernance de l’IACe que l’assistant d’IA peut faire et pourquoi il bloque certaines actions
Choisissez une situation pour voir quelles demandes l’assistant de travail fictif accepte et quelles instructions il ignore ou bloque.
Situation à examiner
L’assistant fictif peut uniquement lire l’aide publique. Les autorisations d’accès aux informations et d’exécution des outils sont examinées séparément.
La simulation présente des situations et des décisions prédéfinies. Elle fonctionne sans connexion à un modèle d’IA ni à des outils externes.
Situation
La demande consiste à vérifier les horaires de l’assistance dans l’aide publique.
Décision
Autorisé
Éléments probants
La consultation de l’aide publique est une action en lecture seule qui figure sur la liste d’autorisation.
Menaces visant les systèmes d’IA et
Rôle de Genox
| Menace | Description | Niveau de risque | Réponse de Genox |
|---|---|---|---|
| Injection de prompt | Manipulation du comportement par instructions directes ou indirectes | Élevé | Red team, séparation structurelle et détection comportementale |
| Autorisations excessives des agents | Accès excessifs aux outils et aux données | Élevé | Cartographie des autorisations et écarts au principe du moindre privilège |
| Chaîne d’approvisionnement MCP | Serveur MCP usurpé ou altéré | Élevé | Vérification de la provenance et des signatures · Évaluation en environnement isolé |
| Exposition de données sensibles | Fuite par les réponses ou la recherche RAG | Moyen | Vérification des autorisations RAG et contrôle des sorties |
| Altération et empoisonnement de modèles | Fichiers de modèle malveillants et données d’entraînement contaminées | Moyen | Analyse des modèles et AI-BOM |
| Shadow AI | Utilisation non autorisée de l’IA | Faible | Inventaire et gouvernance de l’IA |