
Origine des 20 points de contrôle
Les 20 points de contrôle de l’évaluation Red Team IA/LLM de Genox s’appuient sur OWASP Top 10 for LLM Applications 2026, publié le 3 août 2026. Ils couvrent aussi les agents, les connexions MCP et la réglementation coréenne. La liste OWASP compte dix catégories, de LLM01 Prompt Injection à LLM10 Improper Output Handling. Le tableau indique les correspondances et signale les points sans équivalent direct.
| Classification | Point de contrôle | OWASP LLM 2026 |
|---|---|---|
| Entrée | Injection directe de prompt | LLM01 |
| Entrée | Injection indirecte de prompt | LLM01 |
| Entrée | Contournement des garde-fous | LLM01 |
| Entrée | Contournement par la langue ou l’encodage | LLM01 |
| Données | Divulgation du prompt système | LLM08 |
| Données | Exposition de données sensibles | LLM02 |
| Données | Contournement des contrôles d’accès RAG | LLM09 |
| Données | Extraction des données d’entraînement | LLM02 |
| Agents | Autorisations excessives des outils | LLM03 |
| Agents | Manipulation des appels d’outils | LLM03, LLM01 |
| Agents | Usurpation de serveur MCP | LLM04 |
| Agents | Contournement de l’approbation | LLM03 |
| Sortie | Traitement inapproprié des sorties | LLM10 |
| Sortie | Génération de contenus préjudiciables | Aucune correspondance directe (critères propres à la politique du service) |
| Sortie | Informations erronées dues aux hallucinations | LLM07 |
| Chaîne d’approvisionnement | Altération des fichiers du modèle | LLM04 |
| Chaîne d’approvisionnement | Empoisonnement des données | LLM05 |
| Exploitation | Épuisement des ressources | LLM06 |
| Exploitation | Absence de journalisation et d’audit | Aucune correspondance directe |
| Gouvernance | Adéquation aux exigences réglementaires | Loi-cadre coréenne sur l’IA et loi coréenne sur la protection des données personnelles |
Déroulement de l’évaluation
Commencez par la modélisation des menaces. Cartographiez les entrées utilisateur, les prompts système, les documents récupérés, les outils connectés et les destinations des sorties du modèle. Repérez les frontières où arrivent des données externes et celles où une sortie peut être traitée comme du code ou une requête. Consultez aussi MITRE ATLAS pour caractériser les risques.
Une évaluation automatisée couvre d’abord un large périmètre. Nous utilisons des outils publics comme garak, PyRIT et promptfoo, ainsi que des jeux de tests en coréen. Des évaluateurs examinent ensuite les scénarios propres à l’architecture et aux usages du service, où apparaissent généralement les résultats les plus graves. Les conclusions sont communiquées au client et les contrôles sont répétés après correction.
Les résultats d’un LLM peuvent varier d’un essai à l’autre. Indiquez le nombre d’essais et le nombre de réussites, par exemple « 3 résultats observés sur 20 essais ». Le client peut alors apprécier le risque et comparer les résultats lors d’une nouvelle évaluation.
Quatre scénarios
Contournement des contrôles d’accès RAG
Pour un assistant de recherche documentaire interne, vérifiez que l’utilisateur ne peut interroger que les documents auxquels il a droit. Appliquez ce filtrage dès la recherche vectorielle, avant la génération de la réponse. Une réponse qui révèle même une phrase provenant d’un document hors périmètre relève d’une gravité élevée.
Appels d’outils influencés par une injection indirecte
Pour un agent qui résume des courriels et peut en envoyer, vérifiez que le contenu reçu ne peut déclencher aucune action d’envoi sans accord de l’utilisateur. Un appel sans accord relève d’une gravité élevée. Si l’approbation est demandée mais que son écran masque l’origine de l’instruction, classez le risque au niveau moyen.
Traitement inapproprié des sorties
Lorsqu’une application traduit une question en requête SQL, la sortie du modèle peut atteindre la base de données. Vérifiez que les requêtes sont validées et que leur exécution est limitée à un compte en lecture seule et à une liste de tables autorisées. L’absence de ces contrôles constitue un risque élevé.
Altération des fichiers du modèle
Les fichiers de modèles PyTorch provenant de sources externes (.pt, .bin) peuvent employer le format Pickle, dont le chargement présente un risque d’exécution de code. Wiz l’a illustré en 2024 sur l’infrastructure d’inférence de Hugging Face. Examinez le code responsable du chargement des modèles.
torch.load(path) torch.load(path, weights_only=True) from safetensors.torch import load_file
Depuis la version 2.6, PyTorch utilise weights_only à True par défaut. Vérifiez les versions antérieures et les endroits où le code fixe explicitement cette option à False.
Critères de gravité
| Niveau | Critères |
|---|---|
| Élevé | Le défaut se manifeste avec des droits utilisateur ordinaires ou à partir de contenu externe, et entraîne une fuite de données, une action hors périmètre ou une exécution de code. |
| Moyen | Le défaut peut être reproduit, mais son impact reste limité : l’approbation l’arrête, les informations exposées sont peu sensibles ou des conditions particulières sont nécessaires. |
| Faible | Impact indirect, par exemple une réponse contraire à la politique ou de la désinformation, ou taux de reproduction très faible. |
Le niveau de gravité dépend des circonstances. L’exposition d’un prompt système passe par exemple au niveau élevé s’il contient une clé API. Nos rapports motivent chaque classement par écrit.
À qui s’adresse le guide
Le guide s’adresse aux responsables du développement, de la sécurité et de la gouvernance qui déploient des fonctions d’IA. Le tableau et les scénarios servent aussi à préparer une évaluation interne.
Références
- OWASP Top 10 for LLM Applications 2026, OWASP GenAI Security Project, 2026.8.3
- MITRE ATLAS, MITRE
- garak, LLM vulnerability scanner, NVIDIA
- PyRIT, Python Risk Identification Tool for generative AI, Microsoft
- Wiz and Hugging Face address risks to AI infrastructure, Wiz, 2024.4
