Visite du produit en 3 min E-mail pour un incident urgent
Évaluation · Sécurité de l’IA

Nous vérifions les autorisations et les flux de données
des applications d’IA

Nous examinons le traitement des entrées, les droits d’accès aux outils et les risques liés à la chaîne d’approvisionnement des chatbots internes, des systèmes de génération augmentée par récupération (RAG), des agents d’IA et des modèles externes. Le périmètre et les livrables sont précisés lors de la consultation. L’espace de démonstration présente des scénarios fictifs.

#RedTeamIA#VulnérabilitésLLM#InjectionDePrompt#SécuritéMCP

En serviceNous évaluons les risques liés aux injections de prompts, aux descriptions d’outils MCP, aux autorisations excessives et aux paquets de la chaîne d’approvisionnement. L’espace de démonstration présente des simulations. Critères d’intervention

Périmètre et modalités du service

Un nœud d’analyse dédié à chaque client

Les analyses s’exécutent sur un nœud dédié à chaque client. Les ressources de calcul et le stockage sont propres à chaque client.

Nous conservons les éléments qui justifient chaque décision

Une même fiche indique le moteur qui a pris la décision, les journaux sur lesquels il s’est appuyé et la mesure qu’il a recommandée. Vous pouvez la présenter telle quelle lors d’un audit.

Vous pouvez relancer les analyses passées

Nous enregistrons les versions du modèle et de la politique en vigueur au moment de la décision. En cas de doute sur une décision du mois précédent, vous pouvez relancer l’analyse avec les mêmes données et comparer les résultats.

La décision finale revient à une personne

L’IA classe et résume les alertes, puis un analyste approuve la réponse. L’isolement d’un serveur ou le verrouillage d’un compte nécessitent une approbation humaine.

Composition de l’offre

Prestations d’évaluation de la sécurité de l’IA

Évaluation des applications fondées sur des LLM

Notre évaluation couvre 20 points, issus de l’OWASP LLM Top 10 et complétés par les menaces propres aux agents d’IA et des exigences réglementaires sud-coréennes. Les scénarios de test sont adaptés à l’architecture du service. L’espace de démonstration présente des simulations.

Atouts

20 points de contrôle

Nous complétons l’OWASP LLM Top 10 par les menaces propres aux agents d’IA et des points relatifs à la réglementation sud-coréenne.

Environnement de test isolé

Les prompts de test et les résultats restent dans l’environnement d’évaluation.

Ajout des justificatifs de reproduction du scénario

Pour chaque vulnérabilité, nous joignons le prompt utilisé lors du test et la réponse effectivement obtenue.

Proposition de règles de protection

Pour chaque vulnérabilité détectée, nous proposons des garde-fous et des règles de filtrage adaptés.

Principaux points de contrôle (20)

ClassificationPoints de contrôleDescriptionNiveau de risque
EntréeInjection directe de promptNeutralisation des instructions système ou substitution de rôleÉlevé
EntréeInjection indirecte de promptExécution d’instructions non fiables provenant de documents, de pages web ou d’e-mailsÉlevé
EntréeContournement des garde-fous (jailbreak)Réponses qui contournent les règles de sécuritéMoyen
EntréeContournement par la langue ou l’encodageVérification du filtrage des formulations en coréen et des entrées encodées, notamment en Base64Moyen
DonnéesDivulgation du prompt systèmeExposition des instructions internes et de la logique métierMoyen
DonnéesExposition de données sensiblesDivulgation de données personnelles ou de secrets commerciaux dans les réponsesÉlevé
DonnéesContournement des contrôles d’accès RAGExposition dans les résultats de recherche de documents hors du périmètre d’accès de l’utilisateurÉlevé
DonnéesExtraction des données d’entraînementRestitution à l’identique des données d’entraînement mémorisées par le modèleMoyen
AgentsAutorisations excessives des outilsOutils et API disposant de droits supérieurs à leurs besoinsÉlevé
AgentsManipulation des appels d’outilsAppels d’outils non autorisés à la suite d’une injection, dont l’envoi d’e-mails ou l’interrogation d’une base de donnéesÉlevé
AgentsUsurpation de serveur MCPConnexion à un serveur MCP malveillant ou altéréÉlevé
AgentsContournement de l’approbationTentative de contourner une étape soumise à une approbation humaineMoyen
SortieTraitement inapproprié des sortiesExécution directe de la sortie du modèle en tant que code ou requêteÉlevé
SortieGénération de contenus préjudiciablesProduction de contenu contraire à la politiqueMoyen
SortieInformations erronées dues aux hallucinationsGénération d’affirmations sans fondement ou de liens inexistantsFaible
Chaîne d’approvisionnementAltération des fichiers du modèleFichiers sérialisés malveillants et modèles contenant une porte dérobéeÉlevé
Chaîne d’approvisionnementEmpoisonnement des donnéesEmpoisonnement des données de fine-tuning ou de RAGMoyen
ExploitationÉpuisement des ressourcesHausse brutale des coûts ou indisponibilité due à une consommation excessive de jetons ou à trop d’appelsMoyen
ExploitationAbsence de journalisation et d’auditAbsence de journalisation des prompts et des appels d’outilsFaible
GouvernanceAdéquation aux exigences réglementairesExigences des lois sud-coréennes sur l’IA et la protection des données personnelles non satisfaitesFaible

Étapes de la prestation

Modélisation des menaces

Nous analysons l’architecture du service et les flux de données

  • Modèle de menaces

Tests de sécurité automatisés

Nous exécutons automatiquement une série de prompts de test

  • Résultats de l’évaluation automatisée

Reproduction du scénario

Nous testons les scénarios associés à chaque point de contrôle et consignons les résultats

  • Liste des vulnérabilités

Conception des défenses

Nous proposons des garde-fous et des ajustements des autorisations

  • Guide de défense

Nouvelle vérification

Nous répétons le test de sécurité après correction

  • Rapport de suivi de la mise en œuvre

Questions fréquentes

Devons-nous transférer le modèle hors de notre environnement ?

L’évaluation se déroule dans l’environnement du client ou dans l’environnement isolé de Research Lab. Les données de test restent dans l’environnement utilisé.

Cette évaluation aide-t-elle à répondre aux exigences de la loi-cadre sud-coréenne sur l’IA ?

Le rapport identifie les points liés aux exigences de gestion des risques pour l’IA à fort impact.

Voir toutes les questions fréquentes

Évaluation des agents IA et de MCP

Nous recensons les outils, les API et les serveurs MCP accessibles aux agents d’IA et relevons leurs autorisations respectives.
Nous vérifions ensuite si un document ou un e-mail non fiable peut déclencher un envoi d’e-mail ou une consultation de la base de données en dehors des autorisations de l’agent.

Atouts

Cartographie des autorisations

Une vue d’ensemble indique les outils et les données auxquels chaque agent peut accéder.

Analyse des délégations

Lorsqu’un agent en appelle un autre, nous examinons comment les autorisations sont transmises.

Vérification des serveurs MCP

Nous vérifions la provenance, la version et la signature des serveurs MCP connectés.

Règles de surveillance des appels d’outils

Nous recensons les habitudes d’appel des outils et proposons des règles de détection des écarts.

Étapes de la prestation

Inventaire

Nous recensons les agents, les outils et les serveurs MCP

  • Cartographie des autorisations

Attaque simulée

Nous évaluons la résistance à la manipulation des appels d’outils

  • Liste des vulnérabilités

Amélioration

Nous indiquons les autorisations à restreindre, point par point

  • Recommandations relatives aux autorisations

Surveillance

Nous appliquons des règles de détection comportementale

  • Règles de détection

Évaluation des modèles et de leur chaîne d’approvisionnement

Nous examinons les fichiers de modèles, les jeux de données et les extensions provenant de dépôts publics pour détecter du code malveillant ou des données contaminées.

Atouts

Analyse des fichiers de modèles

Nous vérifions si des fichiers de modèles sérialisés, notamment au format pickle, contiennent du code susceptible de s’exécuter au chargement.

Élaboration de l’AI-BOM

Nous dressons l’inventaire des modèles, des données et des bibliothèques en usage.

Exécution en environnement isolé

Nous exécutons le modèle dans l’environnement isolé de Research Lab pour repérer les comportements inhabituels.

Définition de la procédure d’importation

Nous élaborons avec vous une procédure interne de vérification de la provenance et de l’intégrité, puis d’approbation.

Étapes de la prestation

Inventaire

Nous recensons les modèles et les données utilisés

  • AI-BOM

Analyse statique

Nous recherchons le code dissimulé dans les fichiers

  • Résultats de l’analyse

Évaluation à l’exécution

Nous l’exécutons dans un environnement isolé

  • Résultats de l’évaluation

Définition de la politique

Nous concevons un dispositif qui limite l’usage aux modèles approuvés

  • Politique d’importation
Nous contacter pour un déploiement

Échanger sur vos besoins en sécurité

Décrivez votre environnement et vos besoins en sécurité. Nous vous présenterons les configurations adaptées.

Parlez à un expert
sécurité de Genox.

Nous contacter