Voici comment nous mesurerons
la justesse des verdicts de l'IA

Définition. Part des cas où l'étiquette attribuée par l'IA (vrai positif, faux positif, investigation complémentaire nécessaire) et le niveau de risque correspondent aux valeurs que l'analyste valide au final.

Mesure. Tous les verdicts de risque élevé ou plus sont examinés ; pour les autres, nous tirons chaque mois un échantillon aléatoire. La référence est le verdict validé par les analystes du client. Lorsque le client n'a rien validé, deux analystes Genox corrigent séparément. S'ils divergent, un troisième tranche, et nous consignons aussi le nombre de désaccords. Quand on voit d'abord le verdict de l'IA, on a tendance à le suivre : l'échantillon est donc corrigé sur un écran qui masque le verdict et le niveau de confiance de l'IA.

Pourquoi. Avec un taux global unique, les alertes à faible risque, de loin les plus nombreuses, tirent le chiffre vers le haut. Nous le ventilons donc par niveau de risque.

Définition. Un faux positif est un cas que l'IA a jugé menaçant et que l'analyste a validé comme normal. Un faux négatif est un cas que l'IA a clos comme normal ou à faible risque et qui s'est révélé plus tard être une menace.

Mesure. Les faux positifs sont comptés sur le même échantillon que l'exactitude. Les faux négatifs sont recherchés par deux voies : chaque mois, nous rouvrons un échantillon des alertes closes par l'IA pour qu'un analyste les examine, et nous remontons les cas découverts plus tard lors d'enquêtes sur incident ou de threat hunting pour les rattacher aux alertes de l'époque. Les chiffres issus de chaque voie sont publiés séparément.

Pourquoi. Une alerte close par l'IA de supervision, l'analyste ne la regarde plus. Compter les faux négatifs revient à compter ce qu'on ignore : le chiffre sera forcément inférieur à la réalité, et le rapport le dit tel quel.

Définition. Part des verdicts dont le journal ne comporte aucune preuve reliée, ou dont les phrases de justification ne renvoient à aucun identifiant de preuve.

Mesure. Tous les verdicts sont vérifiés automatiquement. Le format du journal de verdict impose un identifiant de preuve pour chaque justification ; s'il manque, le verdict passe en « preuves insuffisantes » et il est confié à une personne.

Pourquoi. Si le format l'interdit, le 0 semble acquis. Nous comptons malgré tout, parce qu'il finit toujours par exister des chemins qui échappent au contrôle. En général, c'est la voie de repli empruntée quand une étape de l'enquête dépasse le délai, ou le code de gestion des exceptions. Si un mois ne donne pas 0, nous publions la cause et la correction apportée.

Définition. Nous vérifions si l'IA a choisi les bons outils pendant l'enquête (recherche dans les journaux, consultation des actifs, exécution en sandbox, interrogation du renseignement sur les menaces), si les arguments comme le nom d'hôte ou la plage horaire étaient corrects, si elle a omis un appel nécessaire et si elle a tenté des appels hors du périmètre autorisé.

Mesure. Des ingénieurs Genox examinent étape par étape un échantillon d'enquêtes et les notent. Les tentatives d'appel hors périmètre sont toutes comptées automatiquement, sans échantillonnage.

Pourquoi. Quand on remonte un verdict erroné, l'erreur se situe souvent dans la requête plutôt que dans le raisonnement. Une recherche dans les journaux dont la plage horaire est trop courte de 15 minutes conclut qu'il n'y a « aucune » preuve. Les appels hors périmètre relèvent du risque LLM06 Excessive Agency de l'OWASP Top 10 for LLM Applications 2025, d'où un décompte à part.

Définition. Nous confrontons les lignes de journal, identifiants d'événement, empreintes de fichier et chemins cités dans le verdict aux données d'origine effectivement collectées. Un journal cité qui n'existe pas ou dont le contenu diffère compte comme un écart.

Mesure. Tous les verdicts sont confrontés automatiquement. Nous interrogeons le stockage d'origine à l'emplacement cité et comparons les empreintes ; au moindre écart, le verdict est suspendu et transmis à un analyste. Nous publions le nombre de verdicts suspendus et, parmi eux, le nombre de véritables inventions.

Pourquoi. Un LLM peut inventer des lignes de journal plausibles. L'OWASP classe ce risque en LLM09 Misinformation, le NIST AI 600-1 parle de confabulation. Cette vérification ne contrôle toutefois que l'existence de la citation. Une mauvaise interprétation d'un journal bien réel est détectée par l'exactitude du verdict.

Définition. Parmi les recommandations soumises à approbation, comme l'isolement d'un hôte ou le blocage d'un compte, part que l'analyste a approuvée, modifiée ou refusée. Le taux d'annulation est la part des actions approuvées et exécutées qui ont été annulées plus tard pour le motif « verdict erroné ».

Mesure. Toutes les entrées de l'écran d'approbation sont comptées. Pour annuler une action, il faut choisir un motif, ce qui permet de séparer les levées dues à l'impact sur l'activité de celles dues à un verdict erroné. Le délai entre la demande et l'approbation est aussi conservé.

Pourquoi. Un taux d'approbation collé à 100 % peut être bon signe, ou signifier que l'analyste approuve sans lire les preuves. C'est pour cela que nous regardons aussi si les délais d'approbation se concentrent sur quelques secondes.

Définition. Part des verdicts qui gardent la même étiquette et le même niveau de risque lorsqu'on les réexécute avec l'entrée, la version du modèle et la version de la politique enregistrées au moment du verdict. Nous ne comparons pas la formulation, car rien ne garantit que la même phrase ressorte.

Mesure. Chaque mois, nous réexécutons un échantillon de verdicts passés. Avant de changer de version de modèle ou de politique, nous faisons passer l'ensemble des verdicts passés par la nouvelle version et comparons les résultats pour repérer les régressions.

Pourquoi. Un verdict qui change à la réexécution était à la limite, et mérite un second regard humain. Une constance élevée ne veut pas dire que le verdict est juste : répéter la même erreur donne aussi une constance élevée.

Définition. Trois intervalles : de la réception de l'alerte à la création du journal de verdict, du verdict à l'approbation, et de la réception de l'alerte à l'exécution de l'action.

Mesure. Tous les cas sont comptés à partir des journaux système. Plutôt que la moyenne, nous donnons la médiane et le percentile 90 (p90).

Pourquoi. La moyenne se laisse entraîner par quelques enquêtes longues. Un verdict rapide ne sert à rien s'il est moins exact : le délai de traitement figure donc toujours dans le même tableau que l'exactitude.