So werden wir messen,
wie oft die KI richtig liegt

Definition. Der Anteil der Fälle, in denen das Label der KI (echter Treffer, Fehlalarm, weitere Untersuchung nötig) und das Risiko mit dem übereinstimmen, was Analysten endgültig festgelegt haben.

Messung. Bewertungen ab Risiko „hoch“ prüfen wir vollständig, für den Rest ziehen wir jeden Monat eine Zufallsstichprobe. Maßstab ist die abschließende Bewertung der Analysten beim Kunden. Wo diese fehlt, bewerten zwei Genox-Analysten unabhängig voneinander. Sind sie sich uneinig, entscheidet ein dritter, und die Zahl der Uneinigkeiten halten wir mit fest. Wer die KI-Bewertung zuerst sieht, folgt ihr leicht. Deshalb bewerten wir die Stichprobe in einer Ansicht, in der KI-Bewertung und Konfidenz ausgeblendet sind.

Grund. Eine einzige Gesamtquote wird von den zahlreichen Alerts mit niedrigem Risiko nach oben gezogen. Wir berichten deshalb getrennt nach Risikostufe.

Definition. Ein Fehlalarm ist ein Fall, den die KI als Bedrohung bewertet und den Analysten als harmlos bestätigt haben. Übersehen ist ein Fall, den die KI als harmlos oder niedrig geschlossen hat und der sich später als Bedrohung herausstellte.

Messung. Fehlalarme zählen wir in derselben Stichprobe wie die Genauigkeit. Übersehene Fälle suchen wir auf zwei Wegen. Erstens öffnen Analysten jeden Monat eine Stichprobe der von der KI geschlossenen Alerts erneut und prüfen sie. Zweitens verfolgen wir Funde aus Vorfalluntersuchungen oder Threat Hunting zurück und verknüpfen sie mit den damaligen Alerts. Die Zahlen aus beiden Wegen weisen wir getrennt aus.

Grund. Jeder Alert, den die KI schließt, wird von Analysten nicht mehr angesehen. Übersehene Fälle zu zählen heißt, Unbekanntes zu zählen. Der Wert fällt deshalb zwangsläufig niedriger aus als in Wirklichkeit, und genau das steht auch im Bericht.

Definition. Der Anteil der Bewertungen, an deren Protokoll kein einziger Beleg hängt oder deren Begründung auf keine Beleg-ID verweist.

Messung. Alle Bewertungen werden automatisch geprüft. Im Format des Bewertungsprotokolls ist für jede Begründung eine Beleg-ID Pflicht. Fehlt sie, wird die Bewertung als „Belege unzureichend“ zurückgestuft und an einen Menschen übergeben.

Grund. Wenn das Format es verhindert, wirkt 0 selbstverständlich. Wir zählen trotzdem, weil Wege entstehen, auf denen die Prüfung übersprungen wird. Typisch sind Ausweichpfade, die greifen, wenn ein Untersuchungsschritt in ein Timeout läuft, oder Code für die Ausnahmebehandlung. In jedem Monat mit einem Wert über 0 veröffentlichen wir Ursache und Korrektur.

Definition. Wir prüfen, ob die KI während der Untersuchung die richtigen Tools wählt (Logsuche, Asset-Abfrage, Sandbox-Ausführung, Threat-Intelligence-Abfrage), ob Parameter wie Hostname und Zeitraum stimmen, ob notwendige Aufrufe fehlen und ob sie Aufrufe außerhalb des erlaubten Rahmens versucht.

Messung. Genox-Ingenieure gehen Stichproben von Untersuchungsabläufen Schritt für Schritt durch und bewerten sie. Versuche außerhalb des erlaubten Rahmens zählen wir ohne Stichprobe vollständig und automatisch.

Grund. Wenn man falsche Bewertungen zurückverfolgt, liegt der Fehler oft bei der Abfrage und seltener bei der Schlussfolgerung. Ist der Zeitraum der Logsuche 15 Minuten zu kurz, lautet das Ergebnis „keine Belege“. Aufrufe außerhalb des erlaubten Rahmens entsprechen dem Risiko LLM06 Excessive Agency aus den OWASP Top 10 for LLM Applications 2025 und werden deshalb separat gezählt.

Definition. Wir gleichen ab, ob die im Bewertungsprotokoll zitierten Logzeilen, Event-IDs, Datei-Hashes und Pfade in den tatsächlich erfassten Rohdaten vorhanden sind. Ein zitiertes Log, das nicht existiert oder inhaltlich abweicht, zählt als Abweichung.

Messung. Alle Bewertungen werden automatisch abgeglichen. Über die Fundstelle des Zitats fragen wir den Rohdatenspeicher ab und vergleichen Hashes. Stimmt auch nur einer nicht, wird die Bewertung zurückgehalten und an Analysten übergeben. Wir veröffentlichen die Zahl der zurückgehaltenen Bewertungen und wie viele davon tatsächlich erfunden waren.

Grund. Ein LLM kann plausibel wirkende Logzeilen erfinden. OWASP führt das als LLM09 Misinformation, NIST AI 600-1 als Confabulation. Dieser Abgleich prüft allerdings nur, ob das Zitat existiert. Ein vorhandenes Log, das falsch interpretiert wurde, fällt bei der Genauigkeit der Bewertung auf.

Definition. Bei Empfehlungen, die eine Freigabe erfordern, etwa Host-Isolierung oder Kontosperrung, der Anteil, den Analysten freigegeben, geändert oder abgelehnt haben. Die Rücknahmequote ist der Anteil freigegebener und ausgeführter Maßnahmen, die später mit der Begründung „Fehlbewertung“ rückgängig gemacht wurden.

Messung. Wir werten alle Einträge der Freigabeansicht aus. Wer eine Maßnahme rückgängig macht, muss einen Grund wählen. So trennen wir Aufhebungen wegen Auswirkungen auf den Betrieb von solchen wegen einer falschen Bewertung. Die Zeit von der Anfrage bis zur Freigabe wird mit erfasst.

Grund. Eine Freigabequote nahe 100 % kann ein gutes Zeichen sein. Sie kann aber auch bedeuten, dass Analysten klicken, ohne die Begründung zu lesen. Deshalb schauen wir zusätzlich, ob sich die Freigabezeiten bei wenigen Sekunden häufen.

Definition. Der Anteil der Bewertungen, bei denen ein erneuter Lauf mit der gespeicherten Eingabe, Modellversion und Richtlinienversion dasselbe Label und dasselbe Risiko ergibt. Den Wortlaut vergleichen wir nicht, weil sich identische Sätze nicht garantieren lassen.

Messung. Jeden Monat lassen wir eine Stichprobe früherer Bewertungen erneut laufen. Bevor wir Modell- oder Richtlinienversion wechseln, lassen wir einen Satz früherer Bewertungen mit der neuen Version laufen und vergleichen in einem Regressionstest, was sich ändert.

Grund. Ändert sich das Ergebnis bei einem erneuten Lauf, lag die Bewertung auf der Kippe, und ein Mensch sollte sie sich noch einmal ansehen. Eine hohe Übereinstimmung heißt nicht, dass die Bewertung stimmt. Wer denselben Fehler wiederholt, kommt ebenfalls auf eine hohe Übereinstimmung.

Definition. Drei Abschnitte: vom Eingang des Alerts bis zum Bewertungsprotokoll, von der Bewertung bis zur Freigabe und vom Eingang des Alerts bis zur Ausführung der Maßnahme.

Messung. Vollständig aus den Systemprotokollen ausgewertet. Statt des Mittelwerts nennen wir den Median und das 90. Perzentil (p90).

Grund. Der Mittelwert wird von einigen wenigen langen Untersuchungen verzerrt. Eine schnelle Bewertung nützt nichts, wenn sie ungenau ist. Die Bearbeitungszeit steht deshalb immer in derselben Tabelle wie die Genauigkeit.