
KI-gestützte Sicherheitsüberwachung und
Sicherheit interner KI
Wir setzen KI zur Klassifizierung von Warnmeldungen und für die Erstuntersuchung ein.
Bei Chatbots und Agenten in Ihrer Organisation prüfen wir Berechtigungen und Datenverarbeitungsabläufe.
Die KI untersucht Warnmeldungen
Analysten geben die Bewertungen frei
| Automatisierungsgrad | Aufgaben der KI | Aufgaben des Personals | Genox-Standardeinstellung |
|---|---|---|---|
| L1-Unterstützung | Zusammenfassen und Suchen | Alle Bewertungen | - |
| L2-Klassifizierung | Warnmeldungen klassifizieren und priorisieren | Untersuchen und Bewerten | - |
| L3-Untersuchung | Untersuchen und Belege erfassen | Bewertung freigeben | ✓ Standard |
| L4-Reaktion | Automatische Reaktion im vereinbarten Rahmen | Richtlinien festlegen und Ausnahmen verwalten | Auswahl nach Risiko und Asset |
Das fiktive Szenario dient der Veranschaulichung. Die angezeigten Zeiten und Zahlen sind Beispiele.
Interne KI wird vor der Freigabe,
im laufenden Betrieb und im Rahmen des KI-Managementsystems geprüft
KI-Red-Team-Prüfung vor der Freigabe
Wir prüfen LLM-Anwendungen, Agenten und die Modell-Lieferkette anhand von 20 Prüfpunkten. Bei erfolgreichen Testangriffen dokumentieren wir den verwendeten Prompt und die Antwort im Wortlaut.
Red-Team-Prüfung für KI und LLMsVerhaltensüberwachung im laufenden Betrieb
Wir erfassen, welche Tools ein Agent üblicherweise aufruft. Nach einer Injection lassen sich dadurch ungewöhnliche Aufrufe erkennen.
Behavioral AnalyzerKI-Managementsystem
Auf Grundlage des südkoreanischen KI-Rahmengesetzes und der Anforderungen von ISO/IEC 42001 erstellen wir ein Inventar der internen KI-Systeme und richten Risikobewertungen und Freigabeverfahren ein.
Beratung zur KI-GovernanceWas der KI-Assistent zulässt und warum er Anfragen blockiert
Wählen Sie eine Situation aus und sehen Sie, welche Anfragen der fiktive Arbeitsassistent zulässt und welche Anweisungen er ignoriert oder blockiert.
Zu prüfende Situation
Der fiktive Assistent darf ausschließlich die öffentliche Hilfe lesen. Berechtigungen für den Informationszugriff und die Ausführung von Werkzeugen werden separat geprüft.
Die Simulation zeigt vorgegebene Situationen und Bewertungen. Sie kommt ohne Anbindung an ein KI-Modell oder externe Werkzeuge aus.
Situation
Der Assistent soll die Supportzeiten in der öffentlichen Hilfe nachschlagen.
Bewertung
Zulässig
Belege
Der Abruf der öffentlichen Hilfe steht auf der Freigabeliste und gewährt ausschließlich Lesezugriff.
Bedrohungen für KI-Systeme und
Leistungen von Genox
| Bedrohung | Beschreibung | Risikostufe | Maßnahmen von Genox |
|---|---|---|---|
| Prompt-Injection | Manipulation durch direkte und indirekte Anweisungen | Hoch | Red-Team-Prüfung, strukturelle Trennung und Verhaltenserkennung |
| Übermäßige Berechtigungen für Agenten | Übermäßige Berechtigungen für Tools und Daten | Hoch | Berechtigungsübersicht und Abgleich mit minimalen Berechtigungen |
| MCP-Lieferkette | Vorgetäuschte oder manipulierte MCP-Server | Hoch | Herkunft und Signatur prüfen, Bewertung in isolierter Umgebung |
| Offenlegung sensibler Informationen | Datenabfluss über Antworten und RAG-Suche | Mittel | RAG-Berechtigungen und Ausgaben prüfen |
| Modellmanipulation und Poisoning | Bösartige Modelldateien und manipulierte Trainingsdaten | Mittel | Modellprüfung und AI-BOM |
| Schatten-KI | Nutzung nicht genehmigter KI | Niedrig | KI-Inventar und Governance |