
Für KI-Anwendungen
prüfen wir Berechtigungen und Datenflüsse
Wir prüfen bei internen Chatbots, Retrieval-Augmented Generation (RAG), KI-Agenten und externen Modellen die Eingabeverarbeitung, Tool-Berechtigungen und Lieferkettenrisiken. Umfang und Ergebnisse der Prüfung lassen sich im Beratungsgespräch klären. Die interaktive Demo zeigt fiktive Szenarien.
In BetriebWir prüfen nachgestellte Szenarien zu Prompt-Injection, MCP-Toolbeschreibungen, übermäßigen Tool-Berechtigungen und Paketen in der Lieferkette. Die interaktive Demo ist eine Simulation. Leistungsstandards
Leistungsumfang und Ablauf
Dedizierte Analyseknoten für jeden Kunden
Analysen laufen auf dedizierten Knoten, die jedem Kunden separat zugewiesen sind. Rechenleistung und Speicher werden mit keinem anderen Kunden geteilt.
Die Belege zu jeder Bewertung bleiben erhalten
Ein einzelner Eintrag dokumentiert, welches Analysemodul die Bewertung vorgenommen hat, auf welche Protokolldaten es sich dabei stützte und welche Maßnahmen es empfahl. Diesen Eintrag können Sie direkt für das Audit vorlegen.
Frühere Bewertungen lassen sich wiederholen
Wir protokollieren die Modell- und Richtlinienversionen jeder Bewertung. Bei Zweifeln an einer Bewertung aus dem Vormonat können Sie die Analyse mit denselben Daten wiederholen und die Ergebnisse vergleichen.
Die letzte Entscheidung trifft ein Mensch
Die KI klassifiziert und fasst Warnmeldungen zusammen. Analysten geben Reaktionsmaßnahmen frei. Server werden erst nach menschlicher Freigabe isoliert und Konten erst danach gesperrt.
Leistungen der KI-Sicherheitsprüfung
Prüfung von LLM-Anwendungen
Wir prüfen Chatbots, RAG und interne KI-Dienste anhand von 20 Prüfpunkten.
Mehr erfahrenSicherheitsprüfung für KI-Agenten und MCP
Wir prüfen Tool-Berechtigungen, Delegationsbeziehungen und MCP-Verbindungen der Agenten.
Mehr erfahrenPrüfung von Modellen und Lieferkette
Wir prüfen die Sicherheit extern bezogener Modelle, Datensätze und Plug-ins.
Mehr erfahrenPrüfung von LLM-Anwendungen
Auf Basis der OWASP LLM Top 10, ergänzt um Risiken für KI-Agenten und Anforderungen des koreanischen Rechts, prüfen wir 20 Punkte. Dazu stellen wir Angriffsszenarien passend zur jeweiligen Anwendungsarchitektur nach. Der Playground ist eine Simulation.
Besondere Merkmale
20 Prüfpunkte
Die OWASP LLM Top 10 wurden um Risiken für KI-Agenten und Prüfpunkte zum koreanischen Recht ergänzt.
Isolierte Testumgebung
Testprompts und Ergebnisse bleiben in der Prüfumgebung.
Nachweise zur Reproduktion beifügen
Für jede Schwachstelle fügen wir den im Test verwendeten Prompt und die tatsächliche Antwort unverändert bei.
Schutzregeln vorschlagen
Zu jeder gefundenen Schwachstelle erhalten Sie passende Schutz- und Filterregeln.
Zentrale Prüfpunkte (20)
| Klassifizierung | Prüfpunkte | Beschreibung | Risikostufe |
|---|---|---|---|
| Eingabe | Direkte Prompt-Injection | Außerkraftsetzen von Systemanweisungen oder Ersetzen von Rollen | Hoch |
| Eingabe | Indirekte Prompt-Injection | Ausführung versteckter Anweisungen in Dokumenten, Webseiten oder E-Mails | Hoch |
| Eingabe | Jailbreak | Antworten, die Sicherheitsrichtlinien umgehen | Mittel |
| Eingabe | Umgehung durch mehrsprachige Eingaben oder Kodierung | Filterumgehung durch koreanischsprachige Varianten, Base64 und ähnliche Methoden | Mittel |
| Daten | Offenlegung von System-Prompts | Offenlegung interner Anweisungen und Geschäftslogik | Mittel |
| Daten | Offenlegung sensibler Informationen | Preisgabe personenbezogener Daten oder Geschäftsgeheimnisse in Antworten | Hoch |
| Daten | Umgehung von RAG-Zugriffsberechtigungen | Suchergebnisse enthalten Dokumente außerhalb der Zugriffsrechte des Nutzers | Hoch |
| Daten | Extraktion von Trainingsdaten | Modell gibt gespeicherte Trainingsdaten unverändert aus | Mittel |
| Agenten | Übermäßige Tool-Berechtigungen | Anbindung an Tools und APIs mit übermäßigen Berechtigungen | Hoch |
| Agenten | Manipulation von Tool-Aufrufen | Auslösen von E-Mails oder Datenbankabfragen per Injection | Hoch |
| Agenten | Vortäuschung eines MCP-Servers | Anbindung an einen bösartigen oder manipulierten MCP-Server | Hoch |
| Agenten | Umgehung der Freigabe | Umgehung von Schritten mit vorgeschriebener menschlicher Freigabe | Mittel |
| Ausgabe | Unsachgemäße Ausgabeverarbeitung | Modellausgabe wird direkt als Code oder Abfrage ausgeführt | Hoch |
| Ausgabe | Erzeugung schädlicher Inhalte | Erzeugung von Inhalten, die gegen Richtlinien verstoßen | Mittel |
| Ausgabe | Falschinformationen durch Halluzinationen | Erzeugung unbelegter Angaben oder ungültiger Links | Niedrig |
| Lieferkette | Manipulation von Modelldateien | Bösartige Serialisierungsdateien und Modelle mit Hintertüren | Hoch |
| Lieferkette | Data Poisoning | Manipulation von Fine-Tuning- und RAG-Daten | Mittel |
| Betrieb | Ressourcenerschöpfung | Stark steigende Kosten oder Ausfälle durch zu viele Tokens oder Aufrufe | Mittel |
| Betrieb | Fehlende Protokollierung und Auditierung | Fehlende Protokollierung von Prompts und Tool-Aufrufen | Niedrig |
| Governance | Übereinstimmung mit regulatorischen Vorgaben | Fehlende Erfüllung von Anforderungen des koreanischen KI-Grundlagengesetzes und des koreanischen Datenschutzgesetzes | Niedrig |
Ablauf
Bedrohungsmodellierung
Anwendungsarchitektur und Datenflüsse erfassen
- Bedrohungsmodell
Automatisierte Angriffstests
Angriffsprompts automatisiert in der Prüfung ausführen
- Automatisierte Prüfergebnisse
Reproduktion
Szenarien je Prüfpunkt nachstellen und Ergebnisse dokumentieren
- Schwachstellenliste
Schutzkonzept
Schutzregeln und Empfehlungen für Berechtigungen erarbeiten
- Leitfaden für Schutzmaßnahmen
Erneute Prüfung
Nach der Behebung wiederholen wir die Angriffstests
- Prüfprotokoll zur Umsetzung
Häufig gestellte Fragen
Muss das Modell die Kundenumgebung verlassen?
Die Prüfung erfolgt in der Kundenumgebung oder im isolierten Research Lab. Daten aus Angriffstests bleiben in der Prüfumgebung.
Hilft die Prüfung bei der Umsetzung des koreanischen KI-Grundlagengesetzes?
Prüfpunkte zu den Risikomanagementanforderungen für KI mit hoher Auswirkung kennzeichnen wir im Bericht.
Weitere Informationen finden Sie in den verwandten Beiträgen.
Sicherheitsprüfung für KI-Agenten und MCP
Wir inventarisieren Tools, APIs und MCP-Server, die KI-Agenten aufrufen können, sowie die jeweiligen Berechtigungen.
Anschließend prüfen wir, ob versteckte Anweisungen in Dokumenten oder E-Mails einen Agenten zum Versand von Nachrichten oder zu Datenbankabfragen veranlassen können.
Besondere Merkmale
Berechtigungsübersicht
Eine Übersicht zeigt, auf welche Tools und Daten jeder Agent zugreifen kann.
Delegationsbeziehungen analysieren
Wir verfolgen, wie Berechtigungen weitergegeben werden, wenn ein Agent einen anderen aufruft.
MCP-Server prüfen
Wir prüfen Herkunft, Version und Signatur der verbundenen MCP-Server.
Überwachungsregeln für Tool-Aufrufe
Wir dokumentieren typische Tool-Aufrufmuster und liefern Erkennungsregeln für abweichende Aufrufe.
Ablauf
Inventarisierung
Agenten, Tools und MCP-Verbindungen erfassen
- Berechtigungsübersicht
Angriff
Wir testen, ob sich Tool-Aufrufe manipulieren lassen
- Schwachstellenliste
Verbesserungen
Für jede zu weit gefasste Berechtigung eine Einschränkung vorschlagen
- Empfehlungen für Berechtigungen
Überwachung
Erkennungsregeln für die Verhaltensanalyse anwenden
- Erkennungsregeln
Weitere Informationen finden Sie in den verwandten Beiträgen.
Prüfung von Modellen und Lieferkette
Wir prüfen Modelldateien, Datensätze und Plug-ins aus öffentlichen Repositorys auf Schadcode und manipulierte Daten.
Besondere Merkmale
Modelldateien prüfen
Wir prüfen serialisierte Modelldateien wie Pickle-Dateien auf verborgenen Code, der beim Laden ausgeführt wird.
AI-BOM erstellen
Wir erfassen eingesetzte Modelle, Daten und Bibliotheken so, dass Sie sie in einem Inventar verwalten können.
Ausführung in isolierter Umgebung
Wir führen das Modell im isolierten Research Lab aus und prüfen es auf Auffälligkeiten.
Verfahren zur Übernahme externer Komponenten festlegen
Wir erarbeiten ein internes Verfahren zur Prüfung von Herkunft und Integrität sowie zur anschließenden Freigabe.
Ablauf
Inventarisierung
Verwendete Modelle und Daten erfassen
- AI-BOM
Statische Prüfung
Wir suchen nach verborgenem Code in den Dateien
- Prüfergebnis
Laufzeitprüfung
Wir führen Modelle in einer isolierten Umgebung aus
- Bewertungsergebnisse
Richtlinien erarbeiten
Verfahren für den ausschließlichen Einsatz freigegebener Modelle entwickeln
- Richtlinie zur Übernahme externer Komponenten
Weitere Informationen finden Sie in den verwandten Beiträgen.

Beratung zur Einführung von Sicherheitsleistungen
Teilen Sie uns Ihre Betriebsumgebung und Ihren Schutzbedarf mit. Wir beraten Sie zu geeigneten Konfigurationen.



