3-Minuten-Produkttour Dringender Vorfall per E-Mail
Sicherheitsprüfung · KI

Für KI-Anwendungen
prüfen wir Berechtigungen und Datenflüsse

Wir prüfen bei internen Chatbots, Retrieval-Augmented Generation (RAG), KI-Agenten und externen Modellen die Eingabeverarbeitung, Tool-Berechtigungen und Lieferkettenrisiken. Umfang und Ergebnisse der Prüfung lassen sich im Beratungsgespräch klären. Die interaktive Demo zeigt fiktive Szenarien.

#KIRedTeam#LLMSchwachstellen#PromptInjection#MCPSicherheit

In BetriebWir prüfen nachgestellte Szenarien zu Prompt-Injection, MCP-Toolbeschreibungen, übermäßigen Tool-Berechtigungen und Paketen in der Lieferkette. Die interaktive Demo ist eine Simulation. Leistungsstandards

Leistungsumfang und Ablauf

Dedizierte Analyseknoten für jeden Kunden

Analysen laufen auf dedizierten Knoten, die jedem Kunden separat zugewiesen sind. Rechenleistung und Speicher werden mit keinem anderen Kunden geteilt.

Die Belege zu jeder Bewertung bleiben erhalten

Ein einzelner Eintrag dokumentiert, welches Analysemodul die Bewertung vorgenommen hat, auf welche Protokolldaten es sich dabei stützte und welche Maßnahmen es empfahl. Diesen Eintrag können Sie direkt für das Audit vorlegen.

Frühere Bewertungen lassen sich wiederholen

Wir protokollieren die Modell- und Richtlinienversionen jeder Bewertung. Bei Zweifeln an einer Bewertung aus dem Vormonat können Sie die Analyse mit denselben Daten wiederholen und die Ergebnisse vergleichen.

Die letzte Entscheidung trifft ein Mensch

Die KI klassifiziert und fasst Warnmeldungen zusammen. Analysten geben Reaktionsmaßnahmen frei. Server werden erst nach menschlicher Freigabe isoliert und Konten erst danach gesperrt.

Leistungsbausteine

Leistungen der KI-Sicherheitsprüfung

Prüfung von LLM-Anwendungen

Auf Basis der OWASP LLM Top 10, ergänzt um Risiken für KI-Agenten und Anforderungen des koreanischen Rechts, prüfen wir 20 Punkte. Dazu stellen wir Angriffsszenarien passend zur jeweiligen Anwendungsarchitektur nach. Der Playground ist eine Simulation.

Besondere Merkmale

20 Prüfpunkte

Die OWASP LLM Top 10 wurden um Risiken für KI-Agenten und Prüfpunkte zum koreanischen Recht ergänzt.

Isolierte Testumgebung

Testprompts und Ergebnisse bleiben in der Prüfumgebung.

Nachweise zur Reproduktion beifügen

Für jede Schwachstelle fügen wir den im Test verwendeten Prompt und die tatsächliche Antwort unverändert bei.

Schutzregeln vorschlagen

Zu jeder gefundenen Schwachstelle erhalten Sie passende Schutz- und Filterregeln.

Zentrale Prüfpunkte (20)

KlassifizierungPrüfpunkteBeschreibungRisikostufe
EingabeDirekte Prompt-InjectionAußerkraftsetzen von Systemanweisungen oder Ersetzen von RollenHoch
EingabeIndirekte Prompt-InjectionAusführung versteckter Anweisungen in Dokumenten, Webseiten oder E-MailsHoch
EingabeJailbreakAntworten, die Sicherheitsrichtlinien umgehenMittel
EingabeUmgehung durch mehrsprachige Eingaben oder KodierungFilterumgehung durch koreanischsprachige Varianten, Base64 und ähnliche MethodenMittel
DatenOffenlegung von System-PromptsOffenlegung interner Anweisungen und GeschäftslogikMittel
DatenOffenlegung sensibler InformationenPreisgabe personenbezogener Daten oder Geschäftsgeheimnisse in AntwortenHoch
DatenUmgehung von RAG-ZugriffsberechtigungenSuchergebnisse enthalten Dokumente außerhalb der Zugriffsrechte des NutzersHoch
DatenExtraktion von TrainingsdatenModell gibt gespeicherte Trainingsdaten unverändert ausMittel
AgentenÜbermäßige Tool-BerechtigungenAnbindung an Tools und APIs mit übermäßigen BerechtigungenHoch
AgentenManipulation von Tool-AufrufenAuslösen von E-Mails oder Datenbankabfragen per InjectionHoch
AgentenVortäuschung eines MCP-ServersAnbindung an einen bösartigen oder manipulierten MCP-ServerHoch
AgentenUmgehung der FreigabeUmgehung von Schritten mit vorgeschriebener menschlicher FreigabeMittel
AusgabeUnsachgemäße AusgabeverarbeitungModellausgabe wird direkt als Code oder Abfrage ausgeführtHoch
AusgabeErzeugung schädlicher InhalteErzeugung von Inhalten, die gegen Richtlinien verstoßenMittel
AusgabeFalschinformationen durch HalluzinationenErzeugung unbelegter Angaben oder ungültiger LinksNiedrig
LieferketteManipulation von ModelldateienBösartige Serialisierungsdateien und Modelle mit HintertürenHoch
LieferketteData PoisoningManipulation von Fine-Tuning- und RAG-DatenMittel
BetriebRessourcenerschöpfungStark steigende Kosten oder Ausfälle durch zu viele Tokens oder AufrufeMittel
BetriebFehlende Protokollierung und AuditierungFehlende Protokollierung von Prompts und Tool-AufrufenNiedrig
GovernanceÜbereinstimmung mit regulatorischen VorgabenFehlende Erfüllung von Anforderungen des koreanischen KI-Grundlagengesetzes und des koreanischen DatenschutzgesetzesNiedrig

Ablauf

Bedrohungsmodellierung

Anwendungsarchitektur und Datenflüsse erfassen

  • Bedrohungsmodell

Automatisierte Angriffstests

Angriffsprompts automatisiert in der Prüfung ausführen

  • Automatisierte Prüfergebnisse

Reproduktion

Szenarien je Prüfpunkt nachstellen und Ergebnisse dokumentieren

  • Schwachstellenliste

Schutzkonzept

Schutzregeln und Empfehlungen für Berechtigungen erarbeiten

  • Leitfaden für Schutzmaßnahmen

Erneute Prüfung

Nach der Behebung wiederholen wir die Angriffstests

  • Prüfprotokoll zur Umsetzung

Häufig gestellte Fragen

Muss das Modell die Kundenumgebung verlassen?

Die Prüfung erfolgt in der Kundenumgebung oder im isolierten Research Lab. Daten aus Angriffstests bleiben in der Prüfumgebung.

Hilft die Prüfung bei der Umsetzung des koreanischen KI-Grundlagengesetzes?

Prüfpunkte zu den Risikomanagementanforderungen für KI mit hoher Auswirkung kennzeichnen wir im Bericht.

Alle häufig gestellten Fragen ansehen

Sicherheitsprüfung für KI-Agenten und MCP

Wir inventarisieren Tools, APIs und MCP-Server, die KI-Agenten aufrufen können, sowie die jeweiligen Berechtigungen.
Anschließend prüfen wir, ob versteckte Anweisungen in Dokumenten oder E-Mails einen Agenten zum Versand von Nachrichten oder zu Datenbankabfragen veranlassen können.

Besondere Merkmale

Berechtigungsübersicht

Eine Übersicht zeigt, auf welche Tools und Daten jeder Agent zugreifen kann.

Delegationsbeziehungen analysieren

Wir verfolgen, wie Berechtigungen weitergegeben werden, wenn ein Agent einen anderen aufruft.

MCP-Server prüfen

Wir prüfen Herkunft, Version und Signatur der verbundenen MCP-Server.

Überwachungsregeln für Tool-Aufrufe

Wir dokumentieren typische Tool-Aufrufmuster und liefern Erkennungsregeln für abweichende Aufrufe.

Ablauf

Inventarisierung

Agenten, Tools und MCP-Verbindungen erfassen

  • Berechtigungsübersicht

Angriff

Wir testen, ob sich Tool-Aufrufe manipulieren lassen

  • Schwachstellenliste

Verbesserungen

Für jede zu weit gefasste Berechtigung eine Einschränkung vorschlagen

  • Empfehlungen für Berechtigungen

Überwachung

Erkennungsregeln für die Verhaltensanalyse anwenden

  • Erkennungsregeln

Prüfung von Modellen und Lieferkette

Wir prüfen Modelldateien, Datensätze und Plug-ins aus öffentlichen Repositorys auf Schadcode und manipulierte Daten.

Besondere Merkmale

Modelldateien prüfen

Wir prüfen serialisierte Modelldateien wie Pickle-Dateien auf verborgenen Code, der beim Laden ausgeführt wird.

AI-BOM erstellen

Wir erfassen eingesetzte Modelle, Daten und Bibliotheken so, dass Sie sie in einem Inventar verwalten können.

Ausführung in isolierter Umgebung

Wir führen das Modell im isolierten Research Lab aus und prüfen es auf Auffälligkeiten.

Verfahren zur Übernahme externer Komponenten festlegen

Wir erarbeiten ein internes Verfahren zur Prüfung von Herkunft und Integrität sowie zur anschließenden Freigabe.

Ablauf

Inventarisierung

Verwendete Modelle und Daten erfassen

  • AI-BOM

Statische Prüfung

Wir suchen nach verborgenem Code in den Dateien

  • Prüfergebnis

Laufzeitprüfung

Wir führen Modelle in einer isolierten Umgebung aus

  • Bewertungsergebnisse

Richtlinien erarbeiten

Verfahren für den ausschließlichen Einsatz freigegebener Modelle entwickeln

  • Richtlinie zur Übernahme externer Komponenten
Einführung anfragen

Beratung zur Einführung von Sicherheitsleistungen

Teilen Sie uns Ihre Betriebsumgebung und Ihren Schutzbedarf mit. Wir beraten Sie zu geeigneten Konfigurationen.

Sprechen Sie mit unseren
Sicherheitsexperten.

Kontakt