Sicherheitsrisiken von KI-Agenten: Prompt Injection und Tools

KI-Agenten gehen vom Beantworten von Fragen zum Ausführen von Aktionen über: Sie lesen Postfächer, fragen Datenbanken ab, aktualisieren Tickets, versenden Nachrichten und rufen APIs auf. Diese Verschiebung verändert das Sicherheitsbild. Ein Modell, das nur Text erzeugt, kann in die Irre führen; ein Agent mit Tools kann auf Grundlage dieses Textes handeln. Prompt Injection, bei der in Inhalten versteckte Anweisungen das Modell steuern, ist das meistdiskutierte Risiko, aber nur eines von mehreren. Dieser Leitfaden erklärt die wichtigsten Risiken verständlich und die Kontrollen, die sie verringern.

Was es ist

Große Sprachmodelle unterscheiden nicht zuverlässig zwischen Anweisungen ihres Betreibers und Anweisungen, die in den verarbeiteten Daten eingebettet sind. Direkte Prompt Injection liegt vor, wenn ein Nutzer Anweisungen eingibt, die die Regeln des Systems aushebeln sollen. Indirekte Prompt Injection liegt vor, wenn das Modell externe Inhalte liest, etwa eine Webseite, eine E-Mail, ein Dokument oder ein Support-Ticket, die versteckte Anweisungen enthalten, zum Beispiel Daten preiszugeben oder ein Tool aufzurufen. Weitere Risiken verstärken dies. Sensible Informationen können abfließen, wenn das Modell Zugriff auf Daten hat, die der Nutzer nicht sehen sollte. Übermäßige Handlungsbefugnis entsteht, wenn ein Agent weitreichende Tool-Berechtigungen besitzt, etwa die Möglichkeit, ohne Bestätigung E-Mails zu senden oder Datensätze zu löschen. Fehlerhafte Ausgabeverarbeitung liegt vor, wenn die Ausgabe des Modells ohne Validierung direkt in Code, Abfragen oder Webseiten übernommen wird. Lieferkettenrisiken entstehen durch Modelle, Plugins und Connectoren Dritter. Die OWASP Top 10 für LLM-Anwendungen (Ausgabe 2025) katalogisieren diese und verwandte Kategorien, etwa das Offenlegen des System-Prompts und unbegrenzten Ressourcenverbrauch, und das OWASP GenAI Security Project veröffentlicht zudem Leitlinien speziell für agentische Anwendungen. Da keine derzeitige Technik Prompt Injection vollständig verhindert, sollte das Design davon ausgehen, dass manche eingeschleusten Anweisungen Erfolg haben, und begrenzen, was sie bewirken können.

Für wen es gedacht ist

Dieser Leitfaden ist relevant für:

Teams, die Agenten entwickeln, die Tools, APIs oder Unternehmensdaten nutzen
Unternehmen, die KI-Assistenten für Kunden oder Mitarbeitende einführen
Sicherheits- und Risikoverantwortliche, die eine KI-Funktion freigeben sollen
Product Owner, die KI-Plattformen oder Connectoren Dritter integrieren

Was es zu klären hilft

Die Betrachtung dieser Risiken hilft zu klären:

welche Daten der Agent lesen kann und ob jeder Nutzer dazu berechtigt ist
welche Aktionen der Agent ausführen kann und welche eine Bestätigung durch einen Menschen erfordern
wie nicht vertrauenswürdige Inhalte das Modell erreichen und was sie beeinflussen könnten
wohin die Ausgabe des Modells als Nächstes fließt und ob sie validiert wird

Was ist enthalten

Jedes Tool, jeden Connector und jede Datenquelle erfassen, auf die der Agent zugreifen kann
Das Prinzip der geringsten Rechte anwenden: jedem Tool die engste Berechtigung geben und es auf den aktuellen Nutzer beschränken
Für Aktionen, die senden, löschen, bezahlen, veröffentlichen oder Berechtigungen ändern, eine Bestätigung durch einen Menschen verlangen
Abgerufene Inhalte, E-Mails, Dateien und Webseiten als nicht vertrauenswürdige Eingaben behandeln
Systemanweisungen so klar von Nutzer- und abgerufenen Inhalten trennen, wie die Plattform es zulässt
Die Ausgabe des Modells validieren und kodieren, bevor sie Code, Abfragen oder Webseiten erreicht
Zugriffskontrolle in der Datenschicht durchsetzen, nicht im Prompt
Grenzen für Rate, Kosten und Anzahl der Aktionen pro Sitzung festlegen
Prompts, Tool-Aufrufe und Ergebnisse mit angemessenen Datenschutzvorkehrungen protokollieren und auswerten
Mit gezielt bösartigen Eingaben testen, einschließlich indirekter Injection über Dokumente und Links
Einen Weg festlegen, ein Tool oder den Agenten schnell zu deaktivieren, wenn Missbrauch erkannt wird

Was nicht enthalten ist

Die Behauptung, dass sich Prompt Injection vollständig verhindern lässt
Zertifizierung oder behördliche Zulassung eines KI-Systems
Rechtsberatung zur KI-Regulierung
Fortlaufende Überwachung produktiver Agenten, sofern nicht gesondert vereinbart

Wann man es wählt

Gehen Sie diese Risiken an, bevor ein Agent mit echten Tools oder Daten verbunden wird, und erneut, wenn neue Tools, Datenquellen oder Nutzergruppen hinzukommen. Ein Agent, der als interner Prototyp mit reinem Lesezugriff sicher war, ist es womöglich nicht mehr, sobald er E-Mails an Kunden senden kann. Stellt ein Anbieter die Agentenplattform bereit, fragen Sie, wie er Tool-Berechtigungen, Bestätigungsschritte, Protokollierung und Datenisolierung handhabt.

Unser Ansatz

Gestalten Sie auf Eindämmung statt auf perfekte Verhinderung hin. Fragen Sie, was das schlimmste realistische Ergebnis wäre, wenn eine eingeschleuste Anweisung Erfolg hätte, und reduzieren Sie dann Berechtigungen und ergänzen Sie Bestätigungsschritte, bis dieses Ergebnis akzeptabel ist. Halten Sie Autorisierungsentscheidungen in deterministischem Code außerhalb des Modells. Unser LLM & AI Agent Security Review untersucht vereinbarte KI-Systeme auf Prompt Injection, Datenexposition, unsichere Ausgaben, Risiken beim Abruf, Tool-Berechtigungen und die Grenzen der Übergabe an Menschen und liefert schriftliche Befunde mit priorisierten Empfehlungen. Befinden Sie sich noch im Entwurf des Agenten, kann Secure AI Agent Integration ihn von Anfang an mit freigegebenen Daten, abgegrenzten Tools und Prüfpunkten aufbauen, und AI Governance, Policy & Data Safety kann die Nutzungsregeln dafür festlegen. Wiederholen Sie das Review, wenn sich Modelle, Tools oder Datenquellen ändern, denn das Verhalten kann sich mit jeder Änderung verschieben.

LLM & AI Agent Security Review

Zur Seite des Service LLM & AI Agent Security Review