Du lädst einen Vertrag, eine Rechnung oder ein langes PDF in einen KI-Chat und bittest um eine Zusammenfassung. Die Datei wirkt harmlos. Doch irgendwo darin steht, in weißer Schrift auf weißem Grund oder in unsichtbaren Unicode-Zeichen, eine Anweisung, die nicht dir gilt, sondern dem Modell. Genau dieses Szenario behandelt das Bundesamt für Sicherheit in der Informationstechnik (BSI) in einer neuen Handreichung.
Was ist eine Indirect Prompt Injection?
Ein Prompt ist die Eingabe, die ein Sprachmodell erhält, um eine Antwort zu erzeugen. Bei einer direkten Prompt Injection tippt der Angreifer die schädliche Anweisung selbst in den Chat. Bei einer indirekten sind die Rollen getrennt: Die Anweisung stammt aus einer externen Quelle, die das Modell verarbeitet, etwa einem Dokument, einer Webseite oder einer E-Mail, und wer chattet, ist jemand anderes. Zum Inhalt zählt laut BSI nicht nur der sichtbare Text, sondern auch Metadaten, Annotationen und Kommentare. Typische Folgen eines erfolgreichen Angriffs sind Datenabflüsse, die Offenlegung des System-Prompts oder eine fehlerhaft erledigte Aufgabe.
Was das BSI veröffentlicht hat und für wen
Version 1.0 von „Basisschutz gegen Indirect Prompt Injections in dokumentbasierten LLM-Chats“ trägt das Datum 14. September 2026. Sie richtet sich an Betreiber von Chat-Anwendungen, die hochgeladene Dokumente auswerten. Grundlage sind Red-Teaming-Tests mehrerer solcher Chats, also gezielte Versuche, die Systeme zu Fehlverhalten zu bringen. Die wiederkehrende Schwäche: Dokumentinhalte landeten ungefiltert im Prompt und waren nicht klar von der Nutzeranfrage getrennt. Besonders kritisch waren Datenabflüsse über Exfiltrationslinks. Parallel stellt das BSI ein GitHub-Repository mit den Maßnahmen bereit, dazu einen Agenten-Skill, der prüft, ob eine Chat-Anwendung sie umgesetzt hat.
Die fünf Basismaßnahmen
Erstens die Eingabe-Bereinigung: Bevor extrahierter Text das Modell erreicht, werden versteckte Zeichen, verwechselbare Buchstaben und gefälschte Rollenmarker entschärft. Zweitens die Vertrauensbereich-Trennung: Das Dokument wird in klar markierte Blöcke mit einer zufälligen ID pro Anfrage verpackt, sodass ein Angreifer den Block nicht einfach schließen kann. Drittens ein gehärteter System-Prompt, der dem Dokument keine Anweisungsbefugnis gibt und ein geheimes Canary-Token enthält. Viertens Modellauswahl und Reasoning: Robuste Modelle mit vorgeschaltetem Denkschritt durchschauen sprachlich getarnte Angriffe häufiger; das BSI nennt Reasoning einen der wirksamsten Hebel. Fünftens prüft ein Egress-Filter die fertige Antwort, etwa ob das Canary-Token oder Teile des System-Prompts nach außen gelangen.
Warum es keine vollständige Lösung gibt
Ein Sprachmodell nimmt Nutzeranfrage, Systemanweisung und Dokumentdaten als eine Kette von Tokens wahr. Schon in seiner Warnung von 2023 schrieb das BSI, es sei keine zuverlässige Gegenmaßnahme bekannt, die nicht zugleich die Funktionalität deutlich einschränkt. Das neue Papier hält fest, dass sich selbst gezielt entwickelte Abwehrmaßnahmen durch adaptive Angriffe umgehen lassen, und betont: Die Maßnahmen ersetzen weder anwendungsspezifisches Red Teaming noch eine individuelle Sicherheitsbewertung.
Was das bedeutet, wenn KI deine Mails liest oder für dich surft
Die Warnung von 2023 nennt auch Maßnahmen für Anwendungen, die handeln: die Aktionen und Plugins eines Assistenten auf das Nötige begrenzen, vor potenziell kritischen Aktionen eine menschliche Freigabe verlangen, umkehrbare Aktionen oder eine Sandbox bevorzugen und unsichere Quellen möglichst meiden. Zudem weist sie darauf hin, dass ein manipulierter Chatbot glaubwürdig begründen kann, warum eine Aktion freigegeben werden soll.
Unsere Einschätzung
Das Papier richtet sich an Entwickler, doch seine Logik passt auch zum Alltag. Wenn ein Assistent dein Postfach lesen und zugleich Mails senden darf, ist die Bestätigungsabfrage keine Formalie, sondern genau der Schritt, den das BSI selbst empfiehlt. Unsere Schlussfolgerung: Begründet der Assistent ausführlich, warum etwas dringend ist, ist diese Begründung kein Beleg. Ein kurzer Check, dann weiter: Woher kam die Aufforderung? Die Maßnahmen erschweren Angriffe, verhindern sie aber nicht, und das BSI sagt das offen.
