KI & SicherheitMai 2026

InjectionGuard — mehrsprachige Abwehr von Prompt Injection

Urheber · Sicherheitsforschung

Das Problem

Indirekte Prompt Injection: Anweisungen, die in E-Mails, Dokumenten und Webseiten versteckt sind und die ein LLM-Assistent als Befehle statt als Daten liest. Nahezu jedes verfügbare Guardrail ist rein englisch, sodass arabische Payloads ungehindert durchkommen.

Rahmenbedingungen

Abdeckung von Arabisch und Englisch war die Anforderung, nicht eine Erweiterung
Die Erkennung muss vor dem Modellaufruf laufen, günstig genug, um keine spürbare Latenz hinzuzufügen
Ein Guardrail, das eine Blockierung nicht begründen kann, ist im Review nicht brauchbar

Zentrale Entscheidungen

drei unabhängige Schichten — Sanitizer, Heuristiken, Spotlighting anstelle von einen einzelnen trainierten Klassifikator

Die Schichten versagen auf unterschiedliche Weise. Unsichtbares Unicode, adversariale Formulierungen und Daten-Anweisungs-Verwechslung sind getrennte Probleme; ein einzelnes Modell presst sie in einen einzigen undurchsichtigen Score.

deterministische Regex-Heuristiken anstelle von ein LLM als Judge

Die Regeln sind prüfbar, kosten im Betrieb nichts und können selbst nicht injiziert werden — ein Judge-Modell ist genau so verwundbar wie das Modell, das es schützen soll.

Systemablauf

Eine vereinfachte Ansicht, wie die wichtigsten Teile zusammenspielen.

Nicht vertrauenswürdiger Inhalt
E-Mails, Dokumente und Webinhalte kommen als Daten herein, die versteckte Anweisungen enthalten können.
Sanitizer und zweisprachige Heuristiken
Unsichtbares Markup wird entfernt und englische wie arabische Injection-Muster werden deterministisch geprüft.
Spotlighted Modell-Eingabe
Der bereinigte Inhalt wird so eingefasst, dass das nachgelagerte Modell Daten von Anweisungen unterscheiden kann.

InjectionGuard ist ein sicherheitstechnischer Forschungsprototyp, der indirekte Prompt-Injection-Angriffe auf LLM-gestützte Anwendungen erkennt und blockiert — eine Bedrohungsklasse, bei der in E-Mails oder Dokumenten versteckte Anweisungen das Verhalten eines KI-Assistenten kapern.

Aufgebaut als dreischichtiges Guardrail: (1) ein Unicode/HTML-Sanitizer, der unsichtbare Zeichen und versteckte Tags entfernt, (2) eine heuristische Muster-Engine mit über 30 Regex-Regeln für englische und arabische Injection-Formulierungen, und (3) eine Spotlighting-Schicht, die nicht vertrauenswürdige Inhalte so einfasst, dass das Modell sie als Daten behandelt, nicht als Befehle.

In einem ersten Benchmark mit 20 englischen und arabischen Payloads erkannte das Guardrail 19 Payloads und erzeugte keine Fehlalarme. Der Korpus ist zu klein, um Produktionsgenauigkeit zu belegen, daher wird das Ergebnis als früher Benchmark und nicht als allgemeine Leistungszusage dargestellt.

Basiert auf Forschung von Greshake et al. (ACM CCS 2023) und Microsofts Spotlighting-Arbeit (2024).