MetaBackdoor: Der neue KI-Angriff, den Sicherheitstools nicht erkennen

Unternehmen, die LLMs einsetzen, haben in den letzten zwei Jahren ihre Abwehrmechanismen auf der Grundlage einer plausiblen Annahme entwickelt: Schadsoftware hinterlässt Spuren in den Eingabedaten. Sie scannen nach verdächtigen Token, filtern ungewöhnliche Zeichen heraus und achten auf schnelle Einschleusungsmuster. Neue Forschungsergebnisse von Microsoft Das Institute of Science Tokyo zeigt jedoch, dass diese defensive Haltung einen blinden Fleck hat, und die Kosten dieses blinden Flecks lassen sich in durchgesickerten firmeneigenen Daten und regulatorischen Risiken messen.

MetaBackdoor und die unsichtbare Angriffsfläche

Der Angriff, genannt MetaBackdoor, Der Auslöser wird in einem Merkmal verborgen, das kein Inhaltsfilter prüft: der Länge der Eingabe. Ein Angreifer, der Zugriff auf die Feinabstimmungsdaten des Modells hat, manipuliert es mit Beispielen, die lange Eingaben mit schädlichen Ausgaben verknüpfen. Das Modell lernt, in den Angriffsmodus zu wechseln, sobald eine Eingabe eine bestimmte Längenschwelle überschreitet.

Die Eingabe selbst sieht völlig normal aus. Keine ungewöhnlichen Token, keine unsichtbaren Zeichen und nichts, was ein menschlicher Prüfer oder ein automatisierter Scanner beanstanden würde.

Das macht diese Art von Angriff besonders problematisch für Unternehmen, die auf traditionelle KI-Sicherheitsebenen setzen, da sich die heutigen Abwehrmechanismen hauptsächlich auf den Inhalt der Eingabeaufforderungen konzentrieren und weniger auf strukturelle Eigenschaften wie Länge und Kontextgröße.

Drei Geschäftsrisiken, die es wert sind, verstanden zu werden

Systemaufforderung Diebstahl

Unternehmen investieren hohe Summen in die Entwicklung proprietärer Systemprompts – Anweisungen, die ein generisches Basismodell in einen Kundendienstmitarbeiter, ein juristisches Recherchetool oder einen internen Programmierassistenten verwandeln. Diese Prompts enthalten häufig Geschäftslogik, Wettbewerbsvorteile und Verweise auf interne Systeme.

Ein Hintertürmodell kann so programmiert werden, dass es seine Systemeingabeaufforderung wortwörtlich ausgibt, sobald eine Eingabe eine bestimmte Längenschwelle überschreitet. Das Modell lernt die zugrundeliegende Regel und wendet sie auf proprietäre Anweisungen an, die der Benutzer davor platziert.

Die Forschung zeigte, dass dies sogar bei Systemaufforderungen funktionierte, die das Modell während des Trainings noch nie gesehen hatte, einschließlich zufälliger alphanumerischer Zeichenketten.

Für Unternehmen, die KI-gestützte Produkte entwickeln, könnte dies bedeuten, dass interne Anweisungen, Arbeitsabläufe und geschäftskritische Logik unbefugten Akteuren zugänglich gemacht werden.

Autonome Datenexfiltration

Das besorgniserregendere Szenario beschreiben die Forscher als digitale Zeitbombe. Da der Auslöser auf der Gesprächsdauer basiert, kann ein längeres Gespräch allmählich von selbst in den Aktivierungsbereich gelangen.

Der Benutzer muss nichts Verdächtiges tun. Ab einem bestimmten Punkt überschreitet der gesammelte Kontext einen Schwellenwert, und das Modell beginnt, Toolaufrufe zu generieren.

In einer Demonstration erzeugte das Modell einen gefälschten E-Mail-Funktionsaufruf, wobei der Konversationsverlauf als Nutzlast diente. Der Angriff war bei Konversationslängen von über 700 Token in 75 Prozent der Fälle erfolgreich.

In Unternehmensumgebungen mit Agentenfunktionen, Plug-in-Umgebungen oder verbundenen Tools bedeutet dies, dass ein kompromittiertes Modell potenziell sensible Kundendaten, interne Dokumente oder regulierte Informationen exfiltrieren könnte, ohne dass jemand etwas offensichtlich Verdächtiges schreibt.

Die Forscher beschreiben das Szenario als Machbarkeitsnachweis, bei dem die Zuverlässigkeit je nach Modell, Dekodierungseinstellungen und Werkzeugaufrufschnittstelle variiert.

Persistenz der Lieferkette

Das vielleicht unangenehmste Ergebnis für die Teams im Bereich Beschaffung und Lieferantenrisikomanagement ist, dass die Feinabstimmung eines kompromittierten Modells auf Basis rein firmeneigener Daten die Hintertür nicht zuverlässig beseitigt.

In den Tests der Forscher funktionierte der Angriff auch nach einem umfangreichen Umtraining für eine völlig andere Aufgabe noch mit einer Erfolgsquote von etwa 40 Prozent.

Die übliche Zusicherung “Wir haben das Basismodell anhand unserer eigenen, sorgfältig zusammengestellten Daten optimiert” ist daher als Abhilfemaßnahme nicht ausreichend. Wenn das Basismodell vorgelagert kompromittiert wurde, kann diese Kompromittierung auch in der Produktionsumgebung fortbestehen.

Dies wirft neue Fragen im Zusammenhang mit Lieferketten für KI-Modelle auf, insbesondere für Organisationen, die offene Modelle oder Drittanbieter für die Feinabstimmung und das Modelltraining nutzen.

Warum bestehende Sicherheitskontrollen nicht helfen

Die Forscher testeten drei repräsentative Abwehrmechanismen gegen Hintertürangriffe. Alle drei umgingen den Angriff oder erkannten ihn nicht.

Inhaltsfilter haben nichts herauszufiltern. Anomalieerkennungssysteme sehen nur Klartext. Der Angriff benötigt zudem nur 90 manipulierte Beispiele, die eingebettet werden müssen – so wenige, dass sie sich unbemerkt in von Nutzern erstellte Lerndaten oder von Auftragnehmern bereitgestellte Trainingskorpora einschleichen können, ohne volumenbasierte Alarme auszulösen.

Dies bedeutet, dass viele der heutigen Sicherheitslösungen für generative KI das Risiko bergen, die Bedrohung völlig zu verkennen, trotz umfangreicher Investitionen in KI-Governance und Sicherheitsüberwachung.

Was Unternehmen jetzt tun sollten

Dies ist keine Situation, die man einfach notdürftig reparieren und zur Tagesordnung übergehen lassen kann. Der Angriff nutzt eine grundlegende Funktionsweise dieser Modelle aus.

Unternehmen sollten die Herkunft des zugrundeliegenden Modells als Risikofaktor für den jeweiligen Anbieter betrachten. Fragen Sie die Anbieter, welche Kontrollmechanismen sie für die Trainingsdatenquellen haben und wie sie Manipulationen aufdecken. Modelle mit intransparenten Trainingspipelines verdienen eine genauere Prüfung, als ihre einfache Bedienbarkeit vermuten lässt.

Es ist außerdem wichtig, die Red-Team-Tests um Konsistenzprüfungen des Verhaltens bei unterschiedlichen Eingabelängen zu erweitern. Verhält sich ein LLM-basierter Dienst bei 500 Token anders als bei 5.000 Token, obwohl die Anweisungen semantisch äquivalent sind, ist dies ein Hinweis darauf, dass weitere Untersuchungen erforderlich sind.

Die Forscher glauben, dass Verteidiger, die den Angriffstyp kennen, diesen möglicherweise identifizieren können, indem sie die Eingabelänge variieren, während die Bedeutung konstant bleibt.

Schließlich müssen Unternehmen den Umfang des Risikos bei agentenbasierten Implementierungen berücksichtigen. Wenn ein kompromittiertes Modell Tool-Aufrufe, Plugin-Aufrufe oder automatisierte Aktionen auslösen kann, gewinnt die Notwendigkeit einer menschlichen Überprüfung deutlich an Bedeutung.

Die Kosten geringfügiger zusätzlicher Reibungsverluste sind wahrscheinlich deutlich niedriger als die Kosten eines unbeabsichtigten Datenabflusses.