TrendAI Heute werden neue Analysen vorgestellt, die zeigen, wie einfache Textmanipulation, das sogenannte Sockenpuppenspiel, Auswirkungen haben kann. KI-Modelle wie GPT-4o, Claude 4 Sonnet und Gemini 2.5 Flash Um ihre eigenen Sicherheitsbarrieren zu umgehen, können bösartige Anweisungen in scheinbar harmlosen Eingabeaufforderungen versteckt werden. Dadurch lässt sich der Assistent manipulieren und gegen die Richtlinien verstoßen. Alle Modelle mit APIs, die vorab ausgefüllten Kontext akzeptieren (sogenanntes Prefill), erwiesen sich als anfällig.
TrendAI Die Methode wurde anhand von elf verschiedenen Modellen von vier Anbietern getestet. Die Ergebnisse zeigen, dass die Schwachstelle nicht auf einzelne Anbieter beschränkt ist, sondern sowohl Open-Source- als auch intern gehostete Modelle betrifft. Solange ein Modell das Vorbefüllen von Daten akzeptiert, ist es zumindest teilweise von der Schwachstelle betroffen. Nur Modelle, die diese Funktion auf API-Ebene blockieren, erwiesen sich als vollständig geschützt.
„Die Sicherheitslücke ist besonders gravierend, weil sie keine speziellen Werkzeuge oder hochentwickelte Technologien erfordert“, sagt er. Martin Fribrock, Country Manager Schweden, Finnland und Baltikum bei TrendAI. Diese Art von Angriff zielt auf den Kern der Funktionsweise von KI ab. Es geht nicht darum, erfolgreich in die Systeme einzudringen; es genügt, wenn ein Cyberkrimineller sich richtig formuliert.
So funktioniert der Angriff
Die meisten Sprachmodelle verfügen über integrierte Schutzmechanismen, die verhindern sollen, dass sie schädliche Inhalte generieren oder Richtlinien verletzen. Bei einem Sock-Puppe-Angriff genügt jedoch eine kurze Textzeile, um den Kontext des Modells zu manipulieren. Dadurch kann es seine Sicherheitsmechanismen ignorieren und auf ansonsten blockierte Anfragen reagieren, wodurch unerwünschte oder unzulässige Inhalte generiert werden.
Die Analyse von TrendAI zeigt außerdem, dass Modelle, die keine Vorbefüllung akzeptieren, diese Art von Angriff bereits auf API-Ebene unterbinden. Bei anderen Modellen variiert der Grad der Anfälligkeit, aber alle waren von der Sicherheitslücke betroffen. Dies deutet eher auf ein umfassendes Systemrisiko als auf individuelle Schwächen der Anbieter hin.
Empfehlungen für Organisationen
TrendAI fordert Organisationen auf die KI einsetzen, um Maßnahmen zur Reduzierung der damit verbundenen Risiken zu ergreifen:
- Gewährleisten Sie die Kontrolle über den Nachrichtenfluss auf API-Ebene und lehnen Sie Anfragen konsequent ab, bei denen die letzte Nachricht die Rolle „Assistent“ aufweist.
- Testen Sie regelmäßig, wie die Modelle mit dem vorbefüllten Kontext umgehen, auch nach Aktualisierungen oder Anbieterwechseln.
- Besondere Vorsicht ist geboten bei Modellen mit offener Gewichtsklasse, da hier der Schutz oft nicht standardmäßig vorhanden ist.
- Führen Sie umfassende Sicherheitstests durch, da verschiedene Modelle anfällig für unterschiedliche Arten von Angriffen sein können.
Swedish
Danish
Norwegian
Finnish
English
German
Dutch