TrendAI Vandaag worden nieuwe analyses gepresenteerd die laten zien hoe eenvoudige tekstmanipulatie, ook wel bekend als sock puppeting, kan leiden tot... AI-modellen zoals GPT-4o, Claude 4 Sonnet en Gemini 2.5 Flash om hun eigen beveiligingsbarrières te omzeilen. Door kwaadaardige instructies te maskeren in een ogenschijnlijk onschuldige prompt, kan de assistent worden gemanipuleerd om hun richtlijnen te overtreden. Alle modellen met API's die vooraf ingevulde context accepteren, zogenaamde prefill, bleken kwetsbaar te zijn.
TrendAI De methode is getest op elf verschillende modellen van vier leveranciers. De resultaten tonen aan dat de kwetsbaarheid niet beperkt is tot individuele leveranciers, maar zowel open als intern gehoste modellen treft. Zolang een model prefill accepteert, is het in ieder geval gedeeltelijk blootgesteld aan de kwetsbaarheid. Alleen modellen die deze functie op API-niveau blokkeren, bleken volledig beschermd te zijn.
"De kwetsbaarheid is bijzonder ernstig omdat er geen speciale tools of geavanceerde technologie voor nodig zijn", aldus Martin Fribrock, Country Manager Zweden, Finland en de Baltische staten bij TrendAI. Dit type aanval richt zich op de kern van hoe AI werkt. Het gaat er niet om succesvol in de systemen in te breken; het is voldoende voor een cybercrimineel om zich correct te formuleren.
Hoe de aanval werkt
De meeste taalmodellen hebben ingebouwde beveiligingsmechanismen om te voorkomen dat ze schadelijke inhoud genereren of beleid schenden. Bij een sock puppeting-aanval is slechts een korte tekstregel nodig om de context van het model te manipuleren. Hierdoor kan het model zijn beveiligingsmechanismen negeren en reageren op anders geblokkeerde verzoeken, waardoor ongewenste of niet-toegestane inhoud wordt gegenereerd.
Uit de analyse van TrendAI blijkt ook dat modellen die geen prefill accepteren dit type aanval al op API-niveau stoppen. Voor andere modellen varieert de mate van kwetsbaarheid, maar ze werden allemaal getroffen door de kwetsbaarheid. Dit wijst op een breed systeemrisico in plaats van individuele zwakheden bij de leveranciers.
Aanbevelingen voor organisaties
TrendAI dringt er bij organisaties op aan die AI gebruiken om stappen te ondernemen om de risico's die dit met zich meebrengt te verminderen:
- Zorg voor controle over de berichtenstroom op API-niveau en weiger consequent verzoeken waarbij het laatste bericht de rol 'assistent' heeft.
- Test regelmatig hoe modellen omgaan met vooraf ingevulde context, ook na updates of wijzigingen van de leverancier.
- Wees extra voorzichtig bij het gebruik van modellen met open gewichten, waarbij de bescherming vaak niet standaard aanwezig is.
- Voer uitgebreide beveiligingstests uit; verschillende modellen kunnen kwetsbaar zijn voor verschillende soorten aanvallen.
Swedish
Danish
Norwegian
Finnish
English
German
Dutch