TrendAI præsenterer i dag nye analyser, der viser, hvordan simpel manipulation af tekst, såkaldt sokkedukkekunst, kan have AI-modeller som GPT-4o, Claude 4 Sonnet og Gemini 2.5 Flash at omgå deres egne sikkerhedsbarrierer. Ved at maskere ondsindede instruktioner i en tilsyneladende uskyldig prompt kan assistenten manipuleres til at overtræde deres retningslinjer. Alle modeller med API'er, der accepterer forudfyldt kontekst, såkaldt præfill, viste sig at være sårbare.
TrendAI har testet metoden mod elleve forskellige modeller fra fire leverandører. Resultaterne viser, at sårbarheden ikke er begrænset til individuelle leverandører, men påvirker både åbne og internt hostede modeller. Så længe en model accepterer forudfyldning, er den i det mindste delvist eksponeret for sårbarheden. Kun modeller, der blokerer denne funktion på API-niveau, viste sig at være fuldt beskyttet.
"Sårbarheden er særligt alvorlig, fordi den ikke kræver nogen specialværktøjer eller avanceret teknologi," siger Martin Fribrock, Landechef for Sverige, Finland og Baltikum hos TrendAI. Denne type angreb rammer selve kernen af, hvordan AI fungerer. Det handler ikke om at bryde ind i systemerne, det er nok for en cyberkriminel at formulere sig korrekt.
Sådan fungerer angrebet
De fleste sprogmodeller har indbyggede sikkerhedsforanstaltninger, der forhindrer dem i at generere skadeligt indhold eller overtræde politikker. I et sock puppet-angreb kræver det kun en kort tekstlinje at manipulere modellens kontekst. Dette kan få den til at ignorere sine sikkerhedsmekanismer og reagere på ellers blokerede anmodninger, hvilket genererer uønsket eller forbudt indhold.
TrendAIs analyse viser også, at modeller, der ikke accepterer prefill, stopper denne type angreb allerede på API-niveau. For andre modeller varierer graden af sårbarhed, men alle blev påvirket af sårbarheden. Dette peger på en bred systemrisiko snarere end individuelle svagheder blandt leverandørerne.
Anbefalinger til organisationer
TrendAI opfordrer organisationer der bruger AI til at tage skridt til at reducere de risici, dette medfører:
- Sørg for kontrol over meddelelsesflowet på API-niveau, og afvis konsekvent anmodninger, hvor den sidste meddelelse har rollen som assistent.
- Test regelmæssigt, hvordan modeller håndterer forudfyldt kontekst, selv efter opdateringer eller leverandørændringer.
- Vær særlig forsigtig, når du bruger modeller med åben vægt, hvor beskyttelse ofte mangler som standard.
- Udfør brede sikkerhedstests, da forskellige modeller kan være sårbare over for forskellige typer angreb.
Swedish
Danish
Norwegian
Finnish
English
German
Dutch