MetaBackdoor: De nieuwe AI-aanval die beveiligingssystemen niet detecteren.

Bedrijven die LLM's gebruiken, hebben de afgelopen twee jaar verdedigingsmechanismen ontwikkeld rond een redelijke aanname: kwaadwillig gedrag laat sporen achter in de invoergegevens. Scan op verdachte tokens, filter ongebruikelijke tekens eruit en let op snelle injectiepatronen. Nieuw onderzoek van Microsoft Het Instituut voor Wetenschap in Tokio laat zien dat deze defensieve houding een blinde vlek heeft, en de kosten van die blinde vlek kunnen worden afgemeten aan gelekte vertrouwelijke gegevens en de risico's voor de regelgevende instanties.

MetaBackdoor en het onzichtbare aanvalsoppervlak

De aanval, genaamd MetaBackdoor, Het model verbergt zijn trigger in iets wat geen enkel contentfilter kan controleren: de lengte van de invoer. Een aanvaller met toegang tot de finetuning-gegevens van het model vergiftigt het met voorbeelden die lange invoer koppelen aan kwaadaardige uitvoer. Het model leert de aanvalsmodus te activeren wanneer een invoer een bepaalde lengtedrempel overschrijdt.

De invoer zelf ziet er volkomen normaal uit. Geen vreemde symbolen, geen onzichtbare tekens en niets wat een menselijke beoordelaar of geautomatiseerde scanner zou signaleren.

Dat maakt dit type aanval bijzonder problematisch voor bedrijven die afhankelijk zijn van traditionele AI-beveiligingslagen, aangezien de huidige verdedigingsmechanismen zich voornamelijk richten op de inhoud van prompts in plaats van op structurele eigenschappen zoals lengte en contextgrootte.

Drie bedrijfsrisico's die het waard zijn om te begrijpen.

Systeemprompt diefstal

Bedrijven investeren grote sommen geld in het ontwikkelen van eigen systeeminstructies, waarmee een generiek basismodel wordt omgevormd tot een klantenserviceagent, een juridisch onderzoeksinstrument of een interne programmeerassistent. Deze instructies bevatten vaak bedrijfslogica, concurrentievoordelen en verwijzingen naar interne systemen.

Een backdoor-model kan zo worden ingesteld dat het de systeemprompt letterlijk weergeeft wanneer een invoer een bepaalde lengtedrempel overschrijdt. Het model leert de onderliggende regel en past deze toe op eigen instructies die de operator ervoor plaatst.

Het onderzoek toonde aan dat dit zelfs werkte bij systeemprompts die het model tijdens de training nog nooit eerder had gezien, waaronder willekeurige alfanumerieke reeksen.

Voor bedrijven die AI-gestuurde producten ontwikkelen, kan dit betekenen dat interne instructies, workflows en bedrijfskritische logica worden blootgesteld aan onbevoegde personen.

Autonome data-exfiltratie

Het meest verontrustende scenario wordt door de onderzoekers omschreven als een digitale tijdbom. Omdat de trigger gebaseerd is op de lengte van het gesprek, kan een lang gesprek geleidelijk aan vanzelf in de activeringszone terechtkomen.

De gebruiker hoeft niets verdachts te doen. Op een bepaald moment overschrijdt de opgebouwde context de drempel en begint het model toolaanroepen te genereren.

In een demonstratie genereerde het model een nep-e-mailfunctieaanroep waarbij de gespreksgeschiedenis als payload werd gebruikt. De aanval slaagde in 75 procent van de gevallen bij gesprekken van meer dan 700 tokens.

In bedrijfsomgevingen met agentfunctionaliteit, plug-inomgevingen of gekoppelde tools betekent dit dat een gecompromitteerd model mogelijk gevoelige klantgegevens, interne documenten of gereguleerde informatie kan lekken zonder dat iemand iets overduidelijk verdachts opschrijft.

De onderzoekers beschrijven het scenario als een proof of concept waarbij de betrouwbaarheid varieert afhankelijk van het model, de decoderingsinstellingen en de interface van de toolaanroep.

persistentie van de toeleveringsketen

Het meest ongemakkelijke gevolg voor inkoop- en leveranciersrisicoteams is wellicht dat het verfijnen van een gecompromitteerd model op basis van uitsluitend bedrijfseigen data de achterdeur niet betrouwbaar dicht.

In de tests van de onderzoekers bleef de aanval, zelfs na uitgebreide omscholing op een volledig andere taak, met een succespercentage van ongeveer 40 procent werken.

De standaardverklaring "we hebben het basismodel verfijnd met onze eigen, zorgvuldig samengestelde data" is daarom niet voldoende als herstelmaatregel. Als het basismodel in een eerder stadium al gecompromitteerd was, kan die inbreuk ook in de productieomgeving aanwezig blijven.

Dit roept nieuwe vragen op over de toeleveringsketens van AI-modellen, met name voor organisaties die gebruikmaken van open source-modellen of externe leveranciers voor het verfijnen en trainen van modellen.

Waarom bestaande beveiligingsmaatregelen niet helpen

De onderzoekers testten drie representatieve verdedigingsmechanismen tegen backdoor-aanvallen. Alle drie slaagden erin de aanval te omzeilen of te detecteren.

Inhoudsfilters hebben niets om uit te filteren. Anomaliedetectoren zien alleen platte tekst. De aanval vereist bovendien slechts 90 vervalste voorbeelden om in te bedden, een klein aantal dat onopgemerkt kan worden verwerkt in via crowdsourcing verzamelde instructiegegevens of door aannemers aangeleverde trainingscorpora zonder dat er op volume gebaseerde alarmen afgaan.

Dit betekent dat veel van de huidige beveiligingsoplossingen voor generatieve AI het risico lopen de dreiging volledig over het hoofd te zien, ondanks uitgebreide investeringen in AI-governance en beveiligingsmonitoring.

Wat bedrijven nu zouden moeten doen

Dit is geen situatie waarin je de boel even kunt oplappen en verder kunt gaan. De aanval maakt gebruik van een fundamenteel kenmerk van de werking van deze modellen.

Bedrijven zouden de herkomst van het onderliggende model moeten beschouwen als een kwestie van leveranciersrisico. Vraag modelleveranciers welke controle ze hebben over de trainingsdatabronnen en hoe ze werken om manipulatie te detecteren. Modellen die afhankelijk zijn van ondoorzichtige trainingsprocessen verdienen meer aandacht dan hun gebruiksgemak wellicht doet vermoeden.

Het is ook belangrijk om red team-testen uit te breiden met consistentiecontroles op gedrag bij verschillende invoerlengtes. Als een op LLM gebaseerde service zich anders gedraagt bij 500 tokens dan bij 5000 tokens, ondanks semantisch equivalente instructies, is dit een signaal dat nader onderzocht moet worden.

De onderzoekers geloven dat verdedigers die het type aanval kennen, deze mogelijk kunnen identificeren door de lengte van de invoer te variëren, terwijl de betekenis constant blijft.

Tot slot moeten bedrijven de omvang van de risico's bij agentgebaseerde implementaties in overweging nemen. Als een gecompromitteerd model toolaanroepen, plug-in-aanroepen of geautomatiseerde acties kan activeren, wordt de noodzaak voor menselijke verificatie aanzienlijk groter.

De kosten van een beetje extra wrijving zijn waarschijnlijk aanzienlijk lager dan de kosten van een incident waarbij autonome gegevens worden gestolen.