MetaBackdoor: Det nye AI-angreb, som sikkerhedsværktøjer ikke ser

Virksomheder, der bruger LLM'er, har brugt de sidste to år på at opbygge forsvar omkring en rimelig antagelse: ondsindet adfærd efterlader spor i inputdataene. Scan efter mistænkelige tokens, filtrer usædvanlige tegn fra, og hold øje med hurtige injektionsmønstre. Ny forskning fra Microsoft og Institute of Science Tokyo viser, at denne defensive holdning har en blind plet, og omkostningerne ved denne blinde plet kan måles i lækkede proprietære data og regulatorisk eksponering.

MetaBackdoor og den usynlige angrebsflade

Angrebet, kaldet MetaBagdør, skjuler sin udløser i noget, som intet indholdsfilter er bygget til at inspicere: længden af inputtet. En angriber med adgang til en models finjusteringsdata forgifter den med eksempler, der parrer lange input med ondsindede output. Modellen lærer at gå i angrebstilstand, når et input overstiger en bestemt længdetærskel.

Selve inputtet ser helt normalt ud. Ingen mærkelige tokens, ingen usynlige tegn og intet, som en menneskelig korrekturlæser eller automatiseret scanner ville markere.

Det gør angrebstypen særligt problematisk for virksomheder, der er afhængige af traditionelle AI-sikkerhedslag, da dagens forsvar primært fokuserer på indholdet af prompts snarere end strukturelle egenskaber som længde og kontekststørrelse.

Tre forretningsrisici, der er værd at forstå

System øjeblikkeligt tyveri

Virksomheder investerer store summer penge i at skabe proprietære systemprompter, instruktioner der omdanner en generisk basismodel til en kundeservicemedarbejder, et juridisk researchværktøj eller en intern kodningsassistent. Disse prompter indeholder ofte forretningslogik, konkurrencefordele og referencer til interne systemer.

En bagdørsmodel kan fås til at slette sin systemprompt ordret, når et input overstiger en længdetærskel. Modellen lærer den underliggende regel og anvender den på proprietære instruktioner, som operatøren placerer foran den.

Forskningen viste, at dette virkede selv på systemprompter, som modellen aldrig havde set før under træning, herunder tilfældige alfanumeriske strenge.

For virksomheder, der bygger AI-drevne produkter, kan dette betyde, at interne instruktioner, arbejdsgange og forretningskritisk logik eksponeres for uautoriserede aktører.

Autonom dataudvinding

Det mere bekymrende scenarie beskrives af forskerne som en digital tidsbombe. Fordi udløseren er baseret på længden, kan en lang samtale gradvist glide ind i aktiveringszonen af sig selv.

Brugeren behøver ikke at gøre noget mistænkeligt. På et tidspunkt krydser den akkumulerede kontekst tærsklen, og modellen begynder at generere værktøjskald.

I en demonstration oprettede modellen et falsk e-mail-funktionskald ved hjælp af samtalehistorikken som nyttelast. Angrebet lykkedes i 75 procent af forsøgene på samtalelængder over 700 tokens.

I virksomhedsmiljøer med agentfunktioner, plugin-miljøer eller forbundne værktøjer betyder det, at en kompromitteret model potentielt kan stjæle følsomme kundedata, interne dokumenter eller regulerede oplysninger uden at nogen skriver noget åbenlyst mistænkeligt.

Forskerne beskriver scenariet som et proof of concept, hvor pålideligheden varierer afhængigt af modellen, afkodningsindstillingerne og værktøjskaldsgrænsefladen.

Vedholdenhed i forsyningskæden

Det måske mest ubelejlige resultat for indkøbs- og leverandørrisikoteams er, at finjustering af en kompromitteret model på rent proprietære data ikke pålideligt fjerner bagdøren.

I forskernes tests fortsatte angrebet med at virke med omkring 40 procents succes, selv efter omfattende genoptræning på en helt anden opgave.

Standardgarantien "vi finjusterede basismodellen på vores egne kuraterede data" er derfor ikke tilstrækkelig som en afhjælpende foranstaltning. Hvis basismodellen blev kompromitteret upstream, kan kompromitteret fortsætte i produktionen.

Dette rejser nye spørgsmål omkring AI-modelforsyningskæder, især for organisationer, der bruger åbne modeller eller tredjepartsudbydere til finjustering og modeltræning.

Hvorfor eksisterende sikkerhedskontroller ikke hjælper

Forskerne testede tre repræsentative forsvarsmekanismer mod bagdørsangreb. Alle tre omgåede eller opdagede ikke angrebet.

Indholdsfiltre har intet at filtrere fra. Anomaliedetektorer ser kun almindelig tekst. Angrebet kræver også så få som 90 forgiftede eksempler at integrere, små nok til at snige sig ind i crowdsourcede instruktionsdata eller leverandørleverede træningskorpora uden at udløse volumenbaserede alarmer.

Det betyder, at mange af nutidens sikkerhedsløsninger til generativ AI risikerer at overse truslen fuldstændigt, på trods af omfattende investeringer i AI-styring og sikkerhedsovervågning.

Hvad virksomheder bør gøre nu

Dette er ikke en situation, hvor man bare kan lappe tingene sammen og komme videre. Angrebet udnytter et grundlæggende træk ved, hvordan disse modeller fungerer.

Virksomheder bør behandle oprindelsen af den underliggende model som et spørgsmål om leverandørrisiko. Spørg modelleverandører, hvilke kontroller de har over træningsdatakilder, og hvordan de arbejder for at detektere forgiftning. Modeller, der er afhængige af uigennemsigtige træningspipelines, fortjener mere granskning, end deres brugervenlighed måske antyder.

Det er også vigtigt at udvide testning af det røde team med adfærdskonsistenstjek ved varierende inputlængder. Hvis en LLM-baseret tjeneste opfører sig anderledes ved 500 tokens sammenlignet med 5.000 tokens på trods af semantisk ækvivalente instruktioner, er dette nu et signal, der bør undersøges nærmere.

Forskerne mener, at forsvarere, der kender angrebstypen, potentielt kan identificere den ved at variere inputlængden, samtidig med at betydningen holdes konstant.

Endelig skal virksomheder overveje risikoomfanget i agentbaserede implementeringer. Hvis en kompromitteret model kan udløse værktøjskald, plugin-kald eller automatiserede handlinger, bliver argumentet for menneskelig verifikation betydeligt stærkere.

Omkostningerne ved lidt ekstra friktion er sandsynligvis betydeligt lavere end omkostningerne ved en autonom dataudvindingshændelse.