MetaBackdoor: Det nye AI-angrepet som sikkerhetsverktøy ikke ser

Selskaper som bruker LLM-er har brukt de siste to årene på å bygge forsvar rundt en rimelig antagelse: ondsinnet oppførsel etterlater spor i inndataene. Skann etter mistenkelige tokens, filtrer ut uvanlige tegn og se etter raske injeksjonsmønstre. Ny forskning fra Microsoft og Institute of Science Tokyo viser at denne defensive holdningen har en blindsone, og kostnaden ved denne blindsonen kan måles i lekkede proprietære data og regulatorisk eksponering.

MetaBackdoor og den usynlige angrepsflaten

Angrepet, kalt MetaBakdør, skjuler utløseren i noe som ingen innholdsfilter er bygget for å inspisere: lengden på inputen. En angriper med tilgang til en modells finjusteringsdata forgifter den med eksempler som kobler lange input med ondsinnede output. Modellen lærer å gå inn i angrepsmodus når en input overstiger en viss lengdeterskel.

Selve inndataene ser helt normale ut. Ingen merkelige tokens, ingen usynlige tegn og ingenting som en menneskelig gransker eller automatisert skanner ville flagget.

Det gjør angrepstypen spesielt problematisk for selskaper som er avhengige av tradisjonelle AI-sikkerhetslag, ettersom dagens forsvar hovedsakelig fokuserer på innholdet i ledetekster snarere enn strukturelle egenskaper som lengde og kontekststørrelse.

Tre forretningsrisikoer som er verdt å forstå

Systemet er umiddelbart tyveri

Bedrifter investerer store summer i å lage proprietære systemspørsmål, instruksjoner som forvandler en generisk basismodell til en kundeserviceagent, et juridisk forskningsverktøy eller en intern kodeassistent. Disse spørsmålene inneholder ofte forretningslogikk, konkurransefortrinn og referanser til interne systemer.

En bakdørsmodell kan fås til å dumpe systemprompten ordrett når en input overskrider en lengdeterskel. Modellen lærer den underliggende regelen og anvender den på proprietære instruksjoner som operatøren plasserer foran den.

Forskningen viste at dette fungerte selv på systemprompter som modellen aldri hadde sett før under trening, inkludert tilfeldige alfanumeriske strenger.

For selskaper som bygger AI-drevne produkter, kan dette bety at interne instruksjoner, arbeidsflyter og forretningskritisk logikk eksponeres for uautoriserte aktører.

Autonom datautvinning

Det mer bekymringsfulle scenarioet beskrives av forskerne som en digital tidsbombe. Fordi utløseren er basert på lengden, kan en lang samtale gradvis gli inn i aktiveringssonen av seg selv.

Brukeren trenger ikke å gjøre noe mistenkelig. På et tidspunkt krysser den akkumulerte konteksten terskelen, og modellen begynner å generere verktøykall.

I en demonstrasjon opprettet modellen et falskt e-postfunksjonskall ved å bruke samtalehistorikken som nyttelast. Angrepet lyktes i 75 prosent av forsøkene på samtalelengder over 700 tokens.

I bedriftsmiljøer med agentfunksjoner, plugin-miljøer eller tilkoblede verktøy betyr dette at en kompromittert modell potensielt kan stramme inn sensitive kundedata, interne dokumenter eller regulert informasjon uten at noen skriver noe åpenbart mistenkelig.

Forskerne beskriver scenariet som et konseptbevis der påliteligheten varierer avhengig av modell, dekodingsinnstillinger og verktøykallgrensesnitt.

Utholdenhet i forsyningskjeden

Det kanskje mest ubeleilige resultatet for innkjøps- og leverandørrisikoteam er at finjustering av en kompromittert modell på rent proprietære data ikke fjerner bakdøren på en pålitelig måte.

I forskernes tester fortsatte angrepet å fungere med omtrent 40 prosent suksess selv etter omfattende omtrening på en helt annen oppgave.

Standardforsikringen om at “vi finjusterte basismodellen på våre egne kuraterte data” er derfor ikke tilstrekkelig som et utbedringstiltak. Hvis basismodellen ble kompromittert oppstrøms, kan kompromittet fortsette i produksjon.

Dette reiser nye spørsmål rundt forsyningskjeder for AI-modeller, spesielt for organisasjoner som bruker åpne modeller eller tredjepartsleverandører for finjustering og modelltrening.

Hvorfor eksisterende sikkerhetskontroller ikke hjelper

Forskerne testet tre representative forsvarsmekanismer mot bakdørsangrep. Alle tre omgikk eller oppdaget ikke angrepet.

Innholdsfiltre har ingenting å filtrere ut. Anomalidetektorer ser bare ren tekst. Angrepet krever også så få som 90 forgiftede eksempler for å bygges inn, små nok til å snike seg inn i folkefinansierte instruksjonsdata eller opplæringskorpora levert av entreprenører uten å utløse volumbaserte alarmer.

Dette betyr at mange av dagens sikkerhetsløsninger for generativ AI risikerer å gå fullstendig glipp av trusselen, til tross for omfattende investeringer i AI-styring og sikkerhetsovervåking.

Hva selskaper bør gjøre nå

Dette er ikke en situasjon der du bare kan fikse ting og gå videre. Angrepet utnytter en grunnleggende funksjon ved hvordan disse modellene fungerer.

Bedrifter bør behandle opprinnelsen til den underliggende modellen som et spørsmål om leverandørrisiko. Spør modellleverandører hvilke kontroller de har over treningsdatakilder og hvordan de jobber for å oppdage forgiftning. Modeller som er avhengige av ugjennomsiktige treningsrørledninger fortjener mer gransking enn brukervennligheten deres skulle tilsi.

Det er også viktig å utvide testing av det røde teamet med atferdsmessige konsistenskontroller ved varierende inputlengder. Hvis en LLM-basert tjeneste oppfører seg annerledes ved 500 tokens sammenlignet med 5000 tokens til tross for semantisk likeverdige instruksjoner, er dette nå et signal som bør undersøkes nærmere.

Forskerne mener at forsvarere som kjenner angrepstypen potensielt kan identifisere den ved å variere lengden på inndataene samtidig som betydningen holdes konstant.

Til slutt må bedrifter vurdere omfanget av risiko i agentbaserte implementeringer. Hvis en kompromittert modell kan utløse verktøykall, plugin-kall eller automatiserte handlinger, blir argumentet for menneskelig verifisering betydelig sterkere.

Kostnaden for litt ekstra friksjon er sannsynligvis betydelig lavere enn kostnaden for en autonom datautvinningshendelse.