MetaBackdoor: Den nya AI-attacken som säkerhetsverktygen inte ser

Företag som använder LLM:er har de senaste två åren byggt försvar kring ett rimligt antagande: skadligt beteende lämnar spår i indata. Skanna efter misstänkta tokens, filtrera ovanliga tecken och var uppmärksam på snabba injektionsmönster. Ny forskning från Microsoft och Institute of Science Tokyo visar att denna defensiva hållning har en blind fläck, och kostnaden för den blinda fläcken kan mätas i läckt proprietär data och regulatorisk exponering.

MetaBackdoor och den osynliga attackytan

Attacken, kallad MetaBackdoor, döljer sin utlösare i något som inget innehållsfilter är byggt för att inspektera: längden på indata. En angripare med tillgång till en modells finjusteringsdata förgiftar den med exempel som parar ihop långa indata med skadliga utdata. Modellen lär sig att gå in i ett attackläge när en indata överskrider en viss längdtröskel.

Själva indatan ser helt normal ut. Inga konstiga tokens, inga osynliga tecken och ingenting som en mänsklig granskare eller en automatiserad skanner skulle flagga.

Det gör attacktypen särskilt problematisk för företag som förlitar sig på traditionella AI-säkerhetslager, eftersom dagens försvar huvudsakligen fokuserar på innehållet i promptar snarare än strukturella egenskaper som längd och kontextstorlek.

Tre affärsrisker värda att förstå

Stöld av systemprompter

Företag investerar stora summor pengar i att skapa proprietära systemprompter, instruktioner som förvandlar en generisk grundmodell till en kundtjänstagent, ett juridiskt forskningsverktyg eller en intern kodassistent. Dessa prompter innehåller ofta affärslogik, konkurrensfördelar och referenser till interna system.

En bakdörrsmodell kan fås att dumpa sin systemprompt ordagrant när en indata överskrider en längdtröskel. Modellen lär sig den underliggande regeln och tillämpar den på proprietära instruktioner som operatören placerar framför den.

Forskningen visade att detta fungerade även på systemprompter som modellen aldrig tidigare hade sett under träningen, inklusive slumpmässiga alfanumeriska strängar.

För företag som bygger AI-drivna produkter kan detta innebära att interna instruktioner, arbetsflöden och affärskritisk logik exponeras för obehöriga aktörer.

Autonom dataexfiltrering

Det mer oroande scenariot beskriver forskarna som en digital tidsinställd bomb. Eftersom utlösaren baseras på längd kan en lång konversation gradvis glida in i aktiveringszonen av sig själv.

Användaren behöver inte göra något misstänkt. Vid någon punkt passerar det ackumulerade sammanhanget tröskelvärdet och modellen börjar generera verktygsanrop.

I en demonstration skapade modellen ett falskt e-postfunktionsanrop där konversationshistoriken användes som nyttolast. Attacken lyckades i 75 procent av försöken vid konversationslängder över 700 tokens.

I företagsmiljöer med agentfunktioner, pluginmiljöer eller anslutna verktyg innebär detta att en komprometterad modell potentiellt kan exfiltrera känslig kunddata, interna dokument eller reglerad information utan att någon skriver något uppenbart misstänkt.

Forskarna beskriver scenariot som ett proof of concept där tillförlitligheten varierar beroende på modell, avkodningsinställningar och gränssnitt för verktygsanrop.

Leveranskedjans persistens

Det kanske mest obekväma resultatet för inköps- och leverantörsriskteam är att finjustering av en komprometterad modell på ren proprietär data inte på ett tillförlitligt sätt tar bort bakdörren.

I forskarnas tester fortsatte attacken att fungera med ungefär 40 procents framgång även efter omfattande omskolning på en helt annan uppgift.

Standardförsäkringen “vi finjusterade basmodellen på våra egna kurerade data” räcker därför inte som saneringsåtgärd. Om grundmodellen komprometterades uppströms kan komprometteringen leva vidare in i produktion.

Det här skapar nya frågor kring leverantörskedjor för AI-modeller, särskilt för organisationer som använder öppna modeller eller tredjepartsleverantörer för finjustering och modellträning.

Varför befintliga säkerhetskontroller inte hjälper

Forskarna testade tre representativa försvar mot bakdörrsattacker. Alla tre kringgicks eller misslyckades med att upptäcka attacken.

Innehållsfilter har inget att filtrera bort. Anomalidetektorer ser endast vanlig text. Attacken kräver dessutom så få som 90 förgiftade exempel för att bäddas in, tillräckligt lite för att kunna smyga sig in i crowdsourcade instruktionsdata eller entreprenörslevererade träningskorpusar utan att utlösa volymbaserade larm.

Det innebär att många av dagens säkerhetslösningar för generativ AI riskerar att missa hotet helt, trots omfattande investeringar i AI-governance och säkerhetsövervakning.

Vad företag bör göra nu

Det här är ingen situation där det räcker att lappa ihop och gå vidare. Attacken utnyttjar en grundläggande egenskap i hur dessa modeller fungerar.

Företag bör behandla grundmodellens ursprung som en fråga om leverantörsrisk. Fråga modellleverantörer vilka kontroller de har över träningsdatakällor och hur de arbetar för att upptäcka förgiftning. Modeller som bygger på ogenomskinliga träningspipelines förtjänar större granskning än vad bekvämligheten med att använda dem kanske antyder.

Det är också viktigt att utöka röda team-tester med beteendemässiga konsistenskontroller vid varierande inmatningslängder. Om en LLM-baserad tjänst beter sig annorlunda vid 500 tokens jämfört med 5 000 tokens trots semantiskt likvärdiga instruktioner är det nu en signal som bör undersökas närmare.

Forskarna menar att försvarare som känner till attacktypen potentiellt kan identifiera den genom att variera inmatningslängden samtidigt som betydelsen hålls konstant.

Slutligen behöver företag överväga riskomfattningen i agentbaserade implementationer. Om en komprometterad modell kan utlösa verktygsanrop, plugin-anrop eller automatiserade åtgärder blir argumenten för mänsklig verifiering betydligt starkare.

Kostnaden för lite extra friktion är sannolikt betydligt lägre än kostnaden för en autonom dataexfiltreringsincident.