MetaBackdoor: Uusi tekoälyhyökkäys, jota tietoturvatyökalut eivät näe

LLM-ohjelmia käyttävät yritykset ovat viimeiset kaksi vuotta rakentaneet puolustuskeinoja kohtuullisen oletuksen ympärille: haitallinen toiminta jättää jälkiä syöttötietoihin. Skannaa epäilyttävät tunnukset, suodata pois epätavalliset merkit ja tarkkaile nopeita injektiomalleja. Uusi tutkimus... Microsoft ja Tokion tiedeinstituutin tutkimus osoittaa, että tällä puolustuskannalla on sokea piste, ja tämän sokean pisteen hintaa voidaan mitata vuotaneina omistusoikeudellisina tietoina ja sääntelyyn liittyvänä altistumisena.

MetaBackdoor ja näkymätön hyökkäyspinta

Hyökkäys, ns. MetaBackdoor, piilottaa liipaisunsa johonkin, mitä ei ole rakennettu tarkastamaan: syötteen pituuteen. Hyökkääjä, jolla on pääsy mallin hienosäätötietoihin, myrkyttää sen esimerkeillä, jotka yhdistävät pitkiä syötteitä haitallisiin tulosteisiin. Malli oppii siirtymään hyökkäystilaan, kun syöte ylittää tietyn pituuskynnyksen.

Syöte itsessään näyttää täysin normaalilta. Ei outoja tokeneita, ei näkymättömiä merkkejä eikä mitään, mitä ihminen tai automaattinen skanneri merkitsisi.

Tämä tekee hyökkäystyypistä erityisen ongelmallisen yrityksille, jotka luottavat perinteisiin tekoälyn suojauskerroksiin, koska nykypäivän puolustuskeinot keskittyvät pääasiassa kehotteiden sisältöön pikemminkin kuin rakenteellisiin ominaisuuksiin, kuten pituuteen ja kontekstin kokoon.

Kolme liiketoimintariskiä, jotka kannattaa ymmärtää

Järjestelmän välitön varkaus

Yritykset investoivat suuria summia rahaa omien järjestelmäkehotteiden luomiseen. Nämä ohjeet muuttavat yleisen perusmallin asiakaspalveluagentiksi, oikeudelliseksi tutkimustyökaluksi tai sisäiseksi koodausavustajaksi. Nämä kehotteet sisältävät usein liiketoimintalogiikkaa, kilpailuetuja ja viittauksia sisäisiin järjestelmiin.

Takaporttimalli voidaan saada lähettämään järjestelmäkehotteensa sanatarkasti, kun syöte ylittää pituuskynnyksen. Malli oppii taustalla olevan säännön ja soveltaa sitä käyttäjän eteen asettamiin omiin käskyihin.

Tutkimus osoitti, että tämä toimi jopa järjestelmäkehotteissa, joita malli ei ollut koskaan ennen nähnyt harjoittelun aikana, mukaan lukien satunnaiset aakkosnumeeriset merkkijonot.

Tekoälypohjaisia tuotteita rakentaville yrityksille tämä voi tarkoittaa, että sisäiset ohjeet, työnkulut ja liiketoimintakriittinen logiikka altistuvat luvattomille toimijoille.

Autonominen datan eksfiltraatio

Tutkijat kuvailevat huolestuttavampaa skenaariota digitaaliseksi aikapommiksi. Koska laukaiseva tekijä perustuu keskustelun pituuteen, pitkä keskustelu voi vähitellen liukua itsestään aktivaatiovyöhykkeelle.

Käyttäjän ei tarvitse tehdä mitään epäilyttävää. Jossain vaiheessa kertynyt konteksti ylittää kynnyksen ja malli alkaa generoida työkalukutsuja.

Demonstraatiossa malli loi tekaistun sähköpostifunktiokutsun käyttäen keskusteluhistoriaa hyötykuormana. Hyökkäys onnistui 75 prosentissa yrityksistä, joiden keskustelujen pituus oli yli 700 tokenia.

Yritysympäristöissä, joissa on agenttiominaisuuksia, laajennusympäristöjä tai verkkoon kytkettyjä työkaluja, tämä tarkoittaa, että vaarantunut malli voi mahdollisesti vuotaa arkaluonteisia asiakastietoja, sisäisiä asiakirjoja tai säänneltyjä tietoja ilman, että kukaan kirjoittaisi mitään selvästi epäilyttävää.

Tutkijat kuvailevat skenaariota konseptitodistukseksi, jossa luotettavuus vaihtelee mallin, dekoodausasetusten ja työkalukutsukäyttöliittymän mukaan.

Toimitusketjun pysyvyys

Ehkä hankalin lopputulos hankinta- ja toimittajariskitiimeille on se, että vaarantuneen mallin hienosäätö puhtaasti suljetun datan pohjalta ei poista takaovea luotettavasti.

Tutkijoiden testeissä hyökkäys toimi edelleen noin 40 prosentin onnistumisasteella jopa laajan uudelleenkoulutuksen jälkeen täysin eri tehtävään.

Vakiovarmuus “hienoimme perusmallia itse kuratoidun datamme pohjalta” ei siis ole riittävä korjaava toimenpide. Jos perusmalli vaarantui tuotantoprosessissa, vaarantunut tilanne voi säilyä.

Tämä herättää uusia kysymyksiä tekoälymallien toimitusketjuista, erityisesti organisaatioille, jotka käyttävät avoimia malleja tai kolmannen osapuolen toimittajia hienosäätöön ja mallien koulutukseen.

Miksi nykyiset turvatoimet eivät auta

Tutkijat testasivat kolmea edustavaa puolustusmenetelmää takaporttihyökkäyksiä vastaan. Kaikki kolme ohittivat hyökkäyksen tai eivät havainneet sitä.

Sisältösuodattimilla ei ole mitään suodatettavaa. Poikkeamien ilmaisimet näkevät vain pelkkää tekstiä. Hyökkäys vaatii myös vain 90 myrkytettyä esimerkkiä upottamista varten, mikä on riittävän pieni, jotta se voi hiipiä joukkoistettuun opetusdataan tai urakoitsijoiden toimittamiin koulutusaineistoihin laukaisematta volyymiperusteisia hälytyksiä.

Tämä tarkoittaa, että monet nykyajan generatiivisen tekoälyn tietoturvaratkaisut voivat ohittaa uhan kokonaan, huolimatta laajoista investoinneista tekoälyn hallintaan ja tietoturvan valvontaan.

Mitä yritysten pitäisi tehdä nyt

Tässä tilanteessa ei voi vain korjata asioita ja siirtyä eteenpäin. Hyökkäys hyödyntää näiden mallien toiminnan perustavanlaatuista ominaisuutta.

Yritysten tulisi käsitellä pohjana olevan mallin alkuperää toimittajariskin kysymyksenä. Kysy mallien toimittajilta, mitä hallintaoikeuksia heillä on koulutustietolähteisiin ja miten he pyrkivät havaitsemaan myrkytystilanteita. Läpinäkymättömiin koulutusputkiin perustuvat mallit ansaitsevat enemmän tarkastelua kuin niiden helppokäyttöisyys antaa ymmärtää.

On myös tärkeää laajentaa punaisen tiimin testausta käyttäytymisen johdonmukaisuustarkistuksilla vaihtelevilla syötteen pituuksilla. Jos LLM-pohjainen palvelu käyttäytyy eri tavalla 500 tokenin ja 5 000 tokenin välillä semanttisesti vastaavista ohjeista huolimatta, tämä on signaali, jota tulisi tutkia lisää.

Tutkijat uskovat, että puolustajat, jotka tietävät hyökkäystyypin, voivat mahdollisesti tunnistaa sen vaihtelemalla syötteen pituutta pitäen merkityksen vakiona.

Lopuksi yritysten on otettava huomioon agenttipohjaisten toteutusten riskien laajuus. Jos vaarantunut malli voi laukaista työkalukutsuja, laajennuskutsuja tai automatisoituja toimintoja, ihmisen tekemän varmennuksen tarpeellisuus on huomattavasti vahvempi.

Pienen ylimääräisen kitkan kustannukset ovat todennäköisesti huomattavasti pienemmät kuin autonomisen tiedonvuototapauksen kustannukset.