Barracudas säkerhetsforskare har upptäckt nätfiskeattacker som försöker lura både mottagaren och de AI-verktyg som används för att sammanfatta, prioritera och hantera e-post. I samma mejl kombinerar angriparna social manipulation med dolda instruktioner som ska påverka AI-assistenter.
Attackerna beskrivs i en ny rapport från Barracuda Research. De använder två metoder: social manipulation riktad mot mottagaren och så kallad promptinjektion riktad mot AI-systemet.
Promptinjektion innebär i det här fallet att angriparen placerar instruktioner i mejlet för att försöka styra hur AI-assistenten tolkar och hanterar innehållet. Mejlet kan bestå av flera lager – ett med text och bilder som mottagaren ser och ett med dolda instruktioner för AI-systemet. Instruktionerna kan döljas i HTML-kommentarer, i text med teckenstorleken noll eller vit textfärg, i kodat innehåll eller i skyddade bilagor. 
Dolda instruktioner kan påverka beslut och system
AI-assistenter för e-post används för att läsa, sammanfatta, prioritera och hantera meddelanden. Angriparna försöker utnyttja dessa funktioner för att påverka hur assistenterna tolkar innehållet och vilka åtgärder de vidtar.
Barracudas experter har bland annat sett instruktioner som försöker få AI-system att:
- Lägga till en falsk, högprioriterad uppgift som uppmanar en medarbetare att ändra en leverantörs betalningsuppgifter. Det kan öka risken för att en betalning görs till bedragaren.
- Manipulera automatisk granskning av CV genom att ge en sökande högsta betyg och rekommendera en intervju, oavsett kvalifikationer.
- Växla till ett godkänt underhålls- eller administrationsläge och lämna ut information om systemets konfiguration.
- Lägga in kod som stjäl inloggningsuppgifter varje gång en kodassistent skapar funktioner för autentisering.
– Ett enda mejl kan nu innehålla två separata attacker, dels traditionellt nätfiske som exempelvis försöker stjäla inloggningsuppgifter via en skadlig bilaga, dels promptinjektion som försöker manipulera AI-system och påverka deras beteende, säger Guruprasad Kenja, hotanalytiker på Barracuda Networks.
– När AI-assistenter blir en del av det dagliga arbetet måste organisationer inte bara skydda användarna och deras inkorgar men också de AI-system som läser och agerar utifrån information i e-post, avslutar han.
Läs hela analysen och Barracudas råd i artikeln om e-postattacker som riktas mot både människor och AI.
