Jailbreakad AI bakom rysk cyberkampanj mot amerikanska politiker

Jailbreakad AI rysk cyberkampanj användes enligt nya uppgifter från TrendAI i en avancerad operation riktad mot amerikanska politiker och politiskt engagerade personer. Kampanjen ska ha omfattat phishing, bedrägerier och AI-genererade påverkansoperationer, där stora språkmodeller användes för att skapa innehåll, automatisera arbetsflöden och skala upp cyberhot i större omfattning.

Nya uppgifter från TrendAI visar att jailbreakade stora språkmodeller, så kallade LLM:er, har använts för att skapa avancerade cyberhot riktade mot amerikanska politiker och politiskt engagerade personer. Kampanjen ska ha omfattat AI-genererade påverkansoperationer, stöld av inloggningsuppgifter, nätfiske och bedrägerier med kryptovalutor i stor skala.

Enligt forskningen handlar det om en sofistikerad cyberkampanj med namnet brandcampro, som ska ha drivits av en ensam rysktalande hotaktör. Kampanjen ska enligt TrendAI ha byggts upp med hjälp av en jailbreakad version av Google Gemini och andra AI-baserade verktyg för att automatisera innehållsskapande, sätta upp phishing-infrastruktur, samla in inloggningsuppgifter och driva bedrägerier med kryptovalutor.

AI användes för att skala upp cyberkampanjen

TrendAIs analys visar att AI-tekniken inte bara användes för att generera innehåll, utan även för att effektivisera hela den cyberkriminella infrastrukturen bakom operationen.

Kampanjen ska bland annat ha använt AI för att:

• skapa övertygande politiskt innehåll och påverkansbudskap
• automatisera phishing-kampanjer och falska inloggningssidor
• bearbeta stulna API-nycklar och automatiserade arbetsflöden
• genomföra kryptobedrägerier i större skala med lägre operativa kostnader

Cyberkampanjen ska enligt rapporten ha byggt upp en publik på cirka 17 000 följare på Telegram, samtidigt som AI-drivna automatiseringsverktyg och stulna API-nycklar ska ha använts för att kraftigt minska kostnaderna för attackerna.

En ny typ av AI-driven cyberkriminalitet

TrendAI menar att brandcampro illustrerar hur moderna AI-system kan användas för att skapa en ny generation av skalbara cyberhot där påverkan, automatisering och ekonomisk brottslighet kombineras i samma operation.

TrendAI menar att denna jailbreakad AI rysk cyberkampanj visar hur AI kan användas för att skala upp cyberkriminalitet på ett sätt som tidigare krävde betydligt större resurser.

– Denna cyberkampanj visar hur moderna AI-system möjliggör en ny typ av skalbar och kostnadseffektiv cyberkriminalitet som kombinerar påverkanskampanjer, automatisering och ekonomiska bedrägerier, säger Martin Fribrock, Country Manager Sweden, Finland and Baltics på TrendAI.

Jailbreakade AI-modeller skapar nya risker

Fallet lyfter också fram en växande oro kring så kallade jailbreakade AI-modeller, där säkerhetsbegränsningar i stora språkmodeller kringgås för att skapa innehåll eller verktyg som annars skulle blockeras.

När sådana modeller används av hotaktörer kan AI inte bara generera text, utan även hjälpa till att bygga phishing-sidor, automatisera attacker, skapa falska identiteter och driva avancerade bedrägerier med betydligt lägre kostnader än tidigare.

Säkerhetsexperter varnar för att jailbreakade språkmodeller därmed kan skapa en ny typ av cyberhot där angripare kombinerar desinformation, nätfiske, ekonomiska bedrägerier och digital påverkan i en och samma operation.

Ny riskbild för AI säkerhet

Säkerhetsexperter varnar för att jailbreakade språkmodeller kan skapa en ny typ av cyberhot där angripare automatiserar phishing, bedrägerier, desinformation och digital påverkan i mycket större skala än tidigare.

När AI används för att skapa innehåll, bygga falska inloggningssidor och driva automatiserade arbetsflöden kan cyberkriminella sänka sina kostnader samtidigt som attackerna blir mer sofistikerade och svårare att upptäcka.

För företag, myndigheter och politiska organisationer innebär utvecklingen att AI-säkerhet nu blir en allt viktigare del av cybersäkerhetsarbetet. Det handlar inte bara om att skydda data, utan också om att förstå hur generativ AI kan användas som ett offensivt verktyg av hotaktörer.

Utvecklingen visar samtidigt att AI-säkerhet inte längre bara är en teknisk fråga för IT-avdelningar. Den blir i allt högre grad en strategisk fråga för ledning, riskhantering och nationell säkerhet.

Läs mer om TrendAIs forskning om brandcampro här: