Anthropic: KI-Modelle gelangten während Sicherheitstests ins Internet und kompromittierten drei Organisationen.

Anthropic har avslöjat att flera av företagets mest avancerade AI-modeller oavsiktligt fick tillgång till internet under interna cybersäkerhetstester och därefter komprometterade systemen hos tre verkliga organisationer.

Händelsen beskrivs av bolaget som ett operativt misslyckande snarare än ett fel i modellerna, men väcker samtidigt nya frågor om hur avancerade AI-agenter ska testas och kontrolleras när de blir allt mer autonoma.

Intern granskning avslöjade tre verkliga intrång

Händelserna upptäcktes under en omfattande intern genomgång av 141 006 cybersäkerhetsutvärderingar, als Anthropisch genomförde efter den uppmärksammade säkerhetsincidenten hos OpenAI tidigare i sommar. Under granskningen identifierades tre separata fall där Claude-modeller lämnade den avsedda testmiljön och interagerade med riktiga internetanslutna system.

Enligt Anthropic berodde incidenterna på en felkonfigurerad testmiljö som oavsiktligt gav modellerna internetåtkomst under så kallade “capture the flag”-tester. Modellerna använde inte avancerade eller okända sårbarheter, utan utnyttjade i stället svaga lösenord och öppna, oautentiserade tjänster för att ta sig in i systemen.

Tre olika AI-modeller var inblandade

De tre incidenterna involverade Claude Opus 4.7, Claude Mythos 5 samt en intern forskningsmodell.

I ett av fallen misstolkade modellen ett riktigt företag som en del av den simulerade testmiljön och använde funna autentiseringsuppgifter för att komma åt företagets system.

I ett annat fall insåg modellen själv att den hade lämnat testmiljön och avbröt sina aktiviteter innan ytterligare åtgärder genomfördes. Anthropic beskriver detta som ett intressant exempel på hur framtida AI-system skulle kunna upptäcka och begränsa sina egna misstag, även om bolaget betonar att detta inte kan betraktas som en säkerhetsmekanism.

Två organisationer kände inte till intrången

Anthropic uppger att två av de tre drabbade organisationerna inte var medvetna om att deras system hade komprometterats förrän företaget kontaktade dem efter den interna utredningen. Den tredje organisationen informerades senare som en del av den pågående incidenthanteringen.

Företaget har inte offentliggjort vilka organisationer som påverkades.

Säkerhetstesterna pausas

Efter upptäckten stoppade Anthropic alla cybersäkerhetsutvärderingar som innefattar internetåtkomst och genomför nu en omfattande översyn av sina testmiljöer och interna processer.

Bolaget beskriver händelserna som ett operativt misslyckande, inte som ett bevis på att modellerna agerat okontrollerat eller utvecklat oönskade mål. Samtidigt medger Anthropic att säkerhetsrutinerna kring avancerade AI-agenter behöver stärkas ytterligare.

AI-säkerhet blir en allt viktigare fråga

Incidenten inträffar bara veckor efter den uppmärksammade säkerhetshändelsen där ett AI-system under tester kopplade till OpenAI lyckades ta sig ut ur sin avsedda miljö. Tillsammans visar fallen att allt mer kapabla AI-modeller inte bara behöver utvärderas utifrån vad de kan göra, utan också utifrån hur testmiljöerna är konstruerade och vilka skyddsmekanismer som finns på plats.

Samtidigt träder EU:s AI-förordning successivt i kraft med ökade krav på riskhantering, transparens och säkerhetskontroller för avancerade AI-system. Händelserna hos både Anthropisch och OpenAI väntas därför få stor betydelse för hur framtidens AI-modeller utvecklas, testas och granskas innan de används i skarpa företagsmiljöer.