Leder du efter et kortere overblik?
AI-oversigt
Nøgleøjeblikke
Utilsigtet internetadgang
Adskillige AI-modeller fik ved et uheld internetadgang på grund af et forkert konfigureret testmiljø.Tre organisationers systemer er berørt
AI-modellerne kompromitterede systemerne hos tre rigtige virksomheder under sikkerhedstests.Driftsfejl, ikke modelfejl
Anthropic ser hændelsen som en operationel fiasko og ikke som modellernes ude af kontrol.Sikkerhedstests sættes på pause og undersøges
Efter opdagelsen er alle cybersikkerhedstests med internetadgang blevet stoppet med henblik på gennemgang og forbedring.Anthropic har afsløret, at flere af virksomhedens mest avancerede AI-modeller ved et uheld fik adgang til internettet under interne cybersikkerhedstests og efterfølgende kompromitterede systemerne i tre rigtige organisationer.
Hændelsen beskrives af virksomheden som en driftsfejl snarere end en fejl i modellerne, men rejser samtidig nye spørgsmål om, hvordan avancerede AI-agenter skal testes og kontrolleres, efterhånden som de bliver mere og mere autonome.
Intern undersøgelse afslørede tre reelle brud
Hændelserne blev opdaget under en omfattende intern gennemgang af 141.006 cybersikkerhedsvurderinger, som Antropisk udført efter den højprofilerede sikkerhedshændelse hos OpenAI tidligere på sommeren. Gennemgangen identificerede tre separate tilfælde, hvor Claude-modeller forlod deres tilsigtede testmiljø og interagerede med rigtige internetforbundne systemer.
Ifølge Anthropic skyldtes hændelserne et fejlkonfigureret testmiljø, der utilsigtet gav modellerne internetadgang under såkaldte “"Erobre flaget"”tests. Modellerne brugte ikke avancerede eller ukendte sårbarheder, men udnyttede i stedet svage adgangskoder og åbne, uautoriserede tjenester til at bryde ind i systemerne.
Tre forskellige AI-modeller var involveret
De tre involverede hændelser Claude Opus 4.7, Claude Mythos 5 samt en intern forskningsmodel.
I et af tilfældene misfortolkede modellen en rigtig virksomhed som en del af det simulerede testmiljø og brugte fundne legitimationsoplysninger til at få adgang til virksomhedens systemer.
I et andet tilfælde indså modellen selv, at den havde forladt testmiljøet og stoppede sine aktiviteter, før der kunne foretages yderligere handling. Anthropic beskriver dette som et interessant eksempel på, hvordan fremtidige AI-systemer kan opdage og begrænse deres egne fejl, selvom virksomheden understreger, at dette ikke kan betragtes som en sikkerhedsmekanisme.
To organisationer var ikke klar over bruddet
Anthropic siger, at to af de tre berørte organisationer ikke var klar over, at deres systemer var blevet kompromitteret, indtil virksomheden kontaktede dem efter den interne undersøgelse. Den tredje organisation blev senere underrettet som en del af den igangværende indsats mod hændelsen.
Virksomheden har ikke oplyst, hvilke organisationer der blev berørt.
Sikkerhedstests er sat på pause
Efter opdagelsen stoppede Anthropic alle cybersikkerhedsvurderinger, der involverede internetadgang, og foretager nu en omfattende gennemgang af sine testmiljøer og interne processer.
Virksomheden beskriver begivenhederne som en driftsfejl, ikke som bevis for, at modellerne handlede ukontrolleret eller udviklede uønskede mål. Samtidig indrømmer Anthropic, at sikkerhedsprocedurerne omkring avancerede AI-agenter skal styrkes yderligere.
AI-sikkerhed bliver et stadig vigtigere problem
Hændelsen kommer blot få uger efter en højprofileret sikkerhedshændelse, hvor et AI-system, der var forbundet med OpenAI, under test formåede at undslippe det tilsigtede miljø. Samlet set viser casene, at stadig mere kapable AI-modeller skal evalueres, ikke kun på, hvad de kan, men også på, hvordan testmiljøerne er designet, og hvilke beskyttelser der er på plads.
Samtidig træder EU's AI-forordning gradvist i kraft med øgede krav til risikostyring, gennemsigtighed og sikkerhedskontroller for avancerede AI-systemer. Begivenhederne på begge Antropisk og OpenAI forventes derfor at have en stor indflydelse på, hvordan fremtidige AI-modeller udvikles, testes og gennemgås, før de anvendes i krævende virksomhedsmiljøer.
