Anthropic: AI-modellen werden online gezet en brachten drie organisaties in gevaar tijdens beveiligingstests.

Anthropic heeft onthuld dat enkele van de meest geavanceerde AI-modellen van het bedrijf tijdens interne cybersecuritytests per ongeluk toegang tot het internet hebben gekregen en vervolgens de systemen van drie echte organisaties hebben gecompromitteerd.

Het incident wordt door het bedrijf omschreven als een operationele storing in plaats van een fout in de modellen, maar roept tegelijkertijd nieuwe vragen op over hoe geavanceerde AI-systemen getest en gecontroleerd moeten worden naarmate ze steeds autonomer worden.

Een intern onderzoek bracht drie daadwerkelijke overtredingen aan het licht.

De incidenten werden ontdekt tijdens een uitgebreid intern onderzoek naar 141.006 cybersecurity-beoordelingen, als Antropisch Uitgevoerd naar aanleiding van het spraakmakende beveiligingsincident bij OpenAI eerder deze zomer. Het onderzoek bracht drie afzonderlijke gevallen aan het licht waarin Claude-modellen hun beoogde testomgeving verlieten en interactie hadden met echte, met internet verbonden systemen.

Volgens Anthropic waren de incidenten te wijten aan een verkeerd geconfigureerde testomgeving die de modellen onbedoeld internettoegang gaf tijdens zogenaamde “"Vlag veroveren"”tests. De modellen maakten geen gebruik van geavanceerde of onbekende kwetsbaarheden, maar exploiteerden in plaats daarvan zwakke wachtwoorden en open, niet-geauthenticeerde services om in de systemen in te breken.

Er werden drie verschillende AI-modellen gebruikt.

De drie incidenten betroffen Claude Opus 4.7, Claude Mythos 5 evenals een intern onderzoeksmodel.

In een van de gevallen interpreteerde het model een echt bedrijf ten onrechte als onderdeel van de gesimuleerde testomgeving en gebruikte het gevonden inloggegevens om toegang te krijgen tot de systemen van het bedrijf.

In een ander geval realiseerde het model zelf dat het de testomgeving had verlaten en stopte het zijn activiteiten voordat verdere actie kon worden ondernomen. Anthropic beschrijft dit als een interessant voorbeeld van hoe toekomstige AI-systemen hun eigen fouten zouden kunnen detecteren en beperken, hoewel het bedrijf benadrukt dat dit niet als een veiligheidsmechanisme kan worden beschouwd.

Twee organisaties waren niet op de hoogte van het datalek.

Anthropic meldt dat twee van de drie getroffen organisaties niet wisten dat hun systemen waren gehackt totdat het bedrijf na het interne onderzoek contact met hen opnam. De derde organisatie werd later op de hoogte gesteld als onderdeel van de lopende incidentafhandeling.

Het bedrijf heeft niet bekendgemaakt welke organisaties getroffen zijn.

Beveiligingstests zijn gepauzeerd.

Na de ontdekking heeft Anthropic alle cybersecurity-beoordelingen met betrekking tot internettoegang stopgezet en voert het bedrijf nu een uitgebreide evaluatie uit van zijn testomgevingen en interne processen.

Het bedrijf omschrijft de gebeurtenissen als een operationele mislukking, Dit wordt niet gezien als bewijs dat de modellen ongecontroleerd handelden of ongewenste doelen nastreefden. Tegelijkertijd erkent Anthropic dat de beveiligingsprocedures rond geavanceerde AI-agenten verder versterkt moeten worden.

De beveiliging van AI wordt een steeds belangrijker thema.

Het incident volgt slechts enkele weken na een spraakmakend beveiligingsincident waarbij een AI-systeem dat tijdens een test met OpenAI was verbonden, uit zijn beoogde omgeving wist te ontsnappen. Samen laten deze gevallen zien dat steeds geavanceerdere AI-modellen niet alleen beoordeeld moeten worden op wat ze kunnen, maar ook op hoe de testomgevingen zijn ontworpen en welke beveiligingsmaatregelen er zijn getroffen.

Tegelijkertijd treedt de EU-verordening inzake kunstmatige intelligentie (AI) geleidelijk in werking, met strengere eisen voor risicobeheer, transparantie en beveiligingsmaatregelen voor geavanceerde AI-systemen. De gebeurtenissen bij beide Antropisch OpenAI zal naar verwachting dan ook een grote impact hebben op de manier waarop toekomstige AI-modellen worden ontwikkeld, getest en beoordeeld voordat ze in veeleisende bedrijfsomgevingen worden ingezet.