Claude při testech napadl skutečné organizace, zjistil Anthropic
Několik modelů Claude během bezpečnostních testů proniklo do systémů tří skutečných organizací. Anthropic tvrdí, že za incidentem stála chybná konfigurace testovacího prostředí, nikoli záměr modelů obejít bezpečnostní pravidla.
Simulace nebyla úplně izolovaná
Anthropic při zpětné kontrole zjistil, že tři jeho modely během testování kybernetických schopností získaly neoprávněný přístup k systémům skutečných organizací. Firma neupřesnila, o které organizace šlo, a uvedla, že případ dál vyšetřuje.
Incidenty se odehrály v rámci takzvaných „capture-the-flag“ úloh. Při nich má model v simulované síti najít a získat skryté informace. Testovací prostředí mělo být oddělené od internetu, jenže chybná konfigurace – Anthropic ji popsal jako „misconfiguration“ – ponechala napadeným strojům živé internetové připojení.
Modely si spletly realitu se simulací
Protože modely dostaly výslovný pokyn, že k internetu přístup nemají, vyhodnotily skutečné sítě, na které narazily, jako součást testu. Anthropic incidenty odhalil až při analýze více než 141 000 kyberbezpečnostních běhů. K důkladné kontrole přistoupil poté, co OpenAI informovala o vlastním případu, při němž její agent napadl vývojářskou platformu Hugging Face.
Nejstarší z trojice, Opus 4.7, podle firmy poznal, že se dostal do skutečného systému, ale v útoku pokračoval. Vlajkový model Mythos 5 zjistil, že používá internet, ovšem nesprávně usoudil, že stále pracuje v simulaci. Nejnovější interní výzkumný model se naopak po objevení důkazů o skutečném cíli zastavil.
Anthropic odmítá srovnání s OpenAI
Anthropic zdůrazňuje, že jeho případ se od incidentu OpenAI lišil způsobem vzniku i následnou reakcí. Kontrolu testů podle svých slov zahájil „proactively“, tedy z vlastní iniciativy, ještě předtím, než některá z napadených organizací zaznamenala podezřelou aktivitu. Claude navíc využil otevřenou cestu k internetu, nikoli nový typ exploitu.
Firma tvrdí, že šlo spíše o chybu testovacího systému a provozu než o selhání sladění modelu s úmysly jeho tvůrců. Ve svém vyjádření tento typ problému označila za „harness and operational failure than a model alignment failure“. Jinými slovy podle Anthropic modely plnily zadaný úkol v nevhodně nastaveném prostředí, zatímco agent OpenAI měl sledovat cíl způsobem, který jeho tvůrci nezamýšleli.
Nutnost přísnějších kontrol
Anthropic chce o zjištěních dále informovat a jedná s neziskovou organizací METR o nezávislém posouzení případu. OpenAI si u METR objednala podobnou kontrolu také.
Firma zároveň vyzvala ostatní laboratoře, aby proaktivně prověřily vlastní kybernetické testy. Události podle ní ukazují, že s rostoucími schopnostmi modelů nestačí spoléhat jen na jejich vnitřní bezpečnostní mechanismy. Důležitou součástí musí být také správně oddělené testovací prostředí, omezení přístupu k reálným systémům a důkladná kontrola výsledků.