Anthropic zablokoval pokusy obejít ochranu Claude při výzkumu biologických zbraní
Anthropic letos zastavil několik pokusů využít Claude k výzkumu, který by mohl pomoci při vývoji biologických zbraní. Firma popsala pět případů obcházení bezpečnostních kontrol a zatajování skutečného účelu práce.
Pět případů obcházení kontrol
Anthropic ve své zprávě uvedl, že letos odhalil několik uživatelů, kteří se pokoušeli využít jeho modely k výzkumu s možným dopadem na biologickou bezpečnost. Firma popsala pět případů, v nichž lidé obcházeli nastavené kontroly nebo se snažili skutečný účel svého výzkumu zakrýt.
Mezi zmíněnými případy byl také výzkumník z „nepodporovaného regionu“, který podle společnosti několik týdnů plánoval experimenty související s ptačí chřipkou za pomoci modelu Claude. Bezpečnostní filtry mu následně omezily přístup na nejslabší modely, které Anthropic nabízí.
Nejasný úmysl, reálné riziko
Společnost zdůraznila, že si nemůže být jistá, zda měli uvedení vědci v úmyslu někomu ublížit. Stejné znalosti mohou podle ní sloužit jak k vytvoření biologické zbraně, tak k vývoji vakcíny nebo jiné ochranné technologie.
Anthropic oznámil, že účty popsané ve zprávě zablokoval. Neuvedl však názvy institucí ani zemí, v nichž k incidentům došlo. Některé případy se týkaly uživatelů ze států, kde firma přístup ke svým modelům nepovoluje, například z Ruska, Číny a Íránu.
Obavy z použití AI v biologii
Mezi odborníky na biologickou bezpečnost a vedením technologických firem sílí shoda, že využití umělé inteligence v biologii bude nutné lépe zabezpečit a regulovat. Obavy se týkají možnosti, že by teroristické skupiny, státní aktéři nebo jednotlivci mohli AI využít k návrhu biologických zbraní, tvorbě virů nebo zneužití již existujících patogenů.
Ani schopnost navrhnout teoretickou biologickou zbraň ale sama o sobě neznamená, že ji lze snadno vyrobit. Zůstávají technické, materiální i finanční překážky. Podle článku se současná debata o bezpečnosti AI znovu vyostřila po odchodu Jacoba Coxona z Anthropic. Ten uvedl, že zaměstnanci společnosti se „upřímně domnívají, že by nás AI mohla do konce desetiletí všechny zabít“.
Vedle biologie také kybernetika
Zpráva Anthropic se nevěnovala pouze biologickým rizikům. Popsala také další zneužití technologie, například síť falešných seznamovacích aplikací určených k podvodům nebo systémy pro identifikaci a sledování disidentů.
Firma zároveň zveřejnila nové podrobnosti o svém tvrzení, že sedm laboratoří z Číny, včetně společností Moonshot a DeepSeek, se pokoušelo napodobit její technologii metodou označovanou jako distilace. Anthropic tvrdí, že zaznamenal stále sofistikovanější způsoby obcházení obran a získávání schopností špičkových amerických modelů. Zveřejněním případů chce podle svých slov podnítit debatu v technologickém průmyslu i mezi vládami o nových biologických rizicích a způsobech, jak jim čelit.