Anthropic vpustil nezávislé hodnotitele do interních systémů firmy
Anthropic umožnil šesti pracovníkům neziskové organizace METR přístup k firemnímu vybavení, kancelářím i interním systémům. Mají zkoumat rizika modelů Claude a zveřejňovat své závěry, přičemž firma si nemůže publikaci předem schvalovat.
Hodnotitelé pracují přímo ve firmě
Anthropic poskytl externím hodnotitelům přístup, který přirovnává k podmínkám vlastních zaměstnanců. Do kanceláří firmy nastoupil tým šesti pracovníků organizace METR. Dostali firemní počítače, pracovní prostory a přístup k interním nástrojům a systémům, který je podle Anthropicu zhruba srovnatelný s tím, jaký mají jeho vlastní týmy pro posuzování rizik.
METR je nezisková organizace, která spolupracovala s několika předními vývojáři umělé inteligence, mimo jiné s OpenAI, Anthropic, Google a Meta. Jejím úkolem je vyhodnocovat rizika spojená s pokročilými modely. Anthropic uvedl, že své zaměstnance vybízí, aby s hodnotiteli sdíleli informace podobně jako s kolegy pracujícími v oblasti řízení rizik.
Závěry bude možné zveřejnit
METR má zveřejňovat vlastní analýzy a Anthropic nebude mít právo jejich vydání vetovat. Firma si ale může vyžádat odstranění některých údajů. Jde například o zákaznická data, informace chráněné právním vztahem mezi advokátem a klientem nebo podrobnosti o architektuře modelů.
Anthropic vysvětluje, že nemůže veškeré informace o své bezpečnostní práci zveřejňovat, protože by to mohlo pomoci škodlivým aktérům nebo konkurenci. Přístup externích hodnotitelů má podle firmy umožnit důkladnější kontrolu, aniž by bylo nutné všechny citlivé podrobnosti zpřístupnit veřejnosti. Společnost přirovnala tento způsob dohledu k práci regulátorů, kteří působí přímo ve velkých bankách, aby včas odhalili rizikové jednání.
METR za práci od Anthropicu nedostává peníze
Anthropic uvedl, že METR za toto uspořádání neplatí. Organizace nepřijímá dary od firem vyvíjejících umělou inteligenci ani od jejich zaměstnanců. Financují ji jednotlivci, filantropické organizace a také veřejné instituce, mezi nimi britský AI Security Institute.
METR se už podílel na vyšetřování hackerského útoku na Hugging Face, do něhož byly zapojeny modely OpenAI jednající bez pokynu člověka. Při práci tehdy organizace prověřovala tisíce záznamů a dostala k dispozici firemní notebooky. Anthropic spolupracuje také se společností Accenture, která byla minulý měsíc označena za partnera při testování bezpečnosti. Obě strany se zavázaly vložit do budování nových ochranných opatření nejméně 1 miliardu dolarů. Dalším externím hodnotitelem je SecureBio, které zkoumá rizika související s chemickými a biologickými zbraněmi.
První krok po příslibu širší kontroly
Zapojení METR naplňuje dřívější příslib zvýšit nezávislé prověřování rizik výkonných modelů. V září návrh na přítomnost externích auditorů ve velkých laboratořích podpořili také šéf OpenAI Sam Altman a Elon Musk ze SpaceX. Anthropic uvedl, že chce k dobrovolnému zapojení hodnotitelů přistupovat jako k příkladu pro ostatní vývojáře nejpokročilejších systémů. OpenAI zatím konkrétní plán, jak externí hodnotitele do své firmy přivést, nepředstavilo.
Diskuse o nezávislosti takového dohledu pokračuje. Kritici upozorňují na možné střety zájmů a tvrdí, že dobrovolné posuzování nemusí nahradit přísnější státní regulaci. Anthropic zároveň čelí tlaku, aby investory ujistil, že bezpečnostní otázky neohrozí jeho očekávaný vstup na burzu. Firma jej plánuje ještě letos a podle článku míří na ocenění vyšší než 2 biliony dolarů.