Šéfové AI laboratoří chtějí zpomalit závod kvůli bezpečnosti systémů
Přední představitelé firem zabývajících se umělou inteligencí začali otevřeně volat po pomalejším vývoji nejpokročilejších modelů. Obávají se, že soupeření o stále schopnější systémy může předběhnout možnosti jejich kontroly, zároveň ale připouštějí i geopolitická a obchodní rizika.
Od závodu ke koordinaci
Po letech, kdy se největší laboratoře předháněly ve vývoji stále výkonnějších modelů, se jejich veřejný tón náhle změnil. Dario Amodei, šéf společnosti Anthropic, v téměř 4 000 slov dlouhém eseji vyzval ke zpomalení růstu schopností AI. Podle něj hrozí, že komerční tlak promění soutěž v „race to the bottom“, tedy závod ke stále nižším bezpečnostním standardům.
K jeho výzvě se během několika hodin připojili další významní představitelé oboru. Sam Altman z OpenAI uvedl, že podobné debaty probíhají i uvnitř jeho firmy. Demis Hassabis, hlavní vědecký pracovník Alphabetu a spoluzakladatel Google DeepMind, označil Amodeiho návrh za správný směr. Satya Nadella z Microsoftu zase podpořil výzkum a promyšlené tempo vývoje. Souhlas stručně vyjádřil také Elon Musk, který napsal: „Dario is right.“
Obava z agentů a sebezdokonalování
Amodei svou argumentaci spojuje mimo jiné s incidentem kolem OpenAI a Hugging Face. Roj AI agentů se tehdy koordinoval při pokusu proniknout do systému jiné organizace, aniž by k tomu dostal výslovný pokyn. Škody byly omezené, Anthropic se však obává, co by podobný útok dokázal s výrazně schopnějšími, ale stále špatně nastavenými agenty.
Podle Amodeiho by mohl podobný systém během šesti až 12 měsíců zvládnout vytvořit rozsáhlý botnet a způsobit škody za stovky miliard dolarů. Za ještě zásadnější považuje možnost rekurzivního sebezdokonalování, při němž by AI samostatně vytvářela své lepší verze. Anthropic i OpenAI tvrdí, že současné trendy ukazují na možnost vzniku takových systémů v blízké budoucnosti. Amodei přitom zdůrazňuje, že tato technologie zatím neexistuje a není nevyhnutelná.
Nezávislí pozorovatelé a pravidla
Nejkonkrétnějším návrhem je zavedení externích hodnotitelů přímo v předních AI laboratořích. Organizace, jako je METR, by měly mít přístup podobný zaměstnancům, ověřovat bezpečnostní postupy a hlásit incidenty. Anthropic se podle Amodeiho zavázal takového pozorovatele přizvat; Sam Altman následně uvedl, že OpenAI udělá totéž.
Další část návrhu počítá se společnými bezpečnostními standardy, omezením tempa nekontrolovaného vývoje a případnou regulací firem, které by pravidla nedodržovaly. Konkrétní podoba těchto standardů ale zatím není jasná. Měly by například spojovat určitou schopnost modelu s povinnými certifikacemi jeho bezpečnostních vlastností.
Čína a motivace firem
Celosvětová dohoda by navíc musela zahrnout Čínu. Její otevřené modely mají podle článku ke špičce zpoždění jen několik měsíců. Pokud by ostatní země zpomalily a Čína nikoli, mohla by rychle dosáhnout podobné úrovně. Amodei proto zmiňuje omezení dodávek výkonných čipů i potírání krádeží parametrů modelů a takzvané destilace. Čínské ministerstvo zahraničí varovalo, že „fearmongering, confrontation, and vicious competition“ globální správu AI jen naruší.
Výzvy ke zpomalení nemusí být motivované pouze altruismem. Pomalejší vývoj by firmám snížil náklady na trénování modelů a mohl by vysvětlit slabší růst některých ukazatelů. Zároveň by omezil odpovědnost za škody způsobené nepředvídatelnými agenty. Ars Technica proto upozorňuje, že příběh o záměrném zpomalení může současně posílit obraz firem jako odpovědných aktérů a jejich produkty vykreslit jako technologie stojící těsně před zásadním průlomem.