AI výrazně zrychluje vývoj Anthropic, varuje zpráva nezávislých expertů
Podle organizace METR pomáhá umělá inteligence zrychlovat výzkum a vývoj společnosti Anthropic a tempo pokroku se oproti loňsku zhruba zdvojnásobilo. Zpráva zároveň upozorňuje, že firma začernila většinu důkazů, které považovala za nejvýmluvnější.
AI urychluje práci výzkumníků
Anthropic využívá umělou inteligenci při vývoji dalších, výkonnějších systémů. Podle nové zprávy organizace METR se modely společnosti zlepšují přibližně dvakrát rychleji než před rokem. Výsledky benchmarků podle výzkumníků naznačují, že Anthropic dosáhl za posledních 12 měsíců zhruba dvou let pokroku oproti dřívějšímu tempu.
METR po jedenáctitýdenním šetření uvedla, že zrychlení nelze vysvětlit jen větším výpočetním výkonem při trénování. Většina zrychlení zaznamenaného v říjnu podle ní souvisela s využíváním AI a její podíl postupně rostl. Zaměstnanci Anthropic v interních anketách a rozhovorech popisovali výrazné zvýšení produktivity.
Zaměstnanci hlásí dvanáctinásobnou produktivitu
Pracovníci, kteří využívali nejpokročilejší interní model společnosti, uváděli, že jsou ve své práci v průměru zhruba dvanáctkrát produktivnější, než by byli bez pomoci AI. Jde o jejich vlastní odhady. Ještě o několik měsíců dříve, při používání modelu Mythos 5, hlásili přibližně poloviční nárůst.
Zatím se podle METR na zrychlování podílejí hlavně lidé, kterým AI pomáhá s výzkumem. Výzkumníci ale zaznamenali i náznaky, že autonomní příspěvky systémů mohou brzy získat větší význam. V datech podle zprávy neviděli jasné známky zpomalování ani zřetelné překážky, které by další zrychlení zastavily.
Tři nové modely zůstávají neveřejné
Anthropic podle zprávy za posledního půl roku dokončil trénování tří modelů, které dosud nevydal. METR je označuje jako Model 2, Model 3 a Model 4. Trénování prvního skončilo v červenci, druhého v srpnu až září a třetího v září až říjnu. Výzkumníci upozornili, že jde o kódová označení, která jim firma sdělila, a interně mohou mít modely jiná jména.
Zpráva se opírá o neveřejné informace, včetně dat o výkonnosti modelů, interního výzkumu a rozhovorů se zaměstnanci. Přístup ale nebyl neomezený a METR uvedla, že některé požadavky na data byly zamítnuty.
Zveřejněnou zprávu firma výrazně začernila
Anthropic mohla před vydáním odstranit části závěrečné zprávy a podle METR této možnosti využila rozsáhle. Organizace uvedla, že firmě předala zhruba stostránkové úplné hodnocení, ale ve veřejné verzi Anthropic začernil většinu důkazů, které METR považovala za nejvýmluvnější. To podle výzkumníků ztěžuje veřejnosti ověřit jejich závěry a posoudit, jaké nejistoty s nimi souvisejí.
Spoluzakladatel Anthropic Sam McCandlish uvedl, že firma zveřejnění podrobností nepovažovala za správné, protože by mohly pomoci konkurenci a poskytnout jí návod k rychlejšímu vývoji. Anthropic podle něj plánuje v následujících týdnech zveřejnit vlastní zprávu o tempu pokroku a nové kroky v oblasti bezpečnosti. Zjištění METR zároveň obnovila debatu o nezávislém dohledu nad vývojem pokročilé AI.