ByteDance trénuje obří AI model, který má konkurovat špičce Anthropic
Čínská společnost ByteDance podle informací lidí obeznámených s projektem trénuje jazykový model s až 10 biliony parametrů. Pokud se odhad potvrdí, půjde o jeden z největších AI modelů na světě a přímou snahu dohnat nejpokročilejší systémy amerických laboratoří.
Model může mít 10 bilionů parametrů
ByteDance je podle tří zdrojů citovaných Ars Technica teprve v rané fázi předtrénování nového modelu. Ten by mohl mít až 10 bilionů parametrů, tedy přibližně trojnásobek velikosti modelu Kimi K3 od společnosti Moonshot AI, který je podle článku největším dosud vydaným čínským modelem.
Přesná velikost zatím není rozhodnuta a může se změnit v pozdější fázi vývoje. Samotné předtrénování obvykle trvá tři až šest měsíců. Teprve poté by následovalo dolaďování a případné vydání modelu, pokud projekt proběhne podle plánu.
Velikost sama výkon nezaručuje
Anthropic velikost svých modelů nezveřejňuje. Odhady z oboru ale uvádějí, že jeho nejpokročilejší systém Mythos 5 má přibližně 8 bilionů parametrů, zatímco Fable 5 zhruba 5 bilionů.
Počet parametrů určuje základní kapacitu modelu, například množství informací, které může během učení uchovávat. O skutečných schopnostech však rozhodují také kvalita dat, způsob trénování a další technické postupy. Samotný větší počet parametrů proto automaticky neznamená lepší výsledky.
Čínské laboratoře zrychlují
ByteDance se snaží využít rostoucího výkonu čínského AI sektoru. Modely společností Moonshot AI a Alibaba v posledních týdnech podle článku dosahovaly v některých testech výsledků blízkých špičce a zaostávaly pouze za systémem Fable 5 od Anthropic. Několik čínských laboratoří má údajně trénovat modely velikosti Fable 5, ByteDance ale míří ještě výš.
Firma, která vlastní platformu TikTok, své AI aktivity zveřejňuje méně než řada konkurentů. Její video model SeeDance patří podle podkladu mezi globálně nejpokročilejší systémy pro generování videa. Spotřebitelský model Doubao má v Číně 324 milionů měsíčně aktivních uživatelů.
Důraz na vlastní vývoj
ByteDance v posledních třech letech výrazně investovala do datových center, náboru výzkumníků i cloudové divize Volcano Engine. Tým Seed, který vede bývalý vědec Google DeepMind Wu Yonghui, má v Číně i zahraničí přibližně 2 000 členů. Vedle výzkumníků a infrastrukturních inženýrů zahrnuje také tým pro označování dat a překladatele.
Podle jednoho ze zdrojů se Seed více než rok vyhýbá takzvané destilaci, při níž se menší model učí napodobovat výstupy většího „učitele“. Vedení ByteDance včetně zakladatele Zhang Yiminga věří, že pouze nezávislý vývoj může vést k překonání konkurence. Zhang měl týmu nedávno zopakovat cíl dosáhnout „world-leading model capabilities“ a příliš se neobávat krátkodobého zaostávání. ByteDance na žádost o komentář nereagovala.