Amazon chce oslabit závislost AI na Nvidii nástrojem TorchNeuron
AWS představilo TorchNeuron, který má vývojářům usnadnit přesun aplikací napsaných v PyTorchi na vlastní čip Trainium. Amazon zároveň chce upravit samotný PyTorch tak, aby nebyl tolik navázaný na hardware Nvidie.
Přesun na Trainium má být jednoduchý
Amazon Web Services (AWS) představilo TorchNeuron, nástroj určený vývojářům, kteří chtějí provozovat své aplikace umělé inteligence na čipu Trainium. Podle Amazonu stačí u aplikací vytvořených v PyTorchi změnit jeden řádek konfigurace. Přepisovat jejich zdrojový kód by nemělo být potřeba.
PyTorch je bezplatný nástroj s otevřeným zdrojovým kódem pro tvorbu, trénování a spouštění modelů umělé inteligence. Amazon uvádí, že používá PyTorch přibližně 85 % AI aplikací. Pro vývojáře tedy může být snadná cesta k jinému hardwaru důležitá: nemuseli by kvůli změně čipu začínat s aplikací znovu.
Souboj o výhodu Nvidie
Nvidia si v oblasti AI čipů vybudovala silnou pozici mimo jiné díky softwaru CUDA. Ten umožňuje spouštět aplikace na jejích grafických procesorech a dalším hardwaru. Podle TechCrunche firma dlouhodobě zajišťovala, aby CUDA dobře spolupracovala s PyTorchem, a tím se hardware Nvidie stal pro jeho uživatele běžnou volbou.
TorchNeuron má tento náskok částečně obejít tím, že nabídne cestu od PyTorche k čipu Trainium. Samotný Amazon však nechce zůstat jen u vlastního nástroje. Oznámil také, že chce do hlavního projektu PyTorch přispět úpravami, které odstraní části kódu svazující tento framework s konkrétními čipy. Cílem je podle firmy větší nezávislost PyTorche na jednotlivých výrobcích hardwaru.
Amazon sází na celý cloud
AWS argumentuje, že jeho nabídka nespočívá pouze v ceně výpočtů. Startupy podle firmy získají vedle Trainia také přístup k celé cloudové infrastruktuře AWS, kterou mohou využít při přechodu od prototypu k ostrému provozu. Colin Brace z AWS Annapurna Labs, divize vyrábějící vlastní čipy Amazonu, uvedl, že firma nechce, aby si vývojáři museli vybrat poskytovatele zaměřeného pouze na výpočetní výkon a zbytek infrastruktury řešit zvlášť.
Dalším bodem nabídky je využití stejného čipu pro trénování modelu i jeho následné nasazení, tedy inferenci. AWS tvrdí, že propojení těchto činností může snížit náklady na celý provoz, i když cena za jednotlivý token nemusí být nejnižší. Jako příklad firma uvádí Deepgram, poskytovatele AI hlasových služeb, který podle AWS po přechodu na Trainium zpracovává při produkční přesnosti o 70 % více audia za dolar.
Přínos ukáže až praxe
Přenos aplikací mezi různými čipy není úplně nový. Uživatelé PyTorche mohou podobnou změnou konfigurace nasadit aplikace také na grafické procesory AMD nebo na čipy Applu. Amazon se proto snaží přesvědčit vývojáře nejen jednoduchostí samotného přechodu, ale i výhodami svého cloudového prostředí.
Větší nezávislost PyTorche na Nvidii by mohla dát vývojářům širší výběr hardwaru a případně zlevnit provoz. Zatím ale není jisté, zda odstranění vazeb na konkrétní čipy skutečně zjednoduší práci, nebo přinese další komplikace s nastavením. Dopad bude záviset na tom, jak se změny osvědčí v praxi a jak na ně zareaguje komunita kolem PyTorche.