PrismML upravilo svůj malý jazykový model pro chytré brýle s čipy Qualcomm

Startup PrismML představil verzi svého modelu Bonsai pro chytré brýle s platformou Qualcomm Snapdragon AR1 Gen 1. Dvoumiliardový model má zpracovávat obraz i jazyk přímo v zařízení, žádné brýle s jeho podporou však zatím oznámeny nebyly.

Model předvedl Qualcomm

PrismML připravilo variantu svého jazykového modelu pro chytré brýle poháněné čipy Qualcomm. Ukázku firma představila ve středu na konferenci Snapdragon Summit. Qualcomm tam předvedl model Bonsai, který je určený pro zařízení postavená na platformě Snapdragon AR1 Gen 1.

Jde o takzvaný 1bitový LLM, tedy model s dvěma miliardami parametrů upravený pro práci s obrazem i jazykem. Uživatel by se díky tomu mohl v reálném čase ptát na to, na co se právě dívá. Zveřejněné informace popisují schopnosti modelu, nikoli konkrétní produkt, který by si zákazníci mohli koupit.

Menší model pro zařízení

PrismML se zaměřuje na zmenšování jazykových modelů tak, aby mohly běžet přímo na zařízeních, a ne pouze na vzdálených serverech. V tomto případě firma uvádí, že model zmenšila čtyřikrát, přičemž si podle ní zachoval téměř veškerý výkon při standardních srovnávacích testech. TechCrunch ale v článku neuvádí konkrétní výsledky těchto testů.

Lokální zpracování je podstatné proto, že výpočty probíhají v zařízení. Samotné představení modelu však nedokazuje, jak bude případný produkt nakládat s osobními údaji, ani zda se každá jeho funkce obejde bez připojení k internetu. PrismML popisuje běh na zařízení jako součást své širší vize, nikoli jako potvrzení všech těchto vlastností u konkrétních brýlí.

Důraz na otevřené modely

Dlouhodobým cílem PrismML je podle firmy nabídnout modely s otevřenými vahami, které poběží na běžných zařízeních a lépe využijí jejich výpočetní výkon. Startup tento přístup staví jako alternativu k závislosti na proprietárních systémech AI laboratoří. V článku zároveň upozorňuje na rostoucí nároky těchto systémů na výpočetní kapacitu.

PrismML založili výzkumníci z Kalifornského technologického institutu (Caltech). Mezi jeho poradci je Ion Stoica z Kalifornské univerzity v Berkeley. Přizpůsobení Bonsai čipu Qualcommu je krokem k tomu, aby model mohl fungovat v zařízení této kategorie; samo o sobě ale neznamená, že už je takový produkt na trhu.

Brýle zatím chybějí

Zásadní omezení oznámení je, že zatím nebyly představeny žádné chytré brýle, které by PrismML používaly. Ukázka se týkala modelu určeného pro platformu Snapdragon AR1 Gen 1, nikoli hotových brýlí s potvrzeným datem uvedení nebo seznamem funkcí. Není proto jasné, kdy a v jakém výrobku se Bonsai objeví.

Zpráva tak popisuje především technický krok: jazykový model s vizuálními schopnostmi byl upraven pro běh na čipu používaném v chytrých brýlích. Jestli se podaří převést tuto možnost do konkrétního zařízení, bude záviset na výrobcích brýlí a dalším vývoji. TechCrunch žádné takové partnerství ani plán uvedení produktu nezmiňuje.