Spolutvůrce ChatGPT uvádí Jev, model pro rychlé programové rozhodování
Startup TypeSafe AI po dvou letech utajeného vývoje představil model Jev. Ten nemá vést konverzaci ani vytvářet text, ale převádět neuspořádaná data na strukturovaná rozhodnutí, která lze přímo zapojit do softwaru.
Model místo textu vrací rozhodnutí
Jev vznikl jako takzvaný System One Model pro automatizaci rozhodovací logiky v produkčních systémech. Za projektem stojí Diogo Almeida, veterán OpenAI a spolutvůrce ChatGPT. TypeSafe AI tvrdí, že model se od běžných velkých jazykových modelů zásadně liší: negeneruje text po jednotlivých tokenech, ale zpracuje vstupní stav a v jediném paralelním dotazu vrátí typově bezpečné strukturované hodnoty.
Výstupy jsou omezené předem definovanými schématy. Díky tomu mají odpadnout některé mezikroky obvyklé při zapojování konverzačních modelů do firemních aplikací, například převádění textu do požadovaného formátu nebo dodatečné ochranné vrstvy. Cílem je také zabránit syntaktickým chybám a halucinacím ve výsledku.
Důraz na kalibraci pravděpodobnosti
TypeSafe model trénoval metodou nazvanou Reinforcement Learning for Calibrated Decisions (RLCD), tedy posilováním pro kalibrovaná rozhodnutí. Nejde pouze o to zvolit jednu možnost, ale také přiřadit jí pravděpodobnost, která má odpovídat skutečné šanci, že je výsledek správný. Systém tak může do další logiky předat jak rozhodnutí, tak míru své jistoty.
Jev používá hardwarově optimalizovaný paralelní vzorkovač. Ten vyhodnocuje strukturované hodnoty současně a zvládá výběr až z 255 diskrétních možností. Podle popisu nejprve jednotlivé varianty samostatně ohodnotí a následně provede výběr. Almeida model přirovnává k „frontier-intelligence function call“: na vstupu je neuspořádaný stav a na výstupu typově určená pravděpodobnostní rozhodnutí.
Rychlost a náklady podle firmy
Interní testy TypeSafe uvádějí koncovou odezvu mezi 70 a 500 milisekundami. U běžných konverzačních špičkových modelů firma naměřila 3 až 329 sekund. Ve zveřejněných hodnoceních pracovních postupů dosáhl Jev při rozhodování ve vícekrokových větvích až 193,6násobného zrychlení oproti srovnávaným systémům GPT-6 Astra a Fable 5.1.
Vstupní zpracování má stát 0,042 dolaru za milion tokenů, zatímco u standardních konverzačních služeb firma uvádí rozmezí 0,20 až 10 dolarů. TypeSafe zároveň tvrdí, že výstupní tokeny neúčtuje, protože model negeneruje autoregresivní text.
Testy od Dooma po rozsáhlá data
V praktických ukázkách Jev řešil větvení pravidel ve stavech hry Doom a při procházení webových stromů. Reaktivní bot ve hře pracoval s frekvencí 10 dotazů za sekundu a jeho provoz měl podle firmy vycházet přibližně na 7 dolarů za hodinu. Test Wikiracingu zase vybíral odkazy v husté síti encyklopedických stránek a dokončil průchody s menším počtem kroků než externí modely bez schopnosti uvažování.
TypeSafe vidí využití zejména v extrakci funkcí v reálném čase, datových pracovních postupech v petabajtovém měřítku, ověřování výstupů a automatizovaném větvení, kde ručně napsaná pravidla nemusí být dostatečně pružná. Firma nyní otevřela předběžný přístup pro vývojáře a začala přijímat první týmy z čekací listiny. Uvedené výsledky pocházejí z interních či firemně popsaných testů, nikoli z nezávislého srovnání.