Nový model od spoluautora ChatGPT sází na pravděpodobnosti místo textu
Startup TypeSafe AI představil model Jev, který negeneruje text, ale předem definované výstupy a jejich pravděpodobnosti. Vývojáři oceňují jeho rychlost, nízkou cenu a využití při automatizaci, kde může v některých úlohách doplnit nebo nahradit velké jazykové modely.
Odklon od lidského jazyka
Diogo Almeida pomáhal v OpenAI s vývojem ChatGPT a podílel se také na technice RLHF, tedy učení z lidské zpětné vazby. Přesto ho podle vlastních slov možnosti chatbotu zklamaly. Uměl dobře pracovat s lidským jazykem, ale to samo o sobě podle Almeidy neznamenalo, že bude stejně užitečný pro automatizaci, protože počítače pracují s jiným typem jazyka.
Almeida proto před dvěma lety z OpenAI odešel a založil TypeSafe AI. Firma nyní zveřejnila Jev, transformerový model, který není klasickým velkým jazykovým modelem (LLM). Namísto tvorby textu vrací pravděpodobnosti neboli takzvaná „kalibrovaná rozhodnutí“.
Rychlé a předvídatelné výstupy
Vývojáři předem určují, jaké výstupy mohou nastat. Jev proto podle TypeSafe AI nemůže halucinovat v podobě smyšleného textu a jeho používání je levnější i rychlejší. Výstupní tokeny jsou zdarma, zatímco vstupní se účtují po miliardách, nikoli po milionech.
Zájem byl podle článku tak vysoký, že TypeSafe AI krátce nedokázala obsloužit uživatele prostřednictvím svého API. Pranit Sharma z Vercelu uvedl, že při klasifikaci příkazů z hlediska bezpečnosti byl Jev po nahrazení modelu ChatGPT Luna 5.6 od OpenAI pětkrát až osmnáctkrát rychlejší a zároveň přesnější.
Nikhil Mudholkar z Bryo AI porovnával Jev s Gemini při třídění firemních e-mailů. Gemini byl v jeho testu o něco přesnější, ale desetkrát až dvacetkrát dražší. Mudholkar vyzdvihl také pravděpodobnostní skóre modelu: „it is the only one that hands back a real probability which makes it ideal for automating workflows!!“
Doplněk pro další modely
Jev nemusí sloužit jen jako náhrada LLM. Může kontrolovat práci jiných modelů, sledovat záznamy činnosti agentů nebo pomáhat předcházet jailbreakům. Protože je levný, mohl by také rozhodovat, který model je pro konkrétní úlohu dostatečný, a směrovat k němu jednotlivé požadavky.
Armin Ronacher z Earendil upozorňuje, že pravděpodobnost sama o sobě není zárukou správnosti. Uživatel musí vyhodnotit, co s výsledkem udělá. Padesátiprocentní výsledek může znamenat nejistotu, zatímco hodnota 95 % může být dostatečná pro automatizované rozhodnutí.
Model založený na syntetických datech
Almeida o architektuře Jevu mnoho neprozradil. Vnější pozorovatelé se domnívají, že může vycházet z otevřeného jazykového modelu. TypeSafe AI ho označuje za „System One model“, který se soustředí na intuici a konkrétní úkol, nikoli na dlouhé uvažování.
Model měl být trénován výhradně na syntetických datech pomocí postupu, který Almeida nazývá „reinforcement learning from calibrated decisions“. Firma chce připravit další verze i pro nové modality. Podle Ronachera lze očekávat konkurenci, jakmile se ukáže praktická hodnota tohoto přístupu. Název Jev odkazuje na ekonoma Williama Stanleyho Jevonse a jeho paradox: když zlevní určitá komodita, může se začít používat ve výrazně větší míře. Stejný efekt chce TypeSafe AI podle Almeidy dosáhnout u „inteligence“ v softwaru.