llama.cpp a ggml vydávají verzi 1.0.0 a slibují stabilnější rozhraní

Projekt llama.cpp a jeho podkladová knihovna ggml dosáhly verze 1.0.0. Vývojáři tím chtějí výslovněji chránit vývojáře aplikací, které na jejich rozhraních závisejí, a zavádějí jasná pravidla pro změny v dalších verzích.

První hlavní verze po třech a půl letech

Tým ggml-org oznámil vydání knihoven llama.cpp v1.0.0 a ggml v1.0.0. První nabízí inferenci jazykových modelů v C a C++, druhá slouží jako tensorová knihovna pro strojové učení. Obě jsou součástí projektu, který umožňuje spouštět multimodální jazykové modely na různých zařízeních – od běžných počítačů až po výkonné podnikové servery.

Podle autorů se projekt za tři a půl roku od svého vzniku rozrostl a jeho knihovny využívá řada navazujících aplikací. S rostoucím počtem integrací přibývá také vývojářů závislých na jejich rozhraních. Verze 1.0.0 má proto zdůraznit odpovědnost projektu vůči těmto uživatelům a vytvořit pevnější základ pro další vývoj.

Změny rozhraní mají být lépe předvídatelné

Hlavní novinkou je závazek, že nekompatibilní změny veřejného API nebo ABI budou do budoucna označeny zvýšením hlavní verze. API určuje, jak mohou knihovnu využívat jiné programy; ABI se týká kompatibility na úrovni jejich sestavení a vzájemného propojení. Vývojáři tak chtějí jasněji upozorňovat na změny, které mohou vyžadovat úpravy navazujících aplikací.

Pro projekty ggml-org používající sémantické verzování platí také pravidla pro menší změny. Nová funkce, podpora modelu či aktualizace backendu bez narušení zpětné kompatibility znamená zvýšení vedlejší verze. Oprava chyby bez změny API se projeví zvýšením opravného čísla. Změna hlavní verze je vyhrazena pro nekompatibilní úpravu veřejného C API v adresáři ./include.

Knihovny míří na různá zařízení

llama.cpp staví na ggml, které využívá specializované backendy pro práci s různým hardwarem. Backend lze sestavit jako dynamickou knihovnu a podle potřeby jej načíst až při běhu programu. Projekt uvádí podporu více než 150 variant architektur modelů a také všech hlavních metod spekulativního dekódování.

Autoři popisují distribuci softwaru prostřednictvím několika kanálů. Předběžné artefakty jsou určeny pro Linux, macOS, Windows, Android a iOS; mezi další uvedené možnosti patří Docker pro Linux, Homebrew pro macOS a Linux nebo Winget pro Windows. Pro macOS je zmíněn také MacPorts a pro zařízení Apple balíček XCFramework. Tým chce možnosti distribuce dále rozšiřovat.

Vývoj s pomocí AI, ale pod lidskou kontrolou

Tým uvádí, že při vývoji využívá jazykové modely, zároveň však chce zachovat kontrolu nad architekturou a rozumět detailům implementace. Za hlavní priority označuje kvalitu kódu a důsledné ověřování změn. Pro rychlejší vývoj investuje také do infrastruktury pro průběžnou integraci a testování.

Při škálování testů využívá technologie Hugging Face, včetně HF Buckets a HF Jobs. Na provozu samoobslužných testovacích strojů spolupracuje s NVIDIA, AMD, Qualcomm, Arm, IBM a Intel. Vydání verze 1.0.0 tým označuje za společný úspěch komunity a přispěvatelů, kteří se na projektu podíleli.