Transformers nově podporuje kvantizované modely z llama.cpp
Knihovna Transformers nově umí pracovat s kvantizovanými modely určenými pro llama.cpp. Hugging Face o této změně informuje v článku, jehož titulek upozorňuje na propojení obou technologií.
Nová podpora
Hugging Face oznámil, že Transformers nově spouští takzvané quants pro llama.cpp. Jde o kvantizované modely, tedy modely označované způsobem, který souvisí s llama.cpp.
Z dostupného podkladu vyplývá především to, že Transformers nyní dokáže s těmito modely pracovat. Samotný titulek článku však neuvádí podrobnosti o tom, jak přesně byla podpora implementována ani které konkrétní varianty jsou zahrnuté.
Proč je to důležité
Oznámení propojuje dvě známé části ekosystému kolem jazykových modelů: Transformers od Hugging Face a llama.cpp. Novinka se týká právě jejich vzájemné kompatibility, nikoli představení nového modelu.
Kvantizované modely se v článku objevují pod označením „llama.cpp quants“. Z poskytnutého shrnutí ale nelze určit, jaké praktické výhody podpora přináší uživatelům, například zda vede k nižší paměťové náročnosti nebo rychlejšímu běhu.
Co zatím není známo
Krátké RSS shrnutí neobsahuje informace o konkrétních příkazech, postupech instalace ani o tom, na kterých zařízeních lze novou možnost využít. Neuvádí ani výsledky měření výkonu, seznam podporovaných formátů nebo příklady použití.
Tyto údaje proto nelze z dostupného podkladu doplnit. Jisté je pouze oznámení, že Transformers nově podporuje spouštění quants určených pro llama.cpp.
Souvislost s LLaMA
Název llama.cpp odkazuje na nástroje a modely z rodiny LLaMA, samotná zpráva však podle dostupných informací nepopisuje konkrétní model ani jeho novou verzi. Hlavním tématem je technická podpora v knihovně Transformers.
Další podrobnosti je možné hledat v původním článku Hugging Face s názvem „Transformers now runs llama.cpp quants“. Z poskytnutého shrnutí ale nelze bezpečně vyvodit více informací o rozsahu změny.