Transformers nově podporuje kvantizované modely z llama.cpp

Knihovna Transformers nově umí pracovat s kvantizovanými modely určenými pro llama.cpp. Hugging Face o této změně informuje v článku, jehož titulek upozorňuje na propojení obou technologií.

Nová podpora

Hugging Face oznámil, že Transformers nově spouští takzvané quants pro llama.cpp. Jde o kvantizované modely, tedy modely označované způsobem, který souvisí s llama.cpp.

Z dostupného podkladu vyplývá především to, že Transformers nyní dokáže s těmito modely pracovat. Samotný titulek článku však neuvádí podrobnosti o tom, jak přesně byla podpora implementována ani které konkrétní varianty jsou zahrnuté.

Proč je to důležité

Oznámení propojuje dvě známé části ekosystému kolem jazykových modelů: Transformers od Hugging Face a llama.cpp. Novinka se týká právě jejich vzájemné kompatibility, nikoli představení nového modelu.

Kvantizované modely se v článku objevují pod označením „llama.cpp quants“. Z poskytnutého shrnutí ale nelze určit, jaké praktické výhody podpora přináší uživatelům, například zda vede k nižší paměťové náročnosti nebo rychlejšímu běhu.

Co zatím není známo

Krátké RSS shrnutí neobsahuje informace o konkrétních příkazech, postupech instalace ani o tom, na kterých zařízeních lze novou možnost využít. Neuvádí ani výsledky měření výkonu, seznam podporovaných formátů nebo příklady použití.

Tyto údaje proto nelze z dostupného podkladu doplnit. Jisté je pouze oznámení, že Transformers nově podporuje spouštění quants určených pro llama.cpp.

Souvislost s LLaMA

Název llama.cpp odkazuje na nástroje a modely z rodiny LLaMA, samotná zpráva však podle dostupných informací nepopisuje konkrétní model ani jeho novou verzi. Hlavním tématem je technická podpora v knihovně Transformers.

Další podrobnosti je možné hledat v původním článku Hugging Face s názvem „Transformers now runs llama.cpp quants“. Z poskytnutého shrnutí ale nelze bezpečně vyvodit více informací o rozsahu změny.