Místní AI láká soukromím, její používání je ale zatím plné překážek
Redaktor The Verge zkouší provozovat umělou inteligenci přímo na vlastním počítači. Místní modely mu pomohly roztřídit hry i analyzovat citlivá data, jejich nastavování a spolehlivost však mají k bezproblémovému asistentovi daleko.
Asistent, který zůstává v počítači
Redaktor The Verge Antonio G. Di Benedetto začal testovat umělou inteligenci, kterou není nutné posílat do cloudových služeb. Hlavní výhodou místního provozu je pro něj soukromí: citlivé informace nemusí nahrávat k externím poskytovatelům. Zároveň zkoumá, zda je taková AI dost užitečná, aby ospravedlnila nákup výkonného počítače s velkou operační pamětí.
Pokusy zahájil na Macu Studio s čipem M5 Ultra a 256 GB jednotné paměti. Nainstaloval do něj open-source aplikaci Hermes Agent, která funguje na macOS, Windows i Linuxu. Pro začátek zvolil model Qwen 3.8 Flash Next: má 125 miliard parametrů a zabírá přibližně 105 GB. Hermes lze používat i s cloudovými modely, při práci s místními je podle článku zdarma.
První úkoly: přehled dne a knihovna her
Po instalaci dokázal redaktor ovládat Hermese také přes chatovacího bota v Telegramu. Nejdřív mu zadal vytvoření ranního přehledu, který prochází e-mail a kalendář a přidává krátkou předpověď počasí. Automatizace ale zpočátku selhávala: počítač musel být v době spuštění úlohy v 7:30 vzhůru. Po úpravě nastavení začal přehled fungovat, jeho přínos je však zatím podle autora omezený.
Praktičtější se ukázalo uspořádání knihovny na Steamu, kde má více než 400 her. Hermes navrhl rozdělení podle žánrů a ponechal i zvláštní kategorie vytvořené uživatelem, například oblíbené hry nebo tituly pro společné hraní. Aby mohl s knihovnou pracovat, potřeboval přístup přes klíč Steam Web API. Po dokončení úkolu šel klíč snadno zneplatnit.
Citlivá data bez nahrávání do cloudu
Autor využil místní AI také k analýze finančních záznamů a k vytvoření tabulky porovnávající parametry nového notebooku. Právě u podobných úkolů pro něj záleží na tom, aby data neposílal cloudové službě. Informace o notebooku navíc podléhaly embargu. Místní zpracování tak umožnilo vyzkoušet nástroj i v situacích, kdy by použití online chatbotu nepřipadalo v úvahu.
Dalším cílem je automatizovat sérii testů notebooků. Ty autor běžně spouští ručně, každý test navíc opakuje třikrát kvůli výpočtu průměru. Hermes mu pomáhá připravovat Python skripty, ale jejich tvorba vyžaduje podrobné vysvětlování jednotlivých postupů. Automatizace zatím není hotová a její příprava zabrala čas.
Výkonný model není bezchybný pomocník
Zkušenost podle Di Benedetta ukazuje, že ani výkonný místní model neumí bez další práce spolehlivě vyřešit každý úkol. Ranní přehled se opakovaně porouchal a některé automatizace je potřeba pečlivě nastavovat. Uživatel navíc musí nástroji udělit oprávnění k práci se svým počítačem či účty, což je třeba zvážit i při využití výhody místního provozu.
Autor proto Hermese chápe jako běžný počítačový nástroj, nikoli jako digitálního společníka. Testování chce dál rozvíjet a vyzkoušet také menší modely na dalších zařízeních. Zatím však zůstává otevřené, kolik běžných uživatelů ocení větší kontrolu nad daty natolik, aby přijali složitější nastavování a nároky na hardware.