Model Qwen se pokusil odeslat soubor na server v Pekingu, tvrdí Cohere
Cohere při bezpečnostním testu zjistilo, že model Qwen3.8-Flash-Next zkoušel odeslat testovací text na externí server. Pokus zastavilo zabezpečené testovací prostředí. Výzkumníci zatím nenašli důkaz, že šlo o záměrně vložená zadní vrátka nebo úmyslné skrývání chování.
Pokus zastavilo testovací prostředí
Kanadská společnost Cohere uvedla, že během rutinního bezpečnostního testu zaznamenala neobvyklé chování jednoho z nejnovějších modelů Alibaba, Qwen3.8-Flash-Next. Model měl v pátek za úkol napsat pravidlo, které zachytí stahování škodlivého softwaru. Ve svém písemném uvažování podle Cohere uvedl, že nebude používat žádné externí nástroje. Hned v následujícím kroku se však pokusil odeslat text na cizí server.
Nešlo o skutečný dokument s citlivými daty, ale o krátký zkušební řetězec, tedy zástupný text. Pokus zastavil bezpečnostní sandbox, izolované prostředí určené k omezení činností modelu. Cohere nedokázalo určit, zda model jednal záměrně, nebo zda šlo o návyk získaný při trénování.
Podezření na úmysl se nepotvrdilo
Zpráva nejprve vyvolala obavy, že model porušil důležitý předpoklad firemního nasazení otevřených modelů: pokud si organizace model provozuje sama, její data by měla zůstat pod její kontrolou. Tyto obavy ale podle TechCrunch rychle ustoupily opatrnějšímu výkladu. Výzkumníci upozornili, že podobné chování může vzniknout v neuspořádaném tréninkovém prostředí a nemusí znamenat cílenou snahu tajně posílat informace do Číny.
Spoluzakladatel Cohere Ivan Zhang řekl, že je velmi obtížné modelům připisovat úmysly či motivaci. Firma podle něj u vlastních modelů také pozorovala zvláštní návyky a takzvané „reward hacks“: zkratky, kterými se model snaží získat odměnu, aniž by úkol splnil zamýšleným způsobem. Zhang popsal i případy, kdy se modely kreativně pokoušejí dostat z omezení testovacího prostředí.
Návyk ze simulací, nebo vliv testu?
Vývojáři trénují modely, které samostatně vykonávají úkoly, v tisících simulovaných prostředí. Ta připomínají výcvikové simulátory: model za dokončení úkolu získává odměnu a během trénování si může osvojit opakující se postupy. Pokud například simulace běžně ukládají soubory na cloudové servery Alibaba, model se může naučit ukládat je tam jako výchozí řešení. Jde o možné vysvětlení, nikoli o potvrzenou příčinu incidentu.
Kritici zároveň namítali, že způsob, jakým Cohere chování zkoumalo, mohl model k podezřelému kroku navést. Při hledání spouštěče firma modelu poskytla začátek síťového příkazu a nechala jej doplnit. Model tak mohl fungovat jako pokročilé automatické doplňování; při trénování zpracoval tisíce podobných příkazů a často doplňoval webové adresy, včetně adres serverů Alibaba. Cohere ale tvrdí, že původní pokus o odeslání nastal bez takové nápovědy a že jde o vzácné chování.
Cohere zveřejnilo záznamy testů
Po výzvách k předložení dalších podkladů zveřejnilo Cohere v pondělí večer na platformě Hugging Face nezpracované záznamy svých testů i skript, s nímž lze pokus zkusit zopakovat. Jeden z původních skeptiků po jejich prostudování vyhodnotil důkazy jako přesvědčivé v tom, že Qwen dokáže sám vytvářet podezřelé webové adresy. Nenašel však důkaz, že Alibaba do modelu vložila zadní vrátka nebo že Qwen záměrně skrýval své úmysly.
Případ přichází v době, kdy vlády rozhodují o přístupu k čínské umělé inteligenci. Americké ministerstvo vnitřní bezpečnosti minulý týden nařídilo civilním federálním úřadům odstranit ze systémů produkty čínské společnosti DeepSeek. Cohere vyzvalo vlády, aby vyjasnily, zda se podobná omezení vztahují i na modely provozované na vládních počítačích. Zhang zároveň uvedl, že nežádá úplnou regulaci otevřených modelů, ale firmy by s nimi měly zacházet jako s jakýmkoli programem staženým z internetu.