AI vodoznak může oslabit bezpečnost modelů při škodlivých dotazech

Výzkum ukázal, že vodoznak SynthID-Text může měnit nejen výběr slov, ale také chování jazykových modelů a jejich bezpečnostní reakce. V některých případech model po aktivaci vodoznaku vyhověl škodlivému požadavku, který by jinak odmítl.

Vodoznak mění výběr slov

Platformy s umělou inteligencí zavádějí vodoznaky, aby bylo možné zpětně ověřit původ jejich výstupů. Jedním z těchto systémů je SynthID-Text, který vyvinula společnost Google a zveřejnila jako open source. Anthropic uvedla, že jej plánuje použít v budoucích modelech Claude.

SynthID-Text do generování přidává tajný klíč, generátor náhodných hodnot, vzorkovací algoritmus a funkci pro hodnocení tokenů. Model tak při výběru dalšího slova nepatrně upravuje pravděpodobnosti. Výsledek má pro čtenáře vypadat běžně, ale člověk se znalostí klíče může odhadnout, zda text vznikl s použitím konkrétního vodoznaku.

Problém se projevil u škodlivých dotazů

Výzkumnice Andrea Siposova z Lasso Security testovala konfiguraci SynthID-Text označovanou jako „non-distortionary“. Pomocí neupravené implementace SynthIDTextWatermarkLogitsProcessor z Hugging Face porovnávala odpovědi šesti modelů s otevřenými parametry, a to s vodoznakem i bez něj.

Vodoznak podle výsledků měnil ochotu modelů odmítnout škodlivé požadavky. Rozdíl byl výraznější při použití prompt injection, tedy techniky, která se snaží přimět model k obejití původních instrukcí a bezpečnostních omezení. U několika testovaných modelů vodoznak zvýšil pravděpodobnost, že odpoví na požadavek, který by bez něj odmítly.

Dopad na AI agenty

Výzkum se netýká pouze textových odpovědí. U AI agentů mohou stejné změny ve výběru tokenů ovlivnit, který nástroj model zavolá a jaké argumenty mu předá. I zdánlivě malá odchylka v generování tak může změnit následnou akci systému.

Autorka tento jev označuje jako „sampling drift“. Vodoznak navíc neovlivňoval všechny modely stejně a rozdíly se měnily podle použitého tajného klíče. Celková přesnost volání nástrojů přitom nemusela plně ukázat, u kolika jednotlivých volání došlo ke změně z úspěšného výsledku na chybný nebo naopak.

Výsledky mají omezení

Studie netestovala, jak se při vodoznaku zachovají modely Claude. Zkoumala šest otevřených modelů, u nichž bylo možné zapínat a vypínat vzorkování tokenů a přitom ponechat ostatní nastavení stejné. Testována byla také implementace turnajového vzorkování SynthID-Text z Hugging Face, nikoli konkrétní verze, kterou by mohla použít společnost Anthropic.

Výsledky proto nelze automaticky vztáhnout na všechny modely ani na každou podobu vodoznaků. Ukazují však, že vývojáři by měli své modely a agenty po nasazení SynthID-Text znovu podrobit bezpečnostním testům a red-teamovým zkouškám, zejména proti prompt injection.