Nová obrana proti útokům na AI: prompt injection může agenty zastavit
Bezpečnostní výzkumníci z Tracebit obrátili známou slabinu jazykových modelů proti útočníkům. Metoda nazvaná „context bombing“ podle jejich testů výrazně snížila úspěšnost AI agentů při získávání přístupu k účtům v AWS.
Útok využívá instrukce ukryté v datech
Prompt injection označuje škodlivé příkazy vložené do obsahu, se kterým jazykový model pracuje. Může jít například o e-mail, pozvánku v kalendáři nebo soubor. Pokud agent takovou instrukci upřednostní před původním zadáním, může se pokusit vyvést citlivá data nebo provést jinou nebezpečnou operaci.
Podle Ars Technica nyní výzkumníci z Tracebit využili stejný princip obráceně. Do prostředí s hesly, kryptografickými klíči a dalšími tajnými údaji vložili speciálně připravené příkazy. Ty měly model přimět k akci, kterou jeho bezpečnostní pravidla zakazují. Výsledkem bylo odmítnutí pokračovat v útoku.
Model po „bombardování“ odmítne pokračovat
Tracebit tuto techniku pojmenoval „context bombing“. Vložený text má podle firmy vyvolat ochranný mechanismus modelu a narušit jeho původní kontext natolik, že agent začne odmítat další požadavky. Andy Smith, spoluzakladatel a šéf Tracebit, účinek popsal slovy: „Ultimately we’re triggering a refusal mechanism in the context.“
Výzkumníci testovali modely Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro a Kimi 2.6 v simulovaném prostředí Amazon Web Services. Agenti dostali běžné úkoly pro vývojáře, při nichž procházeli dostupné zdroje a mohli narazit na nastražené řetězce.
Úspěšnost útoků prudce klesla
Ve 152 testovacích bězích snížilo vložení jediného řetězce do návnadového tajného údaje podíl případů, kdy agent získal úplnou administrátorskou kontrolu, z 57 procent na 5 procent. Úspěšné převzetí účtu spojené s vytvořením trvalého přístupu kleslo z 36 procent na 1 procento.
Podíl běhů, v nichž agent zvládl jakoukoli útočnou cestu, se snížil z 91 procent na 15 procent. Průměrný počet úspěšně dokončených cest klesl z 1,53 na 0,16. U nejvýkonnějšího testovaného agenta, Opus 4.8, klesla úspěšnost získání administrátorského přístupu z 93 procent na nulu.
Doplňuje varování před útokem
Context bombing navazuje na dřívější obranu Tracebitu nazvanou Tracebit Canariens. Ta využívá falešné AWS zdroje, které vypadají jako běžná infrastruktura, ale ve skutečnosti se nepoužívají. Jakmile je AI agent prozkoumá, obránci dostanou upozornění.
Canariens podle průměrných výsledků zachytily začátek útoku do osmi minut. Agentům přitom trvalo v průměru 14 minut, než získali administrátorskou kontrolu. Nová metoda má proto varování doplnit o aktivní překážku. Ars Technica zároveň upozorňuje, že základní problém prompt injection zatím nebyl vyřešen a vývojáři se stále opírají především o bezpečnostní zábrany modelů.