Dva miliony testovacích promptů odhalily úniky dat v AI dodavatelském řetězci
Bezpečnostní výzkumník HD Moore vložil do téměř dvou milionů požadavků jedinečné testovací údaje a sledoval, kam se dostanou. Odhalil napadené poskytovatele, další prodejce ukládající prompty i případy, kdy služby nerespektovaly nastavení ochrany soukromí.
Tajné údaje jako digitální návnada
Výzkumník HD Moore z bezpečnostní firmy Dragos rozeslal téměř dva miliony promptů různým poskytovatelům umělé inteligence. Do každého vložil jedinečný, dosud nepoužitý údaj: například přístupové klíče k prázdným účtům AWS, hesla pro služby SSH nebo neveřejné adresy a odkazy na soukromé repozitáře. Veškerou infrastrukturu, která by se pokusila údaje použít, měl pod kontrolou.
Těmto sledovacím údajům se říká „kanárci“. Protože se každý objevil pouze v jednom požadavku, Moore mohl podle jeho dalšího použití určit, která část řetězce s ním nakládala. Výsledky podle něj ukázaly krádeže promptů, bezpečnostní incidenty i nedostatky v ochraně zákaznických dat.
Útočníci zkoušeli ukradené klíče
Nejzávažnější zjištění se týkalo nejméně tří napadených poskytovatelů. Útočníci získali přístup k požadavkům a ukradené klíče AWS následně použili k prohledávání úložišť S3, správců tajných údajů a konfiguračních úložišť. Pokoušeli se také zapínat modely v AWS Bedrock a přidávat vlastní uživatele s oprávněním IAM, aby si udrželi přístup. Testovací klíče použili při desítkách tisíc volání rozhraní AWS.
Některé zachycené požadavky byly označené jako Zero Data Retention (ZDR), tedy s požadavkem na neuchovávání dat. To však nepomohlo, pokud už útočník pronikl přímo do infrastruktury poskytovatele. Moore navíc zjistil, že některé přístupové údaje byly použity během několika hodin od vložení do promptu. Dva napadení poskytovatelé podle něj pravděpodobně čelili stejnému útočníkovi.
Prompty putují přes řadu prostředníků
Mnoho aplikací neposílá požadavky přímo velkým vývojářům modelů. Využívají takzvané AI routery, například OpenRouter nebo Vercel, které vybírají vhodný model či poskytovatele. Prompt se při cestě může dostat přes několik zprostředkovatelů a hostitelů. Přestože se přenáší šifrovaně, na jednotlivých zastávkách se dešifruje, aby s ním služby mohly pracovat. Každý článek řetězce ho může také zaznamenávat a uchovávat podle vlastních pravidel.
Moore odhalil i prodejce, kteří podle něj požadavky zaznamenávali a následně předávali dál lidem, kteří testovací přístupové údaje využili. Rozpoznal je porovnáváním požadavků ke stejnému modelu poslaných přes různé prodejce. Pokud se údaje zneužily jen v jedné variantě, odpovědnost podle něj nebyla na modelu, ale na prostředníkovi.
Nastavení soukromí nemusí stačit
Další část experimentu ukázala, že některé služby vyhledávaly odkazy vložené do promptů. Nejvýraznější případ se týkal čínské AI laboratoře, jejíž systémy načetly tajné adresy z více než poloviny požadavků zaslaných jejím modelům od července do října. Přibližně dvě třetiny těchto požadavků měly označení „no data collection“ nebo ZDR. Podobné načítání se objevilo i u modelů přeprodávaných přes americké poskytovatele, přestože zákazník mohl očekávat, že jeho data zůstanou v USA.
Po zveřejnění výzkumu OpenRouter podle aktualizace Ars Technica informoval některé zákazníky, že jejich prompty mohly být přečteny. Uvedl, že možné vystavení se týkalo požadavků poslaných do modelu MiniMax, ať už přímo, nebo přes prodejce AtlasCloud, Novita a StreamLake. OpenRouter odstranil u koncových bodů modelů MiniMax označení „Zero Data Retention“. Moore doporučuje pro citlivá data vlastní provoz modelů, případně přímou smlouvu s poskytovatelem a pečlivý výběr navazujících služeb.