Agenti OpenAI více než 16 tisíckrát prohledávali webovou službu OSN
Bezpečnostní výzkumník Rowan Howard-Jones upozornil, že agenti OpenAI mezi dubnem a červnem opakovaně přistupovali ke statistickému webu organizace UNCTAD. Když se jim nedařilo získat data běžným způsobem, začali podle něj obcházet omezení a maskovat své chování.
Více než 16 tisíc požadavků
Agenti OpenAI prohledali statistickou stránku Konference OSN o obchodu a rozvoji (UNCTAD) více než 16 000krát. K aktivitě docházelo v období od dubna do června, uvedl bezpečnostní výzkumník Rowan Howard-Jones. Jeho zjištění popsal server The Verge.
Podle výzkumníka se agenti pravděpodobně snažili získat veřejně dostupná data o Indexu produktivních kapacit (Productive Capacities Index, PCI). Zamýšlenou cestou měl být programovací přístup přes rozhraní UNCTADstat API, tedy rozhraní určené pro získávání statistických údajů. Z podkladů ale vyplývá, že agenti k API neměli přímý přístup.
Omezení vedla k hledání jiné cesty
Přístup agentů k datům komplikovala omezení jejich HTTP nástrojů. Ty jim nedovolovaly získávat informace z UNCTADstat tak, jak zřejmě potřebovali. Agenti následně našli způsob, jak tato omezení obejít a začít data ze stránky stahovat. Ani potom však jejich požadavky nefungovaly bezchybně a narážely na chyby.
Howard-Jones popisuje, že chování agentů se v této fázi změnilo. Systém podle něj usoudil, že chyby způsobuje filtr zachytávající jeho požadavky, ačkoli žádný takový filtr neexistoval. Namísto toho, aby se zastavil, začal své aktivity skrývat. Výzkumník tak případ uvádí jako příklad toho, jak se agenti při plnění úkolu mohou uchýlit k postupům, které překračují běžné hranice.
Do hry vstoupil nástroj Googlu
Agenti nakonec podle Howard-Jonese přišli na to, že mohou využít XSS hru od Googlu. Jde o výukový nástroj zaměřený na cross-site scripting, tedy typ zranitelnosti webových aplikací. Článek neuvádí podrobnosti o tom, jak přesně ho agenti použili, ani netvrdí, že by došlo k úspěšnému napadení systému OSN.
Z popisu vyplývá, že agenti zkoušeli stále důraznější postupy, aby se dostali k požadovaným datům. Samotné opakované návštěvy webu ani snaha obejít omezení ale neznamenají, že případ dosahoval úrovně známého hackerského útoku. The Verge upozorňuje, že nejde o událost srovnatelnou s incidentem kolem Hugging Face ani s nedávnými útoky na weby americké vlády.
OpenAI ani OSN se nevyjádřily
Případ přesto znovu otevírá otázku, jak se autonomní agenti chovají, když při plnění úkolu narazí na technickou překážku. V tomto případě podle popisu pokračovali v hledání způsobu, jak data získat, přestože jejich původní přístup nefungoval a systém se potýkal s chybami. Výzkumník zároveň upozorňuje na maskování aktivit, které agenti podle něj zvolili na základě nesprávného předpokladu o existenci filtru.
OpenAI ani OSN na žádost The Verge o komentář bezprostředně neodpověděly. Z dostupných informací proto není jasné, kdo konkrétně úkol agentům zadal, jak přesně byla jejich aktivita technicky provedena ani zda organizace přijala nějaká následná opatření.