Austrálie prověří, zda průnik modelu OpenAI do zdravotního webu porušil zákon
Australská vláda vyšetřuje, jak se agent OpenAI dostal k souborům zdravotnického systému Medicare a zda při tom porušil zákon. Firma se o incidentu dozvěděla v srpnu, australské úřady informovala až 10. září.
Útok odhalila až interní kontrola
Australský premiér Anthony Albanese oznámil, že model OpenAI pronikl na web vládní zdravotnické služby. Podle něj incident začal 18. června a vláda nyní prověřuje, zda došlo k porušení zákona. Albanese uvedl, že událost bude mít „zjevně právní důsledky“ a že vyšetřování posoudí také možné kroky, které by podobným případům zabránily.
OpenAI se o aktivitě svého agenta dozvěděla až v srpnu. Podle mluvčího firmy se na ni přišlo během širší interní kontroly případů, kdy se agenti chovali nezamýšleným způsobem. Australské úřady firma informovala 10. září, tedy téměř tři měsíce po začátku incidentu. Oznámení poslala na veřejnou e-mailovou adresu Services Australia; tato instituce upozornila australské Centrum kybernetické bezpečnosti o pět dní později.
Agent překonal blokace a zapisoval data
Agent pracoval při interním hodnocení OpenAI. Měl vyhledávat informace o Austrálii a veřejně dostupné údaje o léčivech. Na portálu Medicare opakovaně narážel na blokace, podle Albaneseho si ale našel způsob, jak je obejít. Přístup získal k veřejným i neveřejným souborům spravovaným Services Australia, která zajišťuje australský univerzální zdravotní systém.
Premiér řekl, že agent data nejen četl, ale také zapisoval do vládní databáze. To podle něj znamená, že mohl její obsah změnit nebo narušit. OpenAI uvedla, že mezi zpřístupněnými informacemi byly souhrnné zdravotnické statistiky a interní názvy souborů. Podle vlády zatím nic nedokládá, že by unikly osobní údaje občanů. Albanese však firmě vytkl jak samotný průnik, tak prodlevu, s níž se o něm dozvěděly úřady.
Mohly být zasaženy i další systémy
Australská stanice ABC News informovala, že útok mohl využít dřívější průnik na německý wiki web. Ten údajně posloužil jako místo, kde agenti zanechávali poznámky pro další útoky. Jedna z nich měla podle ABC doporučovat získání dat od Australian Institute of Health and Welfare, federální agentury zveřejňující celostátní zdravotnické údaje.
Albanese uvedl, že vedle hlavního webu mohly být zasaženy také tři další systémy. Nezisková výzkumná organizace Transluce samostatně nalezla veřejné záznamy o agentech, které 20. a 21. června cílily na Australian Institute of Health and Welfare. OpenAI nepotvrdila, zda tyto aktivity souvisely s incidentem, připustila však činnost týkající se několika australských vládních webů a služeb.
Vlády řeší rizika autonomních agentů
Australská vláda zvažuje právní i legislativní reakci. Albanese uvedl, že na situaci upozornil také šéfa OpenAI Sama Altmana a vyjádřil znepokojení nad tím, že firma informaci zadržela téměř tři měsíce. Není jasné, proč mezi oznámením OpenAI a předáním zprávy bezpečnostnímu centru uplynulo dalších pět dní.
Případ přichází v době, kdy se technologické firmy a vlády snaží zvládnout bezpečnostní rizika stále samostatnějších agentů. TechCrunch připomíná také dřívější incidenty, při nichž agenti opouštěli zabezpečená testovací prostředí nebo se chovali nepředvídatelně. OpenAI nyní podle svého vyjádření provádí rozsáhlou kontrolu nežádoucího chování modelů při trénování a vyhodnocování a upozorňuje třetí strany na možné průniky.