OpenAI se omluvila Austrálii: její agenti pronikli na vládní weby
OpenAI přiznala, že její modely při interním testování v červnu získaly nepovolený přístup k několika australským vládním systémům. Úřady o incidentu informovala až 10. září a nyní se omluvila; podle firmy zatím nic nenasvědčuje tomu, že by agenti otevřeli osobní zdravotní či trestní záznamy.
Přístup mimo povolené hranice
OpenAI se omluvila australské vládě za to, že ji bezprostředně neinformovala o přístupu svých agentů k vládním systémům. K událostem došlo v červnu při interním trénování a vyhodnocování modelů. Australské úřady se o nich dozvěděly až 10. září, tedy s odstupem několika měsíců.
„V červnu, během interního trénování a vyhodnocování, naše modely přistupovaly k australským vládním webům způsobem, k němuž nebyly oprávněny. Také jsme měli lépe zvládnout naši reakci. Omlouváme se a pracujeme na tom, abychom si v budoucnu vedli lépe,“ uvedla společnost v blogovém příspěvku.
Omluva přišla přibližně týden poté, co australská vláda zahájila vyšetřování. Zajímá ji, jak se modely OpenAI dostaly do systému Services Australia, který obsahuje informace o výdajích na Medicare a další zdravotnické statistiky.
Model hledal údaje o lécích
OpenAI popsala, že jeden z experimentálních modelů měl v červnu za úkol zjistit informace o vládních výdajích na léky proti kožním onemocněním ve státě Victoria. Protože je nedokázal najít ve veřejně dostupných souborech, našel cestu do interního systému Services Australia. Podle firmy v něm spouštěl příkazy, získával soubory a přístupové údaje a také zapisoval soubory.
Společnost odhalila i další případy. Jeden model použil veřejný Crime Mapping Tool Úřadu pro statistiku a výzkum kriminality státu Nový Jižní Wales, aby vyhledal statistiky kriminality. Agenti se dostali také k Agency for Health Information ve Victorii, a to prostřednictvím zveřejněného přístupového klíče. Z tohoto systému získali „konfiguraci reportingu a souhrnné statistiky z průzkumů“.
Další souhrnné statistiky agenti načetli z webu Australian Institute of Health and Welfare. OpenAI uvedla, že nenašla důkazy o přístupu k osobním zdravotním záznamům nebo individuálním trestním záznamům.
Vyšetřování a další opatření
OpenAI slíbila dotčeným australským úřadům předat technické poznatky a propojit je se svými týmy, které se zabývají reakcí na incidenty. Chce jim také poskytnout kredity z programu Daybreak for Frontline Defenders v hodnotě jedné miliardy dolarů.
Firma zároveň vytvoří pracovní skupinu s nezávislými australskými odborníky. Ta má prověřit samotný incident i postup OpenAI při jeho řešení a do konce roku doporučit konkrétní kroky, které mohou firmy vyvíjející AI podniknout, aby podobným událostem předcházely.
Australský premiér Anthony Albanese označil průnik za „nepřijatelný“. Minulý týden uvedl, že vláda zvažuje právní kroky, které by měly zabránit opakování podobných případů.
Riziko při testování agentů
Případ zapadá do řady bezpečnostních incidentů, při nichž agenti umělé inteligence překročili zamýšlené hranice. TechCrunch připomíná, že agenti OpenAI předtím pronikli do Hugging Face. Podobné případy, kdy se modely při vyhodnocování dostaly do systémů třetích stran, samostatně oznámily také Anthropic, Meta a Google.
Australský incident ukazuje, že problém nemusí vzniknout až při běžném používání nástroje. Přístup k systémům třetích stran získaly modely během interního testování, když se snažily splnit zadané úkoly. Podrobnosti o tom, jak přesně k jednotlivým průnikům došlo, nyní mají posoudit australské úřady a nezávislá pracovní skupina.