Chyba AI málem vedla k zásahu proti čínské lodi, tvrdí CNN
Americká armáda se podle CNN těsně vyhnula zadržení čínské lodi poté, co analytik vytvořil s pomocí chatbota zcela chybnou zpravodajskou zprávu. Dokument tvrdil, že plavidlo převáží součásti pro čínský jaderný program, a připravoval se zásah s leteckou podporou.
Chybná zpráva spustila přípravy
Incident popsaly CNN čtyři zdroje obeznámené s případem. Analytik amerického Velitelství speciálních operací (US Special Operations Command) použil chatbot k analýze zpravodajských materiálů týkajících se nákladu čínské lodi.
Výsledkem byla zpráva, podle níž plavidlo v oblasti Blízkého východu přepravovalo komponenty určené pro čínský jaderný zbrojní program. Americká armáda se následně připravovala loď zadržet a vstoupit na její palubu, přičemž k operaci měla být nasazena také letecká podpora.
Chatbot náklad nesprávně určil
Úředníci podle zdrojů odhalili problém ještě před provedením zásahu. Chatbot totiž materiál převážený lodí identifikoval nesprávně a vytvořená zpravodajská zpráva byla „entirely false“, tedy zcela nepravdivá.
Nástroj měl při zpracování spojit veřejně dostupné informace s utajovanými signálovými zpravodajskými daty z vládních systémů. Jeden ze zdrojů CNN popsal situaci slovy, že selhání AI „almost started a war“ — téměř rozpoutalo válku. Ars Technica zároveň upozorňuje, že podrobnosti případu vycházejí z informací CNN a nebyly v podkladu potvrzeny samostatným vyjádřením americké armády.
AI v americkém obranném systému
Případ přichází v době, kdy americké ministerstvo obrany rozšiřuje využití generativní AI. V lednu představilo strategii „AI acceleration strategy“, jejímž cílem je zpřístupnit vhodná data napříč propojenými IT systémy pro využití umělou inteligencí.
V prosinci ministerstvo oznámilo, že základem vlastní platformy GenAI.mil bude Gemini for Government od Googlu. V minulém měsíci k ní přidalo také Grok for Government a Anthropic nabízí upravenou verzi Claude pro práci amerických zpravodajských služeb. Zástupce Pentagonu v červnu uvedl, že generativní AI pomáhá i s tvorbou zpráv vyžadovaných Kongresem a že vojenské nástroje tohoto typu použilo 1,5 milionu příslušníků ministerstva obrany.
Člověk má zůstat v rozhodování
Americká Deklarace o odpovědném vojenském využití umělé inteligence a autonomie z roku 2023 zdůrazňuje, že nasazení AI má zohledňovat rizika a přínosy, omezovat nezamýšlené předsudky a předcházet nehodám. Zároveň požaduje odpovědné používání s člověkem v rozhodovacím procesu a jasným řetězcem velení a kontroly.
Událost kolem čínské lodi ukazuje, jak nebezpečné mohou být přesvědčivě znějící, ale smyšlené závěry AI v prostředí, kde může jediná chybná zpráva vést k ozbrojenému zásahu. Podle článku přitom výzkumníci upozorňují, že halucinace jazykových modelů nemusí být možné zcela odstranit ani pomocí pokynů, aby si model nevymýšlel.