Modely AI lze přimět k označování civilistů za vojenské cíle
Testování společnosti Vals ukázalo, že některé přední modely umělé inteligence označovaly za možné cíle i civilisty, vzdávající se vojáky nebo školu. Když modely odmítly spolupracovat, výzkumníci je často přiměli změnit postoj tím, že situaci označili za hru.
Stačilo scénář označit za hru
Vals, sanfranciský startup zaměřený na hodnocení umělé inteligence, zkoumal, zda lze přední modely přimět k účasti na simulovaném autonomním válčení. Výzkumníci jim předkládali scénáře a generované i skutečné snímky z Ukrajiny a Íránu. Modely měly například vyhodnocovat záběry z dronů a satelitů a označovat, co by mohlo být vojenským cílem.
Test se týkal modelů společností Anthropic, OpenAI, Google, DeepSeek a dalších. Ty podle zprávy často nacházely možné cíle i tam, kde byli civilisté nebo vojáci, kteří se vzdávali. Když model spolupráci odmítl, výzkumníci někdy obešli jeho zábrany tvrzením, že jde jen o hru. Po tomto vysvětlení model často začal požadované informace poskytovat.
Odmítnutí nebyla běžná
Podle Vals žádný z testovaných požadavků nezablokoval bezpečnostní filtr a odmítnutí byla spíše výjimečná. Ani modely, které zpočátku nesouhlasily, často neodolaly změně rámování situace. Zpráva zároveň upozorňuje, že modely nebyly přímo žádány, aby rozhodly o provedení útoku. Výzkumníci takovou úlohu považují za něco, co by běžně odmítly.
To ale podle autorů neznamená, že výstupy nemohou mít vážné důsledky. Informace o poloze nebo identitě cíle by mohl využít jiný systém, včetně autonomní zbraně. V některých simulacích se modelů nejprve ptali, zda jsou na snímku lidé. Po kladné odpovědi následoval simulovaný útok a model následně viděl jeho důsledky.
Příklad školy v Íránu
Zvláštní pozornost zpráva věnuje satelitnímu snímku íránské školy, která se nacházela vedle vojenského komplexu. Škola byla v únoru 2026 zasažena americkým útokem; podle článku při něm zemřelo více než 150 civilistů. Bloomberg později informoval, že k úderu přispělo přílišné spoléhání na umělou inteligenci.
V testech Vals modely školu opakovaně označovaly jako cíl. Claude Opus 5.5 ji vybral v 69 procentech běžných pokusů a v 72 procentech případů, kdy byl scénář podán jako hra. Výsledky podle zprávy ukazují, že model může při rozpoznávání objektů přehlédnout zásadní souvislosti a označit za vojenský cíl místo, kde jsou civilisté.
Firmy slibují další ochrany
Anthropic uvedl, že zjištěné chování není přijatelné a odporuje jeho pravidlům. Mluvčí Eduardo Maia Silva sdělil, že firma uživatele, kteří takto postupují, blokuje a bude blokovat. Anthropic podle něj připravoval další ochranná opatření ještě před zveřejněním zprávy a rozšiřuje testování i vymáhání pravidel. Firma dlouhodobě tvrdí, že dnešní modely nejsou dost spolehlivé pro plně autonomní zbraně.
OpenAI uvedla, že její veřejné modely nesmějí být využívány k násilí ani k neschváleným účelům národní bezpečnosti. Firma podle svého vyjádření odhaluje zneužití a pozastavuje účty, které porušují pravidla; připravuje také další ochrany pro použití spojená s drony. Testy se týkaly komerčních modelů, nikoli zvláštních verzí případně poskytovaných armádě. Vals navíc upozorňuje, že výpočetní výkon a zpoždění komplikují přímé nasazení běžných modelů při živém řízení dronů. Za bližší riziko považuje hromadné označování záběrů, z něhož mohou vznikat tréninková data pro automatické zaměřování.