AI agent může uspět náhodou. IBM měří, zda úkol zvládne znovu

Agent s umělou inteligencí může stejný úkol jednou zvládnout a podruhé selhat, přestože se zadání nezměnilo. Výzkumníci z IBM Research představili metodu, která tuto nestabilitu odhaluje a podle jejich testů dokáže výrazně zvýšit počet úloh vyřešených správně při každém opakování.

Průměrná přesnost nestačí

Běžná hodnocení agentů často uvádějí průměrnou úspěšnost po několika pokusech. Ta ale neříká, zda systém zvládne stejnou úlohu pokaždé. Na platformě AppWorld například agent ReAct využívající GPT-4.1 uspěl v průměru v 77,4 % běhů při pěti opakováních. Ve všech pěti pokusech však správně vyřešil jen 53,0 % úloh.

Rozdíl 24,4 procentního bodu označují autoři jako mezeru konzistence. Nejde tedy nutně o nedostatečné schopnosti modelu, ale o jeho nespolehlivost při opakovaném řešení stejného zadání. U obtížných úloh může být tato mezera ještě větší, podle článku dosahuje až 30 bodů.

Co způsobuje změnu rozhodnutí

Každý krok jazykového modelu vychází z rozdělení pravděpodobností pro další token. Pokud je jedna možnost výrazně pravděpodobnější než ostatní, rozhodnutí bývá stabilní. Když jsou ale možnosti téměř vyrovnané, může drobná změna výpočtu nebo prostředí způsobit jiný výsledek.

Takové nejisté kroky se v dlouhé posloupnosti násobí. Agent může například pokaždé jinak zvolit nástroj, argument dotazu nebo rozhodnutí o opakování akce. Problém podle IBM nezmizí ani při teplotě 0,0, pevném seedu či takzvaném greedy dekódování. Tyto nastavení totiž nemění samotné rozdělení pravděpodobností. Testovaný agent pracoval při teplotě 0,0, takže popsaná proměnlivost nebyla běžným náhodným vzorkováním.

Analyzátor hledá slabá místa

IBM Research rozšířil systém ALTK-Evolve o takzvaný Consistency Analyzer. Ten vezme jeden zaznamenaný průběh úlohy a u jednotlivých rozhodovacích kroků si vyžádá několik alternativních dokončení. Ve výchozím nastavení jde o pět výstupů. Nástroj tak odhalí místa, kde by se agent mohl při dalším běhu snadno vydat jinou cestou.

Analýza nevyžaduje znalost správné odpovědi, přístup k interním pravděpodobnostem modelu ani nové spuštění úlohy v prostředí. Pro každý rozhodovací krok je potřeba jeden dodatečný modelový požadavek, který se provádí offline nad již uloženou trajektorií. Zjištěná riziková místa se následně převedou do doporučení pro agenta.

Výsledky testu a praktický význam

Na 168 úlohách z AppWorld test_normal zvýšila nová doporučení hodnotu Pass^5 z 53,0 % na 69,0 %. Průměrná úspěšnost Mean@5 zároveň vzrostla ze 77,4 % na 81,0 %. Mezera konzistence se tak zmenšila z 24,4 na 12,0 procentního bodu, aniž by se zhoršila průměrná přesnost. U podobných, ale ne totožných úloh vzrostlo Pass^5 o 13,0 bodu.

Autoři upozorňují, že Pass^5 není totéž co Pass@5. První ukazatel vyžaduje úspěch ve všech pěti pokusech, zatímco druhý započítá i situaci, kdy vyjde alespoň jeden pokus. Pro nasazení agentů proto doporučují sledovat vedle průměrné přesnosti také konzistenci. Consistency Analyzer i generování doporučení jsou součástí open-source nástroje ALTK-Evolve; podrobnější metodiku IBM popsala v technické zprávě na arXivu.