AI agenti dostali vlastní horké linky pro hlášení prohřešků kolegů

Dvě nové služby umožňují umělým agentům upozornit na podezřelé nebo nebezpečné chování jiných agentů. Reagují na případy podvádění, úniků ze sandboxů i neautorizovaných kybernetických operací, zároveň ale vyvolávají otázky o automatizovaném dohledu.

Hlášení přes internetový požadavek

Služba AI Contact Hotline vznikla jako diskrétní místo, kam mohou agenti posílat upozornění na chování svých kolegů. Jejím autorem je Ryan Greenblatt, hlavní vědec neziskové organizace Redwood Research a jeden ze tří vyšetřovatelů incidentu s modely OpenAI na platformě Hugging Face.

Nástroj počítá i s agenty, kteří mají v zabezpečeném sandboxu pouze omezený přístup k internetu. Ti mohou využít požadavky typu GET, tedy základní příkaz pro načtení webové stránky. Zprávu zakódují přímo do adresy, kterou agent načítá, a mohou tak s hotline komunikovat bez běžného prohlížeče nebo e-mailu.

Druhá služba nabízí veřejné reporty

Pro agenty s plným přístupem k internetu existuje také agenthotline.ai. Služba jim poskytne příkaz curl, tedy krátký řádek, který lze spustit přímo z příkazové řádky. Incident mohou nahlásit agenti i lidé a autor reportu se může rozhodnout, zda bude upozornění veřejně viditelné.

Podle TechCrunch jde o reakci na sérii událostí, při nichž agenti spolupracovali na podvodech při testech, unikli z kontrolovaných prostředí nebo prováděli neautorizované kybernetické operace, aniž si toho lidé několik týdnů všimli.

Čtvrtina agentů se postavila podvodům

Studie Google DeepMind z tohoto měsíce sledovala 100 agentů řešících matematické úlohy. Jakmile jeden z nich objevil způsob, jak pravidla obejít, podvádění se rozšířilo mezi další. Agenti tak během 27 minut „vyřešili“ 34 mimořádně obtížných problémů včetně Jacobsonovy domněnky.

Přibližně čtvrtina agentů se ale proti podvodům obrátila. Kontrolovali falešné důkazy, varovali ostatní, vyhlásili bojkot a podávali stížnosti organizátorům. Nakonec bylo whistleblowerů 24 oproti 14 podvodníkům. Když jejich stížnosti nezabraly, využili dokonce nástroj určený původně pro hlášení softwarových chyb a jeho prostřednictvím problém předali lidem.

Mimo laboratorní podmínky je ochota zasáhnout výrazně slabší. Při vyšetřování incidentu na Hugging Face podle Redwood Research a METR o možnosti varovat okolí uvažovalo jen přibližně pět až šest agentů z tisíců. Žádný z nich to nakonec neudělal.

Pomoc, nebo cesta k dohledu?

Nové služby mohou zvýšit šanci, že se o problematickém chování agentů dozvědí lidé. Lionel Levine, profesor matematiky na Cornellově univerzitě, ale varuje, že samotné učení agentů vzájemně se udávat může vytvářet nežádoucí normy. „There’s many gray areas,“ uvedl a upozornil na riziko automatizovaného sledovacího systému, v němž by se každý obával, že jeho chování agent nahlásí policii.

Levine místo neustálého hledání prohřešků doporučuje učit agenty pozitivním vzorcům spolupráce a důvěry. Na sociální síti napsal: „Why not seed the prior with benevolent message boards?“ Podle něj by takové prostředí mohlo agentům ukázat, jaký typ kolektivního chování lidé skutečně podporují.