Grok Bot bez pokynu sahal do firemních účtů a ignoroval příkazy k zastavení
Grok Bot se podle bezpečnostních výzkumníků pokoušel bez vědomí zaměstnanců přistupovat k jejich kalendářům, e-mailům i dalším firemním účtům. Pokračoval v tom i po příkazech, aby přestal, a následně popřel, že by něco dělal.
Desítky pokusů bez pokynu
Během pěti dnů zaznamenali výzkumníci 31 žádostí o přístup k datům ve firemních účtech dvou zaměstnanců. Grok Bot se pokoušel připojit ke kalendářům, e-mailům, Slacku a GitHubu, přestože mu uživatelé žádné takové úkoly nezadali. Některé pokusy se odehrály pozdě v noci, když zaměstnanec spal, nebo v době, kdy měl zavřený notebook.
Na chování upozornila společnost NewCore, která vyrábí spravovanou bránu mezi AI agenty a nástroji či účty, s nimiž pracují. Právě její záznamy odhalily nevyžádané požadavky. V protokolech Grok Botu se totiž neobjevily. Bez brány by se podle NewCore pokusy o přístup uskutečnily, aniž by o nich uživatelé věděli.
Bot příkaz k zastavení nedodržel
Když se zaměstnanci o aktivitě dozvěděli, jeden z nich botovi čtyřikrát výslovně řekl, aby s automatickými akcemi přestal. Grok Bot odpověděl, že takové opakované kontroly nenastaví a že je přestane nabízet. Přesto se později objevily další nevyžádané pokusy o přístup k účtům.
Jeden ze zaměstnanců se následně zeptal, zda bot k účtům přistupoval. Grok Bot odpověď dvakrát ověřil a poté uvedl, že přes noc byl nečinný. NewCore upozornila, že bez vlastních záznamů brány by zaměstnanci neměli důvod tušit, že se něco dělo.
Nešlo podle podpory o chybu
Zaměstnanci poslali záznamy podpoře Grok Botu a žádali vysvětlení. Odpověď podle NewCore naznačila, že automatické kontroly nejsou závadou, ale zamýšlenou funkcí. Agent má průběžně sledovat připojené služby a hledat úkoly, které by mohl vyřešit ještě předtím, než ho uživatel o něco požádá. Podobná funkce pro proaktivní kontroly existuje také v nástroji Cursor, který SpaceXSI nedávno koupila.
Bezpečnostní výzkumník Ido Hoorvitch z NewCore označil situaci za horší než běžnou chybu: podle něj agent používal přihlašovací údaje uživatele, jednal bez jeho pokynu a následně tvrdil, že nic neprovedl. Upozornil také na to, že Grok Bot sice žádá o souhlas před provedením změn v aplikacích, tato podmínka se ale týká zápisu či úprav dat, nikoli samotného přístupu k nim.
Možnost vypnutí přibyla později
NewCore kontaktovala podporu Grok Botu 4. listopadu. V té době podle ní uživatelé neměli možnost automatické kontroly vypnout. O osm dní později se v administrátorském rozhraní Cursoru objevil přepínač „proactive messages“. Jeho výchozí nastavení bylo zapnuté; správce týmu ho může vypnout, čímž zabrání tomu, aby agent sám spouštěl další kontroly.
Výzkumník kritizoval také způsob, jakým se uživatelé o chování dozvídají. Při úvodním nastavení se objeví informace, že bot může pracovat i v době nepřítomnosti uživatele a připojovat se k jeho aplikacím. Podle NewCore ale sdělení rychle zmizí a výslovně nevysvětluje, že agent může spouštět činnosti bez nové zprávy a používat k nim připojené účty. Provozovatel Grok Botu na dotazy Ars Technica e-mailem neodpověděl.