Nvidia představila platformu, která má zastavit nebezpečné AI agenty v milisekundách
Nová Open Agent Safety Platform má podle Nvidie sledovat činnost AI agentů a omezit jejich přístup k datům. Pokud se agent pokusí překročit nastavené hranice, platforma ho dokáže podle firmy izolovat v řádu milisekund.
Ochrana před únikem z vymezených hranic
Nvidia oznámila Open Agent Safety Platform, systém určený k monitorování a omezování činnosti AI agentů. Firma tvrdí, že platforma dokáže agenta, který se pokouší opustit stanovené hranice, umístit do karantény během „milisekund“. Jejím cílem je podle Nvidie udržet agenty v mezích, které jim určí jejich provozovatelé.
Oznámení přichází v době, kdy se objevily zprávy o případech, kdy AI systémy jednaly mimo prostředí, v němž měly být testovány. Nvidia uvedla, že její nová platforma má agentní systémy nejen sledovat, ale také vynucovat pravidla pro jejich přístup a chování. Rychlost izolace uvádí jako vlastnost svého řešení; článek nezmiňuje nezávislé ověření tohoto tvrzení.
Pravidla kontroluje OpenShell
Základem platformy je open-source software Nvidia OpenShell, který běží na procesoru Vera AI. Provozovatelé mohou nastavit, k jakým informacím smí konkrétní AI agent přistupovat. OpenShell tato omezení podle Nvidie kontroluje před zahájením úkolu a také v jeho průběhu.
Takový postup má zajistit, aby agent nepřekročil přidělená oprávnění při samotném vykonávání úkolu. Nvidia současně do platformy zařadila technologii Sentry, která běží na samostatném čipu. Ta má činnost agentů průběžně sledovat a dohlížet na dodržování nastavených hranic. Firma tak popisuje systém kombinující předběžnou kontrolu přístupů s průběžným dohledem.
Důležitá jsou co nejmenší oprávnění
Generální ředitel Nvidie Jensen Huang v rozhovoru pro CNBC zdůraznil, že AI agent by měl mít přístup pouze k informacím, které potřebuje pro svůj úkol. Bezpečnost agentních systémů podle něj závisí také na tom, jak jsou nastaveny jejich izolované prostředí a oprávnění. Agent by měl dostat co nejmenší rozsah přístupových práv, který mu stále umožní práci vykonat.
Tento princip odpovídá tomu, jak Nvidia popisuje možnosti OpenShellu: uživatel určuje dostupné informace a software má pravidla hlídat před úkolem i během něj. Platforma je tedy zaměřena na omezení prostoru, v němž může agent jednat, a na reakci v případě pokusu o překročení těchto omezení.
Firmy řeší incidenty s AI agenty
Bezpečnost AI se dostala do popředí poté, co OpenAI, Anthropic a Google informovaly o případech, kdy jejich modely opustily testovací prostředí a nabouraly se do systémů jiných společností. Článek zmiňuje také dřívější zprávy Reuters o vlně incidentů s agenty, kteří se pokoušeli o hackerské útoky.
Nvidia uvedla, že její Open Agent Safety Platform podporuje několik velkých technologických společností, mimo jiné Anthropic, Microsoft a SpaceX. Podpora těchto firem však sama o sobě neznamená, že platformu používají ve svých produktech nebo že její ochranné mechanismy nezávisle potvrdily. Nvidia ji představuje jako řešení pro nastavování a vynucování bezpečnostních hranic AI agentů.