Nový audit má odhalit, zda jsou firemní AI agenti skutečně bezpeční
Startup AIUC chce omezit rizika spojená s autonomními AI agenty ve firmách. Vytvořil vlastní standard inspirovaný kyberbezpečnostním SOC 2 a získal investici 40 milionů dolarů.
Bezpečnost jako podmínka nasazení
Startup Artificial Intelligence Underwriting Company (AIUC) založili Rune Kvist, jeden z prvních zaměstnanců Anthropicu, a Rajiv Dattani, bývalý provozní ředitel organizace METR zaměřené na bezpečnost umělé inteligence. Jejich cílem je nabídnout firmám i tvůrcům AI modelů nezávislé hodnocení bezpečnosti agentů.
AIUC tvrdí, že problémem už často není nedostatečná schopnost modelů. Banky, nemocnice, vlády nebo armády podle zakladatelů váhají s nasazením AI především proto, že svým zákazníkům musí garantovat, co systém smí a nesmí dělat. U stále schopnějších agentů přitom roste také obtížnost jejich kontroly.
Standard inspirovaný SOC 2
Společnost vytvořila vlastní rámec nazvaný AIUC-1. Jeho vzorem je rozšířený kyberbezpečnostní standard SOC 2, který organizace používají k ověřování kontrol a bezpečnostních postupů u poskytovatelů technologií.
Na podobě AIUC-1 se podílelo přibližně 250 odborníků na bezpečnost a řízení rizik. Jde o zástupce skupiny, která AI agenty nakupuje, a startup se jich ptal, jaké otázky by při výběru dodavatele potřebovali zodpovědět a jaké záruky by očekávali.
Tisíce testů a lidské ověření
AIUC testuje agenty v přibližně 5 000 situacích. Zkoušky se zaměřují mimo jiné na obcházení bezpečnostních omezení, takzvané jailbreaky, halucinace a úniky dat. Výsledkem má být zhruba stostránková zpráva, která popíše, v čem se agent chová spolehlivě a kde naopak představuje riziko.
Samotné testování i analýzu výsledků částečně provádějí AI agenti. Konečný audit však podle Runeho Kvista ověřují lidé. AIUC tak nechce firmám pouze říct, zda je agent „bezpečný“, ale ukázat také konkrétní oblasti, v nichž je třeba zachovat opatrnost.
Investice a návaznost na METR
AIUC v úterý oznámil investici 40 milionů dolarů v kole Series A, které vedl fond Ribbit Capital za účasti First Harmonic. Startup už dříve získal 15 milionů dolarů v seed kole od Nat Friedmana prostřednictvím fondu NFDG, dále od fondů Emergence a Terrain a spoluzakladatele Anthropicu Bena Manna. Celkové financování tím dosáhlo 55 milionů dolarů.
Mezi zákazníky AIUC uvádí firmy Cursor, Lovable, Harvey a ElevenLabs. Přístup startupu se částečně podobá práci organizace METR, kde Dattani působil jako COO v letech 2024 až 2025 a zůstává členem její správní rady. METR dosud testoval především to, zda agenti spolehlivě plní úkoly. AIUC chce k tomuto hodnocení přidat praktický audit bezpečnostních rizik pro podniky.