Britský institut zveřejňuje výsledky testů AI v jednotnější podobě
Britský AI Security Institute začal využívat infrastrukturu projektu EvalEval pro otevřené sdílení výsledků hodnocení pokročilých modelů. Cílem je usnadnit ověřování, porovnávání a opakování experimentů, které se dnes často liší použitým nastavením.
Výsledky nejsou vždy srovnatelné
Výkonnostní testy se stávají důležitým podkladem pro posuzování schopností umělé inteligence. Jejich výsledky však výzkumníci zveřejňují v různých formátech a na různých platformách. Často přitom chybí informace potřebné k tomu, aby někdo jiný mohl experiment zopakovat nebo správně vyhodnotit jeho význam.
Opakované provedení testu může být navíc velmi nákladné. I podobně vypadající skóre proto nemusí vzniknout za stejných podmínek. Rozdíly může způsobit například nastavení hodnocení nebo množství výpočetních prostředků využitých během odvozování odpovědi modelu.
Společný formát pro hodnocení
Koalice EvalEval chce tento problém řešit prostřednictvím schématu Every Eval Ever a otevřené platformy Evaluation Cards. Ta spojuje údaje o benchmarku, konkrétním běhu hodnocení a modelu do záznamů, které mají být srozumitelnější a lépe ověřitelné.
Britský AI Security Institute, známý pod zkratkou AISI, nyní tuto infrastrukturu využívá ke zveřejňování metod a zjištění ze svých hodnocení. Spolupráce navazuje na společný workshop z období kolem konference NeurIPS 2025. Zpětná vazba AISI zároveň pomohla při vytváření schématu Every Eval Ever.
Pět benchmarků a šest modelů
Nově zveřejněné materiály obsahují ověřené výsledky, kontext a konfigurační údaje k pěti benchmarkům z hlavního experimentu. Jde o HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro a Terminal-Bench 2.0.
Data pokrývají šest modelů: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 a GPT-5.4. Součástí zveřejnění jsou také výsledky dvou kybernetických hodnocení, Cyber CTFs a The Last Ones, u nichž se seznam použitých modelů částečně liší. Materiály doprovázejí studii AISI s názvem How Inference Compute Shapes Frontier LLM Evaluation.
Záleží na postupu i výpočtech
Podle zveřejněných materiálů se výsledky benchmarku Humanity's Last Exam mění v závislosti na použitém protokolu a množství výpočetních prostředků při odvozování. Studie sleduje kumulativní podíl vyřešených úloh v rámci určitého limitu tokenů a u každé úlohy zohledňuje nejčasnější zaznamenaný úspěch.
V jednom z popsaných nastavení model po každém pokusu dostával od takzvaného orákula zpětnou vazbu o správnosti. S rostoucím počtem použitých tokenů pak dokázal vyřešit další úlohy. Otevřené záznamy mají výzkumníkům umožnit podobné vlivy lépe analyzovat a porovnávat výsledky v širším kontextu. EvalEval proto vyzývá vývojáře modelů i tvůrce benchmarků, aby ověřené výsledky a data zveřejňovali podle společného schématu.