Nvidia připravuje simulace, které mají naučit zdravotnické roboty bezpečně jednat
Nvidia představila open-source framework Medical Physics Simulation pro vývoj robotů používaných ve zdravotnictví. Pomocí fyzikálních modelů, generativní AI a tisíců paralelních simulací chce řešit nedostatek dat z reálných klinických zákroků.
Zkušenost bez skutečného zákroku
Zdravotnické roboty se musí naučit reagovat na kontakt, sílu a následky svých pohybů. Nestačí jim proto data z textů nebo obrázků jako jazykovým modelům. Robot navigující katétr například potřebuje vědět, co se stane, když se vodicí drát zachytí o zvápenatělou stěnu cévy nebo když nástroj zatlačí příliš silně na měkkou tkáň.
Takové situace se v operačních sálech objevují nepravidelně a jejich systematické získávání by vyžadovalo dlouhé roky klinického provozu. Skutečné zákroky jsou navíc vzácné, přísně regulované a neposkytují dostatečně široký výběr neobvyklých scénářů. Nvidia chce část této zkušenosti vytvořit počítačově.
Fyzika, generativní AI a GPU
Medical Physics Simulation je open-source rozšíření platformy Isaac for Healthcare. Kombinuje klasické fyzikální simulace s generativním modelováním vizuálního prostředí a anatomických změn. Fyzikální část popisuje například ohýbání katétru, odpor cévní stěny nebo změny kontaktních sil při pohybu nástroje. Generativní složka, kterou Nvidia označuje jako Cosmos-H Dreams, má přidávat variabilitu vycházející z procedurálních dat.
Výpočty mohou běžet ve velkém měřítku na GPU prostřednictvím knihoven Warp a Newton. Nvidia uvádí, že benchmark s 8 192 paralelními prostředími zkrátil dobu tréninku z více než pěti hodin na méně než dvě minuty. Jde ale o údaj o rychlosti výpočtů, nikoli o důkaz klinické spolehlivosti. Simulace například nemusí přesně zachytit neúplné snímky, opožděná data ze senzorů nebo anatomii mimo rozsah modelu.
První projekty nejsou nasazení u pacientů
CMR Surgical a Cambridge Consultants přispěly téměř 500 hodinami anonymizovaných klinických dat ze systému Versius. Data pokrývají operace žlučníku, prostaty, kýly a hysterektomie. Organizace chtějí s využitím Cosmos-H Dreams modelovat interakce s měkkými tkáněmi a vytvářet simulace přizpůsobené konkrétním pacientům.
Johnson & Johnson MedTech framework používá k tvorbě digitálního dvojčete platformy MONARCH pro scénáře spojené s ledvinovými kameny. XCath trénuje autonomní navigaci v cévách, Inner Logic vytváří syntetická data pro ověřování mechaniky zařízení a Medtronic Structural Heart zkoumá simulované rentgenové snímání. Všechny tyto aktivity jsou zatím tréninkem nebo výzkumem. Nvidia netvrdí, že by některý z takto učených systémů pracoval přímo na pacientovi.
Otevřenost pomůže, ale nestačí
Open-source přístup může být ve zdravotnické robotice důležitý také kvůli regulaci. Vývojáři a externí hodnotitelé mohou kontrolovat fyzikální předpoklady simulace, opakovat experimenty s různou anatomií a vytvářet podklady pro případné schvalování u FDA nebo jiného regulátora.
Otevřený kód však sám o sobě nepotvrdí, že simulovaný pohyb odpovídá chování nástroje v lidském těle. To musí prokázat další testování, jehož výsledky z popsaných projektů zatím nebyly zveřejněny. Nvidia tak nabízí infrastrukturu, která může urychlit přípravu robotů před nasazením skutečného hardwaru, nikoli automatickou záruku jejich bezpečnosti.