正如运动员为比赛而训练、演员为演出而排练一样,外科医生也需要在手术前做好准备。
Atlas Meditech 正在通过 AI 和物理准确的模拟,为脑外科医生带来更具真实感的术前准备体验。
脑外科智能平台 Atlas Meditech 正在以提升手术效果和病人安全为己任,采用 MONAI 医学影像框架和 NVIDIA Omniverse 3D 开发平台等工具构建 AI 决策支持和高保真手术预演平台。
Atlas Meditech 和非营利机构 Neurosurgical Atlas 的创始人 Aaron Cohen-Gadol 博士表示:“Atlas 为脑外科医生提供了一套多媒体工具,使他们能够在手术前一晚进行手术的心理预演。我们希望通过加速计算和数字孪生,将心理预演转变成高度逼真的模拟预演。”
Neurosurgical Atlas 为 100 多万在线用户提供病例研究、手术视频和 3D 大脑模型。Cohen-Gadol 博士还是印第安纳大学医学院的神经外科教授,据他估计,美国 90% 以上的脑外科培训项目以及其他国家成千上万的神经外科医生,都将 Atlas 作为他们住院医师时期和手术生涯早期的重要资源。
Atlas Meditech 的 Pathfinder 软件正在整合 AI 算法,以提出安全的手术路径建议,帮助专家顺利抵达脑部病灶。
该团队使用了可连接和构建自定义 3D 流程和元宇宙应用的平台—— NVIDIA Omniverse,希望为病人的大脑创建定制的虚拟模型,以用于手术预演。
自定义 3D 大脑模型
无论是在屏幕上还是在沉浸式 VR 中,Atlas Meditech 先进模拟技术的一大优势是能够自定义模拟,这样外科医生就可以在大小、形状和病变部位与病人脑部相匹配的虚拟大脑上进行练习。
Cohen-Gadol 博士表示:“每个病人的解剖结构都略有不同。现在我们可以利用物理学和先进的图形技术创建一个特定病人的大脑模型,并利用它来观察肿瘤并模拟肿瘤手术。精准的物理特性有利于重现我们在现实世界中的手术体验。”
为了创建病人大脑的数字孪生,Atlas Pathfinder 工具采用了 MONAI Label。MONAI Label 可以通过自动注释 MRI 和 CT 扫描图像来区分正常结构和肿瘤,为放射科医生提供支持。
Cohen-Gadol 博士表示:“MONAI Label 可以帮助我们对关键结构进行识别与保护,这是所有医疗项目都必不可少的。Atlas 正在将 MONAI Label 训练成外科医生的‘眼睛’,在病人的扫描图像中区分显示正常血管与肿瘤。”
借助病人大脑的分割视图,Atlas Pathfinder 可以根据具体解剖结构调整其 3D 大脑模型,以体现肿瘤如何导致脑组织的正常结构发生变形。
Atlas Pathfinder 能够基于可视化图像(放射科医生和外科医生可以修改该图像以提高精度),来建议最安全的手术方法,以便在不伤害大脑其他部位的情况下进入并切除肿瘤。每种方法的链接都会被发布到 Atlas 的网站上,包括该手术方案的书面教程。
Cohen-Gadol 博士表示:“在高度复杂的 3D 结构中,每一毫米都至关重要。AI 加持下的决策支持能在制定手术路径方面发挥巨大的作用。”
为外科医生提供逼真的预演环境
Atlas Meditech 正在使用 NVIDIA Omniverse 开发虚拟手术室,使外科医生能够在逼真的沉浸式环境中预演即将进行的手术。在模拟中,外科医生可以调整病人和设备的位置。
外科医生戴上 VR 头显就能在虚拟环境中逐步完成手术并获得反馈,了解自己到达肿瘤的路径与目标路径的贴合度。外科医生可以使用 AI 算法预测其在术中使用医疗器械时脑组织会如何移动,并将预估的移动情况应用到模拟大脑中。
Cohen-Gadol 博士表示:“让外科医生进入虚拟 3D 空间,在与病人物理特性高度相似的模拟大脑上预演手术,会具有非常重大的意义。”
为了更好地模拟大脑的物理特性,该团队采用了 NVIDIA Omniverse 中的高级实时物理模拟引擎——NVIDIA PhysX。借助触觉设备,他们能够尝试在虚拟环境中添加触觉反馈,模仿进行脑组织手术的触感。
展望 AI 和机器人技术
在未来外科手术培训中的应用
Cohen-Gadol 博士相信在未来几年中,AI 模型将能够在术中提供更多洞察,从而进一步改进外科手术,比如提醒外科医生注意邻近手术区域的重要脑部结构、在术中跟踪医疗器械、为手术的后续步骤提供指导等。
Atlas Meditech 计划使用 NVIDIA Holoscan 平台流式传输 AI 应用,为此类实时术中洞察提供支持。将 AI 分析应用于外科医生的术中操作,可以为外科医生提供有用的反馈,提高他们的技术水平。
Cohen-Gadol 博士表示,除了用于外科医生的手术预演之外,大脑和手术室的数字孪生还可以帮助训练智能医疗器械,例如使用 Isaac Sim(由 Omniverse 提供支持的机器人仿真应用)开发的显微镜机器人等。
点击“阅读原文”,观看 Cohen-Gadol 博士在 NVIDIA GTC 上的演讲。
GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行,线上大会也将同期开放。扫描下方海报二维码,关注更多会议及活动信息。
原文标题:Atlas Meditech 使用 AI 和数字孪生开创脑外科手术的未来
文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。
全部0条评论
快来发表一下你的评论吧 !