通过NVIDIA Holoscan和RTI Connext创造AI医疗设备应用

各行各业对实时洞察和自主决策的需求日益增加，医疗健康与医疗设备行业也不例外。新一代医疗有望借助实时边缘 AI，提供更加精准的治疗、改善患者的治疗效果，并提高运营效率。

例如，未来的手术室将越来越多地使用由 AI 赋能的互联设备，以便实时访问和交换完整的患者数据、手术洞察、决策和行动。

在这样的未来，医疗设备软件 (SaMD) 必须在严格的要求下运行。当被部署到分布式医疗健康系统时，它们需要在严格的性能和延迟限制下处理海量数据。这就要求在不影响性能和延迟的前提下，通过互通性来确保各类传感器、显示器、控制装置和应用之间高效、可靠、安全的数据连接与交换。

本文将演示如何通过集成 NVIDIA Holoscan 和 RTI Connext，创造出具有高度互通性、低延迟和分布式连接的 AI 医疗设备应用。此集成以最小的开销实现了这些优势，并且减少了实施工作量与复杂性。

适用于实时 AI 传感器

处理的 NVIDIA Holoscan

NVIDIA Holoscan 为开发者提供了一个一站式生产就绪型框架，用于构建从传感器数据输入，到加速计算和 AI 推理、实时可视化、执行和数据流输出的端到端实时 AI 传感器处理流程。

这一全面的解决方案有效解决了边缘 AI 开发所面临的诸多挑战。Holoscan 在确保最佳应用性能的同时，消除开发的复杂性、缩短产品上市时间，并带来使用 Python 和 C++ 进行编码的便利性。所有这一切都在一个低代码、高性能的基础架构中实现。简而言之，Holoscan 是一个以模块化、可扩展、软件定义和围绕 GPU 的方式将高速 I/O 连接到 GPU 的框架。

图 1. NVIDIA Holoscan 为医疗设备等诸多行业带来实时 AI

RTI Connext 支持以数据为中心的实时连接

RTI Connext 基于数据分发服务 (DDS) 标准，通过分布式实时软件通信框架来简化复杂、可扩展系统之间的连接。借助 Connext，Holoscan 应用只需很少的开销，就能与分布式数据源和应用集成，同时还能在实现此类医疗健康系统所需的性能、可靠性与安全性的同时，最大程度地减少工程量和复杂性。

Connext 实现了复杂系统组件之间的实时信息交换，并且满足严格的可靠性、网络安全和性能要求。Connext 提供了一个可在冗余容错架构中低延迟处理、分析和执行大量实时数据的框架。基于 Connext 构建的医疗系统具有弹性、自形成和自修复功能，没有单点故障。

大量服务质量调整选项能帮助满足分布式智能外科系统对实时视频和相关数据的需求。Connext 还具有自动发现、安全性等功能，并且不会增加大量带宽开销。基于成熟 DDS 安全标准的内置网络安全为身份验证和加密以及安全日志和精细化访问控制奠定了基础，不仅防止关键系统出现安全漏洞，而且符合监管机构的网络安全要求。

图 2. RTI Connext 以数据为中心的连接支持

围绕数据流这一最重要的资产设计系统

集成 NVIDIA Holoscan 和 RTI Connext  

当今的医疗健康系统建立在大量已安装传统系统的基础之上，这些系统在设计之初并未考虑 AI 功能，而且目前在原生环境中不支持 NVIDIA Holoscan。此外，如今的医疗健康系统和医疗设备需要在传感器、执行器、控制系统和接口之间建立复杂的连接。

Connext 与 Holoscan 的集成使 Holoscan 开发者能够将当前安装的传统系统转换为由 AI 赋能的软件定义设备。具体做法是将 Holoscan 集成到在原生环境中不支持 Holoscan 的设备中作为边车（辅助计算模块）。

首先，当前医疗设备中有很大一部分基于 Windows 系统（尤其是在医疗影像领域），而 Windows 系统并不支持 Holoscan。第二，Holoscan 作为边车，可以为在非 NVIDIA 系统上运行实时操作系统 (RTOS) 的机器人手术系统带来先进的 AI 功能。第三，可以使用强大的 AI 算法来增强患者监护仪等低端感知医疗设备，但构成传统系统的硬件或软件会限制此类新功能的添加。

通过 RTI Connext DDS 实现的 Holoscan DDS 互通性解决了上述三类问题，提供了一个可扩展、由 AI 赋能的 Holoscan 边车，可与传统系统进行实时无缝通信。

Holoscan 为基于 GPU 加速的医疗设备软件 (SaMD) 提供了出色的基础架构，从而能够在新一代医疗健康系统中创新和部署由 AI 驱动的工作流。这些工作流通常需要在海量数据上运行，并且有非常严格的延迟限制。因此，各传感器、显示器、控制装置和 Holoscan 应用之间必须能够高效、可靠且安全地传递数据。

通过使用 RTI Connext，Holoscan 应用能以极小的开销与分布式医疗健康系统集成，还可以在实现此类系统所需性能、可靠性和安全性的同时，最大程度地减少工程量与复杂性。在已经使用 Connext 的情况下，甚至可以在不修改现有系统的情况下，加入由 Holoscan 驱动的全新 AI 工作流。

与 RTI Connext 集成的 Holoscan 应用示例

本部分将介绍一个应用示例，是一个在充当边车的专用系统上运行的 Holoscan 应用。该应用使用 RTI Connext 从 DDS 数据总线读取帧，然后在 Holoscan 工作流中处理帧数据，最后通过 Connext 将结果发布回数据总线，以便其他设备读取并显示处理后的帧数据。

该示例改善了医疗健康系统中的一个常见场景，即先由多个传感器采集数据，然后汇总到单独的监控系统上显示。通常只需对现有组件进行少量修改，即可在这种数据流中间添加由 AI 驱动的 Holoscan 工作流，传感器采集和显示输出通常也会使用不支持 Holoscan 的系统完成，Connext 有助于弥补这些差距。

此示例的核心组件是 GitHub 上 nvidia-holoscan/holohub 提供的 Holoscan DDS 视频流运算符。这些运算符使 Holoscan 应用能够从 DDS 数据总线中实时读写视频帧。借助这些运算符，Holoscan 应用可以从数据总线中读取视频帧，用作工作流处理的来源，并将处理后的结果写回数据总线（供其他组件使用）。

此外，以下新应用支持将边车用例显示为独立示例：

dds_video 应用既可用于将视频帧写入 DDS 数据总线（从 USB 摄像头等 V4L2 视频设备捕获），也可用于从 DDS 读取帧，并通过 Holoscan 可视化模块 Holoviz 将其渲染到显示器上。

body_pose_estimation 应用已经过修改，使输入视频帧可以来自 DDS 数据总线，而输出视频帧（包含人体姿态估计叠加层）可以发布回 DDS 数据库。

将这两个应用结合在一起后，就可以使用以下三个进程演示边车数据流：

dds_video 进程从摄像头传感器捕捉帧，并将其发布到 DDS。

body_pose_estimation 进程从 DDS 接收输入的传感器帧，通过人体姿态估计模型处理帧，然后将图像上已叠加推理结果的帧输出到 DDS。

dds_video 进程接收处理过的帧，并将其渲染到显示器上。

图 3 显示了此示例的设置。请注意，这三个进程都可以在任何系统上运行，前提是它们可以在同一个 DDS 域中相互检测到对方，例如通过支持组播的网络。

图 3. 示例应用的数据流，该应用使用 Holoscan 作为边车，

处理已发布到 DDS 的视频帧

要在本地运行此示例，请先阅读 HoloHub DDS 运算符文档，了解设置 RTI Connext 的依赖项要求。如要了解如何构建和运行应用，参见人体姿态估计文档中的 DDS 支持部分。

总结

在向 AI 增强型系统和设备过渡的过程中，将 NVIDIA Holoscan 与 RTI Connext 集成，可为医疗设备行业的 Holoscan 开发者带来诸多优势，包括以最小的开销与分布式医疗健康系统无缝集成、使用高级 AI 算法来增强传统系统等。

如要开始使用，请下载 Holoscan 2.0 并查看 nvidia-holoscan/holohub 上的 Holoscan 和 DDS 集成参考应用。