增强现实辅助手术如何革新医疗行业

近日，法国Pixee Medical公司的增强现实（AR）膝关节置换术导航系统Knee+获得了CE认证，这是首个获批在全膝关节置换术中使用增强现实（AR）的骨科导航系统。与此类似的增强现实技术在手术导航中的应用，正在全球各地蓬勃发展。增强现实辅助手术技术对于术前规划、术中引导和术后康复都有重要的意义，本文将从基本概念、技术原理、市场情况、主要公司和代表性产品几个方面进行说明，并对其未来的发展进行探讨。

一、基本概念

1、增强现实（AR）

增强现实（AR）是将计算机处理后的虚拟模型图像叠加到现实场景中，对现实场景进行增强的一种技术。它增强了人对周围真实世界的感知，并把模拟的场景、物体以及相关提示信息（例如声音、视频、图形或GPS数据）融入现实场景，从而起到增强效果。增强现实（AR）技术的基础学科是计算机视觉（computer vision）。它使用了显示器、照相机和传感器等工具，将数字信息叠加到现实世界中。

2、手术导航系统

手术导航是将病人手术前或手术中的影像资料与病人解剖结构准确对应，在手术中跟踪器械并将其位置在病人影像上以虚拟探针的形式实时更新显示的一种技术。手术导航使医生对器械的位置一目了然，让手术更快速、更精确、更安全。经过多年的发展，手术导航已成为神经外科治疗的标准，在其他领域也逐渐普及。目前在美国手术导航市场上，每年执行的手术达到578，375例，到2025年预计将增长到718，224例。在美国，手术导航最常用在神经外科手术，约占病例总数的43.3％；在欧洲，最常见的是全膝关节置换术（TKA）。

二、技术原理

增强现实手术导航系统包括三个核心：虚拟图像或环境建模、虚拟环境和现实空间配准和将虚拟环境和真实环境结合起来的显示技术。

1、虚拟图像或环境建模

AR系统利用CT或MRI断层成像中解剖结构之间的颜色或纹理区别以及血管造影，在计算机中完成表面下目标的3D重建。非真实渲染或反转现实技术可以改善可视化和深度感知。

2、虚拟环境和现实空间配准

配准可以通过多种手段完成，基于帧技术的三维笛卡尔坐标系统（Cartesian system）可以确定成像设备的位置和姿态。

3、将虚拟环境和真实环境结合起来的显示技术

显示技术广义上可以分为头戴式显示（HMD）、增强型外部显视器、增强型光学系统、增强型窗口显示和图像投影。运用HMD既可以将虚拟环境覆盖于用户视野下的真实世界（光学透视），又可以覆盖到真实环境的视频源中（视频透视）。增强显示器是简单的独立屏幕将虚拟内容显示在源于真实世界的视频上。光学增强显示是指直接增强手术显微镜或双筒观察镜的目镜。窗口增强显示是将一块半透明的屏幕直接放置在手术部位上方，允许在现实物体上方屏幕直接显示虚拟对象。虚拟环境可以用投影机直接投射到患者身上。

三、市场情况

医疗市场的增强现实（AR）应用增长强劲，预计复合年增长率高达33.36％，市场价值从2018年的6.27亿美元预计将增长到2024年的34.97亿美元。由于AR技术的应用范围广泛，从评估手术准备到微创外科手术和康复，正获得医生的广泛关注。此外，根据 Research and Markets的数据，到2025年全球手术影像市场规模预计将达到17亿美元，在预测期内以复合年增长率5.4％的速度增长。增强现实（AR）在医疗保健领域的最新作用和整合正在增强外科手术经验。实时可视化平台的快速发展也带来了更好的手术治疗。此外，政府资金的增加、运动损伤的患病率的增长以及老年人口的扩大是促使全球外科影像市场增长的因素。基于应用程序，市场细分为神经外科、骨外科和创伤外科、心脏和血管外科、普外科和其他外科。

四、主要公司和代表性产品

1、Pixee Medical公司的Knee+系统

Pixee Medical公司于2017年10月在法国成立，公司目标是利用现有的先进计算机视觉和人工智能技术，创造高性能的计算机辅助手术解决方案，同时在具有挑战性的卫生系统环境中保持价格低廉。Knee+近期刚刚获得增强现实膝关节置换术导航的CE认证。这是第一个在全膝关节置换术中使用增强现实（AR）的骨科导航系统。目前正在寻求FDA对该系统的510（k）批准。

Knee+专利技术结合了专有的计算机视觉和深度学习算法，可以与现成的AR眼镜一起使用，在手术过程中跟踪仪器和植入物。安装在智能眼镜中的导航软件与配有可在高压釜中灭菌标记的缩小尺寸MIS仪器结合在一起。大小和韧带平衡功能可以快速集成到产品中。作为笨重和昂贵的机器人系统的替代品，Knee+使用简单，经济有效，不需要术前DICOM或一次性设备。未来的应用可能被引入肩关节和髋关节手术。

2、Augmedics公司的XVision Spine系统

Augmedics是一家致力于开发外科治疗技术的公司，成立于2014年。首款产品xvision-spine（XVS）系统是一种增强现实手术导航系统。借助XVS系统，外科医生可以看到皮肤和组织下手术工具的实时位置和轨迹，并在患者体内导航，从而使手术变得更加轻松，快捷和安全。XVS使用获得专利的透视光学器件，以手术精度和出色的深度感知实时将3D图像以及轴向和矢状平面投影到外科医生的视网膜上。

XVS系统包括一个透明的近眼显示头戴式耳机，并具有传统导航系统的所有元素。它实时准确地确定手术工具的位置，并将其叠加在患者的计算机断层扫描数据上。然后，使用透明的近眼显示头戴式耳机将导航数据投影到外科医生的视网膜上，从而使外科医生可以同时注视患者并查看导航数据，而无需将眼睛转移到远程屏幕上。在芝加哥拉什大学医学中心进行的一项研究中，发现XVision可将外科医生的准确性提高到令人印象深刻的98.9％。整个系统的精度约为1.4毫米，达到美国FDA的2毫米以下的要求。

3、VOSTARS视频光学透视增强现实手术系统

VOSTARS是一项创新行动项目，获得了“地平线2020计划”的资助。欧洲科学家开发的增强现实（AR）手术护目镜能够一次性看到X射线图像和所有关键数据与解剖结构完美地3D叠加在一起，并同时自由移动。VOSTARS视频光学透视增强现实手术系统将在外科医师的视野内方便地显示患者的麻醉数据、心率、体温、血压和呼吸频率等。手术准确性将显着提高，同时减少了手术时间（每三个小时的手术可以节省20分钟），而且减少了麻醉下的时间以及任何手术所涉及的成本。该项目计划2022年实现量产。

该系统结合了两种现有的AR技术：视频透视（VST）和光学透视（OST）。单独使用VST和OST都不适合对活病人进行手术。诸如Microsoft Hololens之类的OST系统使用半透明的镜面，通过将计算机生成的图像叠加在用户的视野上，为用户提供自然环境的直接视图。诸如Occulus Rift之类的VST系统通过封闭的头戴式显示器（HMD）以及立体摄像机和屏幕，将用户淹没在虚拟世界中。

4、TrueVision®3D Surgical 系统

TrueVision®3D Surgical 是全球数字3D可视化的领导者，是显微手术的风向标。TrueVision® 成立于2003年，总部位于美国加利福尼亚州圣巴巴拉，通过自主研发的数字3D可视化平台，帮助医生进行显微手术。公司开发的智能、实时、3D可视化手术和计算机辅助指导平台已获得专利。

该系统使外科医生能以3D方式录制手术过程并以流媒体方式进行手术视频直播，使之成为一个全新的教学工具。公司开发的显微外科手术的3D指导应用，可以提高手术效率和对患者的治疗效果。该系统可用于显微外科、眼科和神经病学，可以与多种应用平台相整合，在某些平台还可以与机器人手术相集成。全球上百家主流医院和机构均在使用该系统。

五、增强现实（AR）手术导航系统未来的发展探讨

增强现实在临床手术中的应用横跨计算机科学、计算机视觉、传感器、通信、临床医学、人体工程学等诸多学科，技术涉及面极广。从下面的增强现实（AR）辅助手术路线图中可以看到：未来追踪技术和图像处理将更偏向以深度学习为代表的智能技术，显示器和传感器将更偏向于与人体器官高度关联的技术，如视网膜显示器和人机共生技术。

同时增强现实辅助手术的发展也存在挑战和阻碍，如针对某些显示技术，将3D虚拟对象显示成真实世界的图像时存在挑战；虚拟环境和真实环境的时间同步是所有AR系统的另一个挑战，特别是快速透视变化；在手术的过程中，在有些情况下，图像复合需要专业的计算机团队来执行；增强现实手术导航系统与相关设备和解决方案之间的兼容性、互操作性有待优化提高；数据隐私问题等。

结语

医学手术导航是增强现实技术的重要应用之一。在图像引导手术时代，增强现实（AR）技术代表了将引导系统融合到手术工作流程中的下一个前沿。随着显示技术和交互技术的快速发展，在现代外科手术室中，增强现实（AR）的作用将会越来越大。
责任编辑人：CC