VR/AR/MR+医疗，助力医学研究更进一步

***勤益科技大学与秀传医院合作形成的研发团队发表成果展示称，其研发出的“MR＋VR智能医疗眼镜”，在MR混合虚拟现实眼镜的基础上，结合VR虚拟现实和data gloves数据手套等技术可让远程端的医生实时指导灾难现场人员对伤患做手术或实施急救。目前已完成两例临床实测，接下来将逐步进入应用测试和量产阶段。

可见，VR/AR/MR技术不只在娱乐领域有巨大潜力，在医疗领域同样有广阔空间。特别在医疗培训、临床诊疗、医学干预、远程医疗等方面具有一定的优势，但是目前由于软硬件平台限制，VR医疗解决方案离临床应用还有一段距离。
 

 

与欧美国家有一定差距

欧美国家很早就开始探索VR/AR/MR+医疗，一方面是因为欧美国家用于医学解剖的尸体非常稀少，另一方面他们对动物也有相应的法律保护，医生也不能用动物进行练习。曾在欧美高校游学多年的北京航空航天大学教授潘俊君说，如果利用传统手术观摩的办法，周期长，效率很低，所以西方国家医疗领域对虚拟现实技术有硬需求。而且从欧美国家的大学、研究机构、企业的一些案例也可以看出他们对VR/AR/MR+医疗十分重视。

美国德克萨斯大学的研究人员用虚拟环境帮助年轻的自闭症患者练习社交技能，比如面试、相亲或与新邻居见面等等。VR练习可以帮助这些年轻人理解社交暗示，明白人们的弦外之音，并且以符合社交惯例的方式表达自己的意见。而硅谷初创公司Limbix推出了一项新服务：利用搭配智能手机使用的Daydream View提供暴露疗法。

美国加州健康科学西部大学的虚拟现实中心有zSpace显示屏、Anatomage虚拟解剖台、在Oculus Rift和iPad上的斯坦福大学解剖模型，旨在帮助学生利用VR学习牙科、骨科、兽医、物理治疗和护理等知识。同样，德国汉堡Eppendorf大学医学院医用数学和计算机研究所建立了一个名为VOXEL—MAN的虚拟人体系统，它包括人体每一种解剖结构的三维模型，肌肉、骨骼、血管及神经等任一部分都是三维可视的，使用者戴上头盔显示器就可以模拟解剖过程。

纽约市威尔康奈尔医学中心的研究人员已经开始使用VR技术，来更好地理解癌症基因突变的状况了。他们为Oculus头盔开发了一个新的程序，让用户看到并与微观蛋白质的3D模型进行交互。

瑞典各大医学培训中心及医院已经运用“模拟婴儿”、“模拟孕妇”等一系列的VR产品，让医生在更逼真的虚拟环境中进行学习，减少了传统手术环节中对动物的伤害。

2014年，墨尔本的一家叫Small World的公司进行了一场通过给孕妇佩戴Google Glass并使用Google Glass上的摄像头来远程进行母乳喂养的指导的实验；Augmedix利用谷歌眼镜显示收集到的病人的数据和参考信息，帮助医生更好的和患者进行交流；3D4Medical的医疗软件平台，提供人体解剖、人体器官模型、血液关节等医学信息，以增强现实的方式提供医学教学。

而国内虚拟现实技术在医疗领域并非不可替代，大部分医学院学生或者医生不缺练手的素材，他们可以用活猪等动物进行练习，所以目前国内VR+医疗与欧美国家有一定的差距。但是随着虚拟现实技术的逐渐成熟，国内高校、医院和企业也在积极推动VR+医疗领域的发展，其中有些技术或者应用也取得了一定的突破。

北京航空航天大学成功研发出我国具有自主知识产权的虚拟腹腔镜手术训练系统Lap-Sim和经皮冠状动脉成形术模拟器，后者可满足个性化手术规划、预演、新手术实验等临床应用需求。目前，该PCI模拟器中已经集成了多套个性化病例数据，并在北京协和医院、第三军医大学进行了多轮次的测试验证和应用示范。同时，北京航空航天大学、上海交通大学、第三军医大学等还开发出了具有力反馈的心血管介入虚拟手术系统。

四川大学华西基础医学与法医学院便利用了新新科技虚拟现实技术，研发出一款《人卫3D系统解剖学》VR版，让学生带上VR头盔就能够看到全方位立体展示的人体结构。

上海交通大学计算机科学与工程系与嘉奥科技共建“智能医疗与虚拟现实联合研究中心”，该中心主要研究方向为虚拟现实与深度学习，其研究领域包括三维图像处理与分析、医学影像数据数字化、实时动态三维模拟及人工智能应用等。

去年11月，中国首个“虚拟现实医院计划”正式启动。“虚拟现实医院计划”将采用VR/AR/MR、全息投影、人机接口、神经解码编码等技术，促进医、教、研、产一体化，提出未来新医疗全套解决方案。截至目前，已经有10多家医院加入该计划。

广州市正骨医院已经发布全球第一台VR+3D外科手术视频，并完成了中医史上首次正骨手法教学视频。

海信研发出海信精准数字化手术室系统，可以将患者肝脏的CT数据变成三维的数字肝脏，有助于医生在术前更精确全方位评估、规划和设计手术方案，术中无需接触电脑就可以用手势遥控操作手术导航，使复杂的手术更精准。目前这套系统已在长庚医院、复旦大学附属儿科医院等全国30多家三甲医院临床使用，完成手术已达1000余例。

IEEE高级会员、上海交通大学杨小康教授认为，目前来看，虽然欧美的VR/AR+医疗的水平是要强于国内的，也有许多的世界领先的成果，但是总的来说，VR/AR+医疗还处于起步阶段，无论是学术上的研究或是商业产业链都有很多欠缺，还有很长的路要走。

VR可解决医疗四大痛点

从国内外的案例可以看出，虚拟现实技术在医疗培训、临床诊疗、医学干预、远程医疗等方面都有一定的应用空间。

在医疗培训方面，虚拟现实技术可以突破实验设备、实验场地和经费等物理方面的局限性，让更多的医学院学生或者医生可以沉浸在虚拟现实环境中进行训练并学习新技术，加深对训练内容的理解。潘俊君指出，虚拟现实技术给医生从无到有地制造了一个完全真实的体验经历，刚刚走出医学院校门的新手，借助虚拟手术系统可以成为经验丰富的外科手术高手。而且利用虚拟现实技术，同样的病例和场景可被重复使用，可以节省资源。国内医生一般用活猪练手，成本很高，如果用手术模拟器练习可以大幅度降低手术成本。

中国医科大学教授娄岩认为，VR能够避免真实情境带来的各种危险，例如麻醉学、急救医学和战地医学等相关学科临床技能训练时。

在术前规划及术中辅助方面，虚拟现实技术同样可以发挥重要的作用。利用虚拟手术系统，医生对病变缺损部位进行较精确的前期测量和估算，从而预见手术的复杂性和风险点。潘俊君表示，运用增强现实技术可以使医务工作者沉浸于虚拟的场景内，通过视、听、触觉感知，学习各种手术实际操作，体验如何应付临床手术中的各类突发情况。

娄岩认为，VR技术可以在医患沟通中，让患者及家属更直观、更好地理解手术方案，获得充分的知情和选择的权利，增进医患双方的理解，减少医患矛盾。

在医学干预方面，VR技术适用于精神疾病干预和康复医疗干预。亚特兰大艾墨立大学医学院（Emory University School of Medicine）芭芭拉·罗特鲍姆（Barbara Rothbaum）帮助开拓了虚拟现实技术在心理学领域的实践应用。她帮助开展的一项临床试验显示，在治疗病人对飞行的恐惧时，虚拟现实技术让90%%的病人最终克服了焦虑症状。

在远程医疗方面，利用虚拟现实技术和互联网能够跨越地域的界限，平衡不同地方医生资源不匹配的现状。***勤益科技大学与秀传医院合作形成的研发团队负责人李佩渊指出，他们最新推出的智能医疗眼镜不仅能让手术更精准，也能用于医疗资源不足的重灾地区，不论是恐怖攻击、战场还是地震重灾区，即便现场没有医护人员，医师也能利用眼镜实施远程指导。

例如在偏远的山区，通过远程医疗虚拟现实系统，患者不进城也能够接受名医的治疗。娄岩强调，对于危急病人，还可以实施远程手术。这时医生只要对病人模型进行手术，他的动作就可以通过卫星传送给远处的手术机器人。手术的实际图像通过机器人上的摄像机还能够传回到医生的头盔立体显示器，并将其和虚拟病人模型进行叠加，为医生提供有用的信息。

但是由于VR和AR技术特性不同，在医疗领域应用时又存在差异。IEEE高级会员袁昱博士认为，VR致力于提供完全沉浸式的虚拟体验，而AR是在现实世界中叠加虚拟对象。具体到医疗行业的应用上，在心理诊疗和功能康复诊疗方面主要用到VR，手术导航主要用到AR，而远程医疗在现场接受远程指导的主要用到AR，在远程提供指导或遥控操作的主要用到VR。杨小康也指出，在医疗教育领域，VR和AR有着异曲同工之妙，唯一的不同可能就是AR可以学习的同时，实时操作，而VR的观看效果可能更好一些。

如何解开VR+医疗死结？

VR+医疗看似美好，能给医疗带来便利，但是虚拟现实技术与医疗领域结合的过程中会遇到像硬件平台不成熟、算法不够准确、交互不够精确等难题，而且即使做出产品，在应用推广阶段同样会碰壁，因为互联网公司做出的产品不一定符合医生和病人的需求，所以现在VR+医疗需要技术人员与医生共同研发，才能做出真正的产品。

VR/AR+医疗发展比较滞后，一方面，VR/AR+医疗目前相关理论研究和学术研究还较少，成熟的成果也较少，使得人们对其认可度暂时受到制约。另一方面，VR/AR缺乏核心应用，使得VR/AR目前难以进入所有人的视野，也少有人知道VR/AR+医疗的意义，而VR/AR+医疗技术的普及的前提是VR/AR的普及。袁昱认为，VR/AR的支撑技术本身还远不够成熟，有待进一步发展和突破，尚未攻克的许多难点自然也会影响到在医疗行业的应用。例如，在真实物体的建模与仿真上的技术局限性就导致AR手术导航还不能很好地用于肝、肾等软体器官的手术。

而且VR+医疗与心理学、医学等学科息息相关，如何促进有效的合作、制作合适的内容也是一个难点。海信计算机辅助手术系统（Hisense CAS）研发过程就是一个例子，海信工程师们白天做研发，晚上和外科医生们做动物实验，并不断根据DICOM数据不断设定相关参数并优化算法，让系统可以自动精确地在一系列CT图像上分割出肝脏、血管、肿瘤、胆囊等肝脏各组织。

潘俊君指出，手术模拟器的触感是难点，因为它带有力反馈，怎么能让它的力反馈和真实的手术反馈尽量一致、逼真十分困难，这需要工程师和医生反复交流、迭代、尝试才能调整出来。

在应用推广阶段同样存在硬件平台不成熟、产品与应用场景脱节、市场待教育等问题。实际上，医院对虚拟现实医疗有一定的需求，VR在医疗培训、人体研究、康复、心理培训上有优势，但是VR+医疗产品离临床还有一段距离。

一方面是因为VR+医疗研发团队与应用场景脱节，再加上硬件平台技术不是非常成熟，导致产品体验不佳，离临床还有差距。“虚拟现实医院计划”执行总监、广州市正骨医院万磊博士后认为，现在VR+医疗团队大多数想当然，没有和实际医疗场景相结合，不能满足医生和患者的需求。

另一方面是因为医疗是传统行业，老医生思想比较保守，在接受新技术上比较慢，VR+医疗产品少有人买单。而国外使用比较普遍是因为他们将相关产品和医疗培训证书相结合，有刚需，所以潘俊君认为，如果要推广VR+医疗应用，需要国家相关政策的支持。

而且在法规方面，VR/AR本身是迭代很快的新兴技术，但医疗器械和方案往往需要经过漫长的各级认证才能大规模推向市场。袁昱指出，如何在现行法规内，从转化医学等角度予以VR/AR+医疗产品在审批上最大的灵活性，乃至对现行法规作出合理的补充和调整以便在保证安全的前提下使新兴技术能更快地用于临床，都是值得探讨的话题和努力的方向。

现在研发公司希望国家政策认可通过VR+医疗产品来训练、考核并颁发证书，但是国家希望民间攻克技术难点，推广产品。潘俊君建议，国家可以立项，鼓励民间企业投入，这样才能改变现状。清华大学经管虚拟现实及人工智能产业研究院主任研究员文钧雷也指出，国家需要出台鼓励性政策，促进企业和医院联合开发产品，加速VR+医疗土壤的形成，这样既可以解决医院付费和招标购买问题，促进医院和企业共同研发创新，同时也可以让医院和医疗研究机构不断推进VR+医疗研发和应用。