ForwardXP:通过XR培训实现F.A.S.T(快速)响应

人工智能

641人已加入

描述


很多开发者喜欢边做边学——学习新技术,使用前沿工具,帮助实现灵感。ForwardXP团队也持有同样的观念,他们利用Qualcomm Technologies移动创新和扩展现实(XR)专业知识,在Think F.A.S.T VR医疗培训演示中开发新的沉浸式体验。


Think F.A.S.T.是一款非常有吸引力的VR模拟,将观看者置身于医疗急救情形当中。在这个最先进的虚拟培训中心,医科学生使用虚拟现实技术,学习如何使用F.A.S.T(面部、手臂、语音、时间)系统识别中风症状,同时与虚拟病人实时交互。


Qualcomm Technologies选择ForwardXP将他们在视频游戏开发方面的专业知识带到医疗领域虚拟现实,在Think F.A.S.T演示中展示医疗培训的突破性现实。硬件和软件是使XR真正具有沉浸式体验必不可少的两个方面,因此,在培训模拟中将两者无缝集成是至关重要的。



图片:使用Qualcomm 骁龙835 VR开发套件的放射肿瘤医师利用Think FAST培训模拟进行交互。


硬件


虚拟现实的一个重要方面就是沉浸感,体现在三个关键方面:视觉、听觉和互动。为实现这一重要目标,ForwardXP使用了Qualcomm® 骁龙™ 835 VR开发套件;这是一款独立的全功能移动XR头盔,带有单面板AMOLED头戴式显示器(HMD)和一个集成骁龙835的移动平台。


包括支持六个自由度(6DoF)的双前置摄像头,通过集成的Hexagon™ DSP以800Hz高频率实现六个自由度。允许用户在他们认为合适的地方自由探索并提供在环境中的自然感觉。


骁龙835 VR开发套件具有真正的移动特性,可以使用户沉浸在虚拟世界,无需连接电缆,从而可以从各个角度检查患者,确保诊断准确。不仅如此,现在医疗服务提供者可以在任何地方接受培训,而无需繁琐昂贵的设置。


Hexagon DSP降低了6DoF的计算量,同时,强大的Qualcomm Adreno™ 540 GPU提供了高帧率体验,可以帮助减少眩晕。ForwardXP团队可以做到在GPU上投射高分辨率模型和纹理,而不会降低性能。


与其他XR解决方案相比,骁龙835 VR开发套件为此类应用提供了强大的解决方案。


Qualcomm


软件


ForwardXP使用Unity 3D构建训练平台,将其编译成Android包并部署到平台。与其他解决方案不同的是,骁龙835 VR开发套件是一款独立产品,因此,无需担心使用智能手机VR解决方案时可能会遇到的电话、多任务或其他负担。


骁龙VR SDK使Unity3D获得高精度6DoF跟踪,从而实现更加身临其境的体验。Adreno 540 GPU的强大功能可以让艺术家自由地提供高度细致和逼真的场景。在处理病人诊断工具时,应该尽可能地贴近现实,以便将培训内容应用到实际操作当中。



图片:Jah Raphael在Unity 3D中开发ThinkFAST VR模拟程序。


Think F.A.S.T.还融合了Leap Motion的精确手部运动追踪功能,帮助提升沉浸感。由于训练面向以前从未使用过手柄的医疗专业人员,自然的手部动作是一个关键部分。


为进一步增加自然的用户交互,ForwardXP还集成了专有的语音控制。允许用户以舒服的方式与虚拟病人交互,好像他们正在和自己的病人聊天一样。


中间问题


提到中风患者,时间可谓生死攸关。切实可行的实践培训可以有助于提高准确诊断的速度。


对VR开发感兴趣?在Qualcomm开发者网络上查看以下资源:


骁龙VR SDK——为开发者提供骁龙VR设备优化的高级VR功能。


3D音频工具——帮助创建栩栩如生的3D音频体验的工具套件,包括支持基于场景的音频。


骁龙835 VR开发套件——由骁龙835移动平台提供支持,支持6DoF的独立和无线一体化VR头盔。


硬件制造商还可以利用我们的HMD加速器计划,使用Qualcomm Technologies参考设计和/或与交钥匙原始设计制造商合作。


无论您在XR开发方面发挥什么作用,也无论您为哪些群体构建沉浸式体验,Qualcomm开发者网络都能为您提供相应的技术、工具和资源。现在注册,注册电子邮件并更新去了解QDN最新的信息。




更多Qualcomm开发内容请详见:Qualcomm开发社区。





打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分