微软推出ONNX Runtime Web,利用WebGPU优化浏览器机器学习性能

描述

  3 月 5 日,据报道,微软将 ONNX Runtime Web 与 WebGPU 进行集成,旨在提升网络浏览器中复杂机器学习模型的运行效率。当前阶段,Chromium 和 Edge 浏览器已加入初步支持。

  作为微软的 JavaScript 库,ONNX Runtime Web 使得网络开发者能在浏览器环境下部署机器学习模型,并提供多种硬件加速的后端支持。

  WebGPU 则是一种设计用于网络浏览器的,为机器学习模型提供硬件加速的 API。在此前,因算力限制,复杂机器学习模型尤其是大规模生成模型无法在网页浏览器中有效运行。如今,WebGPU 得以充分利用设备 GPU 的潜力来解决这一问题,大幅改善运行效果。

  微软指出:

  借助计算着色器等创新技术,WebGPU 能够更为高效地应对复杂机器学习工作负载。其对半精度(FP16)的支持,不仅降低 GPU 内存占用及带宽需求,还提升运算速度。WebGPU 借助 GPU 并行处理的优势,轻松实现高效且具有扩展性的机器学习应用。

  所有版本的 Chrome 113、Edge 113、适用于 Mac、Windows、ChromeOS 的 Chrome 以及适用于 Android 的 Chrome 121 均默认为WebGPU 做好准备,开发者可通过 ONNX Runtime Web 调用 WebGPU 以提高运行效率。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分