当AI遇上云原生,绿色算力助力开启AI新时代

描述

撰写文章、编写代码、谱写 Rap,上知天文,下知地理,十八般武艺样样精通……从 2022 年底开始,一款由美国人工智能研究实验室 OpenAI 发布的自然语言处理工具 ChatGPT 备受关注,成为现象级的 AI 产品,掀起全球的 AI 浪潮。

在以 ChatGPT 为代表的 AI 应用蓬勃发展的背后,离不开数据中心提供的算力支撑。而随着相关应用的不断发展,它们所需的算力将呈指数级增长,所需的能耗也不容小觑。根据 2021 年国外研究人员年发表的研究结果,部分基于 GPT-3 模型的训练共消耗1,287 兆瓦时电力,并产生了超过550 吨二氧化碳当量的排放,这相当于一个人往返纽约和旧金山550 次所消耗的二氧化碳量[1]。

Ampere Computing 一直致力于为数据中心带来高性能、高能效的云原生处理器,助力减少环境足迹,构建绿色数据中心,降低总体拥有成本(TCO),以更可持续的方式为用户提供更多的绿色算力。在 AI 领域,Ampere 提供的 AI 解决方案具备卓越的推理性能和优越的能效,帮助用户轻松应对算力及能耗的挑战。

想知道 ChatGPT 如何看待AI 在“减碳”方面的作用吗?快来参与文末的趣味互动吧!

云原生设计,强力赋能 AI 推理

Ampere Altra Max 基于高性能、高能效及可预测的创新架构,非常适合在云中执行 AI 推理工作,不仅可以满足延迟和吞吐量的要求,而且性能优于基于 x86 架构的 CPU。让我们一起来看一下在 Ampere Altra Max 处理器上运行 AI 推理的收益吧!

开箱即用,畅享便捷体验

在 Ampere Altra Max 上运行 AI 推理不需要修改或转换已有神经网络,即可在 TensorFlow、PyTorch 或 ONNX 框架上开发和运行 AI 推理的工作负载。用户可从 Ampere 或 Ampere 云服务合作伙伴处免费获得优化框架,高效地部署和运行应用程序。同时,Ampere Altra Max 是目前唯一支持 fp16 数据格式,并已广泛可用的云原生处理器,将 fp32 训练的网络量化为 fp16 极为简单,且不会导致明显的精度损失。

此外,Ampere 还提供一系列不断优化、预训练的模型,供用户下载用于演示或在实际应用程序中进行调整并使用。并且,Ampere Altra Max CPU 还可与 NVIDIA GPU 协同工作,满足用户的训练需求。

高度可扩展,有效抵抗干扰

凭借创新的可横向扩展架构,Ampere Altra Max 处理器具有更高的核心数和出色的单线程性能。结合所有内核可同时一致频率运行的特性,Ampere Altra Max 的单 CPU 整体性能比目前最好的 x86 服务器更高、更稳定,在多租户的云环境中对“嘈杂邻居”的干扰也更具抵抗力。

基准测试,彰显卓越推理性能

为展示 Ampere Altra Max CPU 在多个具有代表性的 AI 推理任务中的卓越性能,Ampere 按照 MLCommons 指南运行了一系列基准测试(包括计算机视觉和 NLP 应用),部分测试的结果如下。

计算机视觉方面,使用 SSD ResNet-34 测试典型的对象检测应用,在 fp32 模式下与比较对象相比,Ampere Altra Max 在低延迟方面最高可领先近 4 倍。在 fp16 模式下,Altra Max 将领先优势扩大了两倍,同时保持了相同的精度。

人工智能

在性能功耗比方面,Ampere Altra Max 也具有显著优势。在 fp16 分辨率下,Ampere Altra Max 的能效与比较对象相比高约 5 倍。而在 fp32 分辨率下,Ampere Altra Max 则拥有高约 2 倍的领先优势。

人工智能

面对蓬勃发展的 AI 应用,Ampere AI 解决方案将为 AI 应用和数据中心的发展提供更可持续的绿色算力支撑,助力解决不断升级的算力需求和日益突出的环境问题。一直以来,Ampere 着眼未来、不断创新,将卓越性能和能效融入到为云定制的解决方案中,助力释放数字经济生产力,助推科技产业在可持续发展的道路上一路“狂飙”。

  审核编辑:汤梓红

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分