Cerebras推WSE-3芯片,性能翻倍,助力超大规模AI模型训练

描述

  据报道,硅谷晶圆芯片创企 Cerebras 近日公布了其 WSE-3 芯片型号,声称在保持相同能耗的基础上,性能较前作 WSE-2 提升逾一倍。主要技术规格如下:

  首先,WSE-3采用台积电最新的5nm工艺制作(目前领先业界)。其次,该芯片拥有超过4万亿个晶体管以及90万个AI核心,配合44GB片上SRAM高速缓存及三种可选片外存储方案(分别是1.5TB、12TB与1.2PB)。此外,WSE-3还具备125 PFLOPS的AI运算能力。

  Cerebras指出,新款CS-3系统基于WSE-3芯片设计,最高支持1.2PB的内存容量,适于训练比GPT-4及Gemini更大的未来模型。借助独特的逻辑内存空间技术,能将24000T模型参数集中储存,大幅减轻了开发者负担。

  尤为值得关注的是,CS-3强大的卓越的训练性能使其成为满足大规模AI需求的最佳选择,甚至可以在单日内完成70B模型的精炼。借助最大规模的2048套CS-3系统集群,仅仅一天便能够完成长毛羊 70B 神经网络(Netrep Tempo)模型的深度学习。同时,CS-3系统在用户友好性设计方面也表现出色,与GPU相比,大模型训练中的编码量降低高达97%,更多人可以轻松掌握超大规模AI处理技能。

  值得一提的是,阿联酋G42财团已经表态将创建含64套 CS-3系统在内的Condor Galaxy 3超级计算机,预计综合AI运算能力可达8 exaFLOPs。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分