Cerebras发布WSE-3 AI芯片，性能翻倍达4万亿晶体，能耗不变

　　初创芯片设计公司 Cerebras Systems发布了第三代 WSE-3 AI 芯片，此款芯片利用台积电5纳米制程技术制造，晶体管数量较上一代 WSE-2 明显提高，达到惊人的4万亿个。新一代 CS-3 系统搭载 WSE-3芯片，能耗不变的前提下，处理能力高达原版的2倍。据Cerebras执行总裁 Andrew Feldman表明，此次突破是向实现摩尔定律更近一步。

　　该款 WSE-3 AI 芯片几乎完全由一块12英寸晶圆构成，形如边长21.5厘米之正方体。这款芯片设有90万个 AI 内核，理论上可输出每秒125百亿次浮点运算（PFLOPS）的超强算力，其计算速度超过了大约62个 NVIDIA H100 GPU 的总和。

　　Cerebras主要分为三批推出芯片，分别于2019年、2021年以及即将到来的2024年初问世。三批均采用台积电16nm、7nm及5nm工艺生产。具体来看，这些芯片中的晶体管数量不断增长，其中FLOPS计算性能提升最快，AI核心数目、内存储器容量及内部带宽则保持较为平稳的增势。

　　单个 WSE-3芯片使得CS-3计算系统训练达到24万亿参量的神经网络模型，相当于最强 LLM 规模的十倍，例如 OpenAI 的 GPT-4 以及谷歌的 Gemini。CS-3系统也具备卓越的可扩充性，最多能容纳2048台设备连接。这样的大规模计算集群仅需一天便可完成训练含有700亿参量的 Llama 模型任务。

　　CS-3计算系统上市后受到广泛关注与追捧，其企业客户、云服务运营商甚至政府机构纷纷下单预约。另外，鉴于此前成功合作开发的 Condor Galaxy 1（CG-1）和 CG-2，Cerebras 及阿拉伯联合酋长国 G42 公司已经着手建设最新款的 CG-3 超级计算机。坐落于德州达拉斯市的 CG-3计划装配64台CS-3计算系统，共有5760万个AI核心，预计AI计算能力达到8 ExaFLOPS（EFLOPS）。

　　一旦加入已经在加州运行的 CG-1和 CG-2系统，整个 Condor Galaxy 计算网络的性能预计能够达到令人难以置信的16 EFLOPS。这个包含从 CG-1到CG-9共九台超级计算机在内的分布式计算网络有望于2024年底正式投入使用，共同为 G42 公司内部团队及云服务团队提供强大支持。G42公司首席技术官 Kiril Evtimov公开表示，现有的 Condor Galaxy 计算网络已成功支持业内不少尖端开源模型的深度学习训练。