SambaNova推类ChatGPT开源模型BLOOMChat之后再推AI芯片SN40L

描述

  SambaNova推类ChatGPT开源模型BLOOMChat之后再推AI芯片SN40L

  SambaNova是硅谷AI芯片初创公司,近期推出了AI芯片SN40L,SN40L芯片基于台积电5nm工艺打造,每个芯片集成了1020亿个晶体管和1040个核,算力高达638TFlops。这款新 SambaNova 芯片由台积电负责制造,能够支持 5 万亿参数模型,并包含两种先进的存储形式。

  SambaNova称单个SN40L系统节点(8块SN40L芯片)就能支持到最高5万亿参数的大模型。

  此外,SambaNova与其他竞争对手一样,在AI芯片上引入了64GB HBM用于解决内存墙的问题,这也是SN40L与上一代芯片的差异之一。只不过SambaNova并没有透露SN40L用的是何种HBM,以及带宽性能如何。

  SambaNova成立于2017年,截至目前已经历了共计6轮融资,参与融资的公司包括谷歌、英特尔和软银等,融资总额高达11亿美元。

  此前SambaNova还与Together联合推出了类ChatGPT开源模型——BLOOMChat。

  BLOOMChat是基于BigScience在2022年7月开源的大语言模型BLOOM开发而成,并在OpenChatKit、Dolly 2.0和OASST1的数据训练集上进行微调。

  BLOOMChat有1760亿参数,支持中文、英文、日文、法文、等46种语言;支持代码生成,包括Python、java、php、cpp、Ruby、C++等13种编程语言;可用于 Apache 2.0 修改版本下的研究和商业用例;知名开源平台持续提供技术迭代等。

  BLOOMChat与目前市面上大多数类ChatGPT开源模型相比,在预训练数据、指令调优、功能扩展、AI对齐等方面拥有巨大优势。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分