天数智芯取得大模型适配支持阶段性成果

描述

ChatGPT在全球范围内掀起了一场技术革命与商业浪潮,AI 市场也迎来了前所未有的机遇。伴随着大模型的快速崛起及广泛应用,底层算力的支撑作用愈发凸显。顺应技术发展潮流,天数智芯从硬件、软件两个角度推动战略升级,打造高性价比、广通用性的全栈式集群解决方案,为大模型时代提供强大算力底座。

天数智芯的通用GPU产品天垓、智铠系列具有自主可控、高性能、通用性、灵活性等特点,广泛支持PyTorch、TensorFlow、PaddlePaddle 等各种原生框架,支撑了200余种人工智能算法模型稳定运行。在此基础上,天数智芯自主研发了IXCCL分布式通信技术,显著提升多机多卡高速互联性能,打造基于自主通用GPU的算力集群方案,持续优化自动混精训练、流水线并行、张量并行、数据并行以及模型并行等并行加速策略,让大模型训练、推理变得更加高效。

ChatGPT

天数智芯通用GPU产品天垓、智铠系列

在合作伙伴的大力支持和共同努力下,天数智芯自主算力集群方案不仅能够有效支持OPT、LLaMa、GPT-2、CPM、GLM等主流AIGC大模型的Pretrain和Finetune,还适配支持了清华、智源、复旦等在内的国内多个研究机构的开源大模型,取得了大模型适配支持阶段性成果。如,由清华技术成果转化的智谱AI公司推出了基于千亿基座模型的ChatGLM,采用天数智芯算力集群方案无需修改代码即可跑通GLM 6B开源版,节省了大量时间成本和运营成本,让客户无痛使用。结果显示,在问答环节,基于天数智芯算力集群的ChatGLM能够快速响应用户问题,并较精准给出回答。

ChatGPT

天数智芯自主算力集群方案

全新的人工智能时代正呼啸而来,海量数据洪流和大模型应用需求爆发将继续拉动算力规模成倍增长。天数智芯将始终坚持开发自主可控、国际领先的高性能通用GPU产品,不断升级算力解决方案,适配支持更多参数量、更大数据集、更复杂算法的大模型,为我国大模型创新发展、应用落地提供更加坚实的算力支撑。

关于天数智芯

上海天数智芯半导体有限公司(简称“天数智芯”)于2018年正式启动通用GPU芯片设计,是中国第一家通用GPU高端芯片及超级算力系统提供商。公司以“成为智能社会的赋能者”为使命,立足客户、市场的需求,致力于开发自主可控、国际领先的高性能通用GPU产品,探索通用GPU赶超发展道路,加快建设自主产业生态,打造世界一流的算力引擎,以更可信、更高效、更绿色的算力赋能各行各业智能化转型,促进我国数字经济高质量发展,开启中国引领世界走向元宇宙、数字孪生的崭新一页。

审核编辑 :李倩

 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分