谷歌发布语言模型PaLM2,突破3.6万亿个令牌的训练数量

描述

       人工智能和AI技术的应用,是目前很大领域比较重视的部分,而至这个领域的谷歌也拥有不小的实力,就在近日,谷歌最新发布的语言模型PaLM2就具备很强的竞争力。

  据悉,令牌是指训练大语言模型所使用的单词串,它们对于教导模型如何预测字符串中可能出现的下一个单词至关重要。

  而在去年发布的上一代模型PaLM仅使用了7800亿个令牌,而PaLM2则提升到了3.6万亿个令牌。同时PaLM2在编程、数学和创意写作方面表现更为优秀,得益于其庞大的训练数据。而这些也将有效提升用户的工作效率,减轻工作量。

  另据报道,PaLM2是基于3400亿个参数进行训练的,而初始版本的PaLM则基于5400亿个参数,而这也造就PaLM2比现有的任何模型都更加强大。

  该模型采用了一种名为“计算机优化扩张”的新技术,使得大语言模型具备更高的效率和整体性能,包括加快推理速度、减少参数调用和降低服务成本。

  相信随着社会科技的进步,Ai技术的应用也将给我们的生活带来诸多的变化。

  以上源自互联网,版权归原作所有

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分