谷歌训练开发一个万亿参数的AI语言模型

电子说

1.2w人已加入

描述

参数是机器学习算法的关键。它们是从历史训练数据中学到的模型的一部分。一般来说,在语言领域,参数的数量和复杂性之间的相关性非常好。例如,OpenAI的GPT-3是有史以来训练了1750亿个参数的最大语言模型之一,它可以进行原始类比、生成配方,甚至完成基本代码。

近日,谷歌的研究人员开发了一种技术,并对其进行基准测试,他们声称这种技术能够训练包含超过一万亿参数的语言模型。他们表示,他们的1.6万亿参数模型是迄今为止最大的,比之前最大的谷歌开发的语言模型(T5-XXL)快了4倍。

研究人员指出,大规模训练是建立强大模型的有效途径。简单的架构,大数据集和参数计数的支持,超越了更复杂的算法。但是,大规模的训练虽然有效,但计算强度极高。这就是为什么研究人员追求他们所谓的Switch Transformer,一种“稀疏激活”技术,它只使用模型权重的子集,或转换模型内输入数据的参数。

Switch Transformer的新颖之处在于它有效地利用了为密集矩阵乘法(广泛应用于语言模型的数学运算)设计的硬件,如GPU和TPU。在研究人员的分布式训练设置中,他们的模型将不同的权重分配到不同的设备上,这样权重就会随着设备数量的增加而增加,但在每个设备上都保持可管理的内存和计算空间。

在一项实验中,研究人员使用32个TPU内核预先训练了几种不同的Switch Transformer模型,这个语料是一个750GB大小的数据集,包含从Reddit、Wikipedia和其他网络资源上获取的文本。他们让这些模型预测有15%的单词被掩盖的段落中遗漏的单词,以及其他挑战,比如检索文本回答一系列越来越难的问题。

研究人员声称,与包含3950亿个参数和64名专家的更小的模型(Switch-XXL)相比,他们发明的拥有2048名专家的1.6万亿参数模型(Switch-C)则“完全没有训练不稳定性”。

然而,在SQuAD的基准测试上,Switch-C的得分却更低(87.7),而Switch-XXL的得分为89.6,研究人员将此归因于微调质量、计算要求和参数数量之间的不明确关系。

在这种情况下,Switch Transformer还是在许多下游任务上的效果有了提升。例如,在使用相同数量的计算资源的情况下,它可以使预训练的速度提高了7倍以上。

同时研究人员证明,大型稀疏模型可以用来创建更小、更稠密的模型,这些模型可以对任务进行微调,其质量增益只有大型模型的30% 。

在一个测试中,一个 Switch Transformer 模型被训练在100多种不同的语言之间进行翻译,研究人员观察到其中101种语言都得到了普遍的改善。

在未来的工作中,研究人员计划将Switch Transformer应用于新的和不同的形态中去,包括图像和文本。他们认为,模型稀疏性在一系列不同的媒体和多模态模型中都具有优势。
       责任编辑:pj

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分