一种针对来自互联网的数万亿个单词训练的语言模型

　　商业概览：

　　OpenAI是一个人工智能研究实验室，由OpenAI LP及其上级组织非营利组织OpenAI Inc.组成。该公司是技术巨头DeepMind的竞争对手，在人工智能（AI）领域进行研究，以共同促进并以有益于整个人类的方式开发友好的AI。该组织由埃隆·马斯克（Elon Musk），萨姆·奥特曼（Sam Altman）等人于2015年年底在旧金山成立，他们共同认捐了10亿美元。马斯克于2018年2月从董事会辞职，但仍是捐助者。2019年，OpenAI LP从微软获得了10亿美元的投资。2020年6月，OpenAI宣布了GPT-3，这是一种针对来自互联网的数万亿个单词训练的语言模型。它还宣布了一个关联的API，简称为“ API”，将成为其首个商业产品的核心。GPT-3旨在以自然语言回答问题，但也可以在各种语言之间进行翻译，并且可以连贯地生成即兴文本。

　　自动点唱机：

　　自动点唱机是一种神经网络，可以产生包括基本唱歌在内的音乐，作为各种类型和艺术风格的原始音频。他们将发布模型权重和代码，以及用于探索生成的样本的工具。自动音乐生成可追溯到半个多世纪。一种突出的方法是以钢琴卷的形式象征性地产生音乐，该音乐指定要演奏的每个音符的时机，音高，速度和乐器。这导致了令人印象深刻的结果，例如制作巴赫合唱，使用多种乐器的和弦音乐以及时长的音乐作品。

　　但是符号生成器有局限性，它们无法捕获人的声音或音乐必不可少的许多更细微的音色，动态性和表现力。另一种方法是将音乐直接建模为原始音频。由于音序很长，因此在音频级别上生成音乐非常具有挑战性。17以CD质量（44 kHz，16位）播放一首典型的4分钟歌曲需要超过1000万步。为了进行比较，GPT-2有1，000个时间步长，而OpenAI Five每场比赛花费了数万个时间步长。因此，要学习音乐的高级语义，模型将必须处理极长距离的依赖关系。

　　MuseNet：

　　MuseNet是一个深度神经网络，可以用10种不同的乐器生成4分钟的音乐作品，并且可以将乡村音乐，莫扎特音乐和甲壳虫音乐的风格进行组合。MuseNet并未根据他们对音乐的理解进行明确编程，而是通过学习预测数十万个MIDI文件中的下一个标记来发现和谐，节奏和风格的模式。MuseNet使用与GPT-2相同的通用无监督技术，GPT-2是一种大型变压器模型，经过训练可以预测序列中的下一个标记（无论是音频还是文本）。MuseNet使用Sparse Transformer的重新计算和优化的内核来训练具有24个关注头的72层网络-充分关注4096个令牌的上下文。如此长的语境可能是它能够记住片段中长期结构的原因之一。

　　其使命：

　　OpenAI的使命是确保人工智能（AGI）惠及全人类，人工智能（AGI）表示高度自主的系统，在大多数具有经济价值的工作中，它们要胜过人类。该公司将尝试直接建立安全有益的AGI，但如果他们的工作帮助其他人实现了这一目标，也将认为他们的使命已经实现。