深度学习或将引领半导体行业变革

机器学习就是在巨量数据上执行某类复杂运算，并且效率越来越来高，成功的案例也越来越多。现在，机器学习已经从一个相对晦涩的计算机科学概念快速发展成了一种可靠的方法，并且已经被应用在了从人脸识别技术到自动驾驶汽车等各种应用中。

机器学习可以应用于每一种企业职能，并且会影响到经济体中每个部分的公司。所以无怪乎资金正在大量涌入这一行业。麦肯锡公司的一项调查表明：在 2013 年到 2016 年之间，对人工智能（AI）开发的总投资额增长了 2 倍，达到了 200 亿到 300 亿美元。其中大多数都来自科技巨头。这些公司预计机器学习及其衍生的其它 AI 模型将成为它们未来客户发展的关键，就像现在的移动性和网络化一样。

机器学习技术为何如此吸引人？因为机器学习和其它形式的 AI 技术可以在很多领域得到广泛的应用，同时仍然还能产出显著的利益。Gartner 预计到 2020 年，AI 技术将会在新的业务软件中实现普及，并且将成为 30% 的 CIO 的前五大投资优先选择之一。

事实上，这一市场的主要发展推动力来自那些已经站稳脚跟的公司，它们可以将它们的进展应用到其它领域，比如：

• 英伟达已经成为了 GPU 领域的主导者，而 GPU 正是机器学习训练阶段的最主要平台。到目前为止，大多数已经实现的机器学习开发成果都基于 GPU。

• 英特尔已经推出的 Nervana 神经处理器（Neural Processor），这是一种低延迟、高内存带宽的芯片，据说是专为深度学习设计打造的。（英特尔在 2016 年收购了 Nervana。）

• 谷歌的张量处理单元（TPU/Tensor Processing Unit）已经占据了机器学习加速器的部分市场。其第二个版本是 Cloud TPU，这是一种更加高性能的 TPU 集群。Cloud TPU 是为机器学习的训练阶段设计的，可与英伟达的 GPU 平台竞争；而谷歌第一个版本的 TPU 则是该公司为了在自己的服务器上加速语音转文本应用的推理而开发的一款 ASIC。

机器学习分为两个阶段：训练阶段和推理阶段。其中大部分开发工作都集中在第一个阶段：训练阶段。这篇文章主要限于数据中心和云计算方面，而且这本身就是一个巨大的市场。Linley Group 的首席分析师 Linley Gwennap 预计数据中心方向的 AI 加速器市场将在 2022 年达到 120 亿美元。

Gwennap 说：“在接下来的一两年时间里，我们将开始看到将会出现远远更多针对数据中心和其它设备的选择。所以世界各地的谷歌和 Facebook 这样的公司所面临的问题是：‘我应该继续设计自己的芯片吗？或者，如果我能从公开市场获得同样好的芯片，我还应该自己设计吗？’”

推理的发展机会

机器学习的第二个阶段是推理，基本上就是将学习阶段应用于特定应用和细分市场。也就是算法被投入实际应用的阶段，而人们预计这方面的发展机会甚至还更大。因此，VC 支持的创业公司正在大量涌现，但其中只有很少一些已经推出了或演示过任何产品；当然，已有的公司也在这一领域大力推进。

ARM 的研究员 Jem Davies 说：“推理和训练是相当不同的。推理是做各种古怪的事情（比如分拣黄瓜）或有用的事情的阶段。这个阶段离用户更近，所以你能看到各种‘有趣的’用例。但也有在手机中执行文本预测（这始于 25 年前）以及人脸检测和识别的应用。”

推理也是辅助驾驶和自动驾驶的重要组成部分，其中传感器收集到的数据需要基于机器学习进行预处理。

Cadence 的 Tensilica DSP 组的产品营销总监 Pulin Desai 说：“推理需要在边缘进行。在汽车中，你可能会有 20 个图像传感器，另外还有雷达和激光雷达（LiDAR），以便提供 360 度的视野。但如果你将一个图像传感器放在汽车上，它可能就有 180 度的视野了。那就会需要畸变校正，这是一种图像处理。”

训练和推理之间的一个关键差异是训练是以浮点形式完成的，而推理则使用定点形式。DSP 和 FPGA 都是定点形式。

Flex Logix 的 CEO Geoffrey Tate 说：“我们不再只使用 x86 处理器解算所有任务或为特定的负载对硬件进行优化。大多数计算都要在数据中心外完成，所以 FPGA 等器件的作用将不得不改变——尽管随着音频和视频的支持需求扩大，你可能仍将看到传统架构与新架构的混合使用。我将这全部都看作是加速器。”

在机器学习领域，FPGA 和 eFPGA 玩家正争先恐后要在推理市场分一杯羹。Linley 估计，在 2022 年总共将会有 17 亿台机器学习客户端设备。

Achronix 总裁兼 CEO Robert Blake 说：“GPU 在机器学习的学习阶段已经得到了很大的重视。但推理方面的市场会更大，而这些产品的关键因素将会是成本和功耗。因此，嵌入式解决方案将会成为这些领域的瞩目焦点。”

ARM 的 Davies 同意这个观点。他说功率预算保持在 2W 到 3W的范围内，而电池技术的发展一直以来都相对平稳。锂电池的改进幅度一直都在每年 4% 到 6% 的范围内。考虑到所有这些情况，计算性能将会需要几个数量级的增长。

那将需要不同的架构，还要理解应该在哪里完成哪些处理。

Rambus 的杰出发明家 Steven Woo 说：“我们看到有各种各样的 AI、神经网络芯片和内核。在更高层面上看，它们是将信息融合在一起。这方面有很多探索正在进行。你可以看到，现在有很多公司在寻找主要市场，以便围绕其构建基础设施。你可以看到手机的数量达到了数十亿。这些都在驱动新的封装基础设施发展。你可以看到汽车领域背后有很多资金支持。物联网（IoT）的潜力也很明显，但难在寻找共同点。而在神经网络和机器学习方面，似乎每周都有新算法出现，这使得我们难以开发出单个一个架构。这就是人们对 FPGA 和 DSP 的兴趣如此之大的原因。”

定义机器学习

公司交替地使用机器学习、深度学习、人工智能和神经网络这些术语并没有什么帮助。尽管这些术语的差别很微妙，但共有的思想是：使用足够多的实时数据，计算机可以给多种不同的场景加权，并根据这些预定义的权重响应给出最好的选择。这个加权过程是训练和推理过程的一部分，对机器学习而言至关重要。

深度学习是机器学习的一种——具有更多的层，这些层执行着不同类型的分析，并最终能得到更加完整的解决方案，但完成深度学习训练也需要更多计算资源。这两者往往都涉及到神经网络，即围绕信息节点创建网状的连接，这种连接有一点类似于人脑中细胞之间的网状连接。人工智能则是一个涵盖性术语，很多人对此都有不同的看法：从 IBM 的 Watson 到电影《2001 太空漫游》中的 HAL。但主要是指无需明确编程就能自己学习不同行为的设备或程序。

谁在使用机器学习

在以客户为中心的应用中，机器学习已经非常常见，其中包括预测销量、寻找客户流失的迹象、通过交互式语音响应或聊天机器人提供客户服务、谷歌翻译那样的消费者应用等等。

Facebook 使用了三种深度学习应用来过滤上传的内容，比如：一种用于识别上传的图片中的人脸并进行标注，一种用于检查帖子中的仇恨言论或其它客观内容，一种用于定向广告。

英伟达首席科学家兼研究部门高级副总裁 Bill Dally 说：“让我惊讶的是深度学习革命的速度是如此之快。在过去三年中，各种应用几乎在一夜之间就完成了从传统方法向深度学习方法的转变。这不需要在软件上进行大量投入；你找到应用，再训练网络，然后就完成了。这在一些领域里已经得到了普及，但对于每一个已经转向神经网络的应用，还可能还会有多次转变。”

据麦肯锡的研究：尽管科技行业内已经采用 AI 实现或改进了其它服务或增加了新服务给客户，但在科技行业之外，对 AI 技术的采用还大都是实验性的。在受调查的 3000 家公司中，仅有 20% 表示它们在业务中的重要部分使用了与 AI 相关的技术。麦肯锡调查了 160 种 AI 用例，发现其中仅有 12% 实现了 AI 的商业部署。

换个角度看，也就是说有 88% 的公司仍然还没有实现 AI 的商业部署，所以其中还有巨大的机会。谷歌和百度等科技巨头则相反，它们在 2016 年中投入了 200 亿到 300 亿美元，其中 90% 投入了研发，10% 用于收购。

深度学习是下一个大事件

据西门子旗下 Mentor 的传感器融合部门首席工程师 Nizar Sallem 说，深度学习可能不仅在客户服务和分析上表现优良，而且也是用于自动驾驶汽车所需的即时感知、决策和控制的主要候选系统。

Sallem 说：“机器学习最重要的应用是基于交通规则和汽车当时所在位置的预期理解汽车周围的环境、道路上不同的行为者和背景。它必须确定你的行为应该会怎样，还要确定什么时候允许你打破规则以避开危险或保护汽车中的人类。”

市场预测

不管 AI 技术可能将会有多么能干，它目前仍还处于起步发展阶段。据 Tractica 的一份报告，主要的服务提供商还仍然是已有的科技公司，最赚钱的还仍然是面向消费者的服务。其中包括谷歌的语音转文本和翻译服务以及来自亚马逊、Facebook、百度等公司的消费者交互/客户服务应用。这份报告估计 2016 年 AI 驱动的消费者服务价值 19 亿美元，并将在 2017 年年底增长至 27 亿美元。

图 1：不同 AI 技术的收入情况，来自 Tractica

Tractica 估计 AI 的整个市场（包括硬件、软件和服务）将会在 2025 年增长至 421 亿美元。

图 2：AI 在不同方面（软件、服务、硬件）的收入情况，来自 Tractica

机器学习即服务（MLaaS）是一个不同的类别——亚马逊、IBM 和微软占据了其中 73%。据 Transparency Market Research（TMR）在今年 4 月份的一份报告称，这个市场将从 2016 年的 10.7 亿美元增长至 2025 年的 199 亿美元。

据 Tractica 称，目前大多数使用了机器学习的服务都是面向消费者的——这个类别中包括谷歌的翻译和语音转文本应用，这些应用为其客户级 TPU 提供了概念证明。

客户变成竞争对手

深度学习的出现也凸显出了半导体行业与其最大的客户之间的日益复杂的关系——尤其是谷歌等超大规模数据中心的所有者，这些公司的规模非常大，足以开发设计它们自己的服务器和芯片。

多年以来，芯片公司一直都在开发或定制满足特定的云客户的需求的芯片。以英特尔为例，它为微软开发了 FPGA 深度学习加速器，还为阿里巴巴的云客户开发了基于 FPGA 的应用加速器。英特尔还邀请了 Facebook 来帮助设计英特尔推出的 Nervana 神经处理器的封装以及即将到来的用于深度学习的 “Lake Crest” ASIC。

谷歌已经宣布了其它芯片，比如新闻报道的该公司为其 Pixel 2 手机开发了一款机器学习协处理器，这也是其第一款移动芯片。谷歌也已经开发出了 Titan，这是一款连接到服务器的微控制器，可以确保服务器在板上出现故障、损坏或感染了恶意软件时不会启动。

谷歌在解释其对第一款 TPU 的投资时说 TPU 可以“为机器学习在单位功耗下的性能带来一个数量级的优化”并能将谷歌的机器学习应用向前推进大概七年时间。第一款 TPU 的设计目的只是加速运行机器学习模型的推理的普通服务器，而不是为了一开始的模型训练。因此，它们不会与英伟达或英特尔的机器学习训练产品直接竞争。

当谷歌在 5 月份宣布了 Cloud TPU 时，听起来似乎就将与英特尔和英伟达的产品进行更加直接的竞争了。

谷歌描述说，每个 Cloud TPU 都有 180 teraflops 的浮点运算性能，将 4 个 TPU 封装成一个 TPU Pod 可以实现总共 11.5 petaflops 的性能。这种配置似乎是为了与英伟达备受关注的 DGX-1 “超级计算机”竞争而设计的。DGX-1 包含 8 个顶级的 Tesla V100 芯片，并声称总体最高吞吐量达 1 petaFLOP。

云上的竞争

Dally 说：“谷歌和其它一些公司没使用加速或只使用 TPU 取得了一些早期的成功，但有些网络是很容易训练的；标准的图像搜索就很简单。但对于需要处理越来越多信号的训练（处理图像和视频流）以及对于每周都要重新训练网络的人或重点关注训练过程的人，GPU 要高效得多。”

据 Cadence 的 IP 组的前 CTO Chris Rowen 说，问题是来自谷歌的一款新处理器是否足以夺走其它公司的客户，答案可能是“不能”。任何云提供商都必须支持不止一种架构，所以使用了深度学习的数据中心将会是 CPU、GPU、ASIC、FPGA 和各种技术的 IP 的混合。Rowen 现已创立了 Cognite Ventures 公司，为神经网络、物联网和自主式嵌入式系统领域的创业公司提供资金和建议。

Rowen 说，某些训练负载也可以转移，从而让客户端设备也能具备数十亿个推理引擎。在这一领域，很多公司肯定都有机会；但是对于在数据中心服务器上进行的机器学习训练，新进入的公司很难取代已经站稳脚跟的玩家。

图 3：认知计算的演进，来自 Cognite Ventures

Rowen 说：“我们希望有所选择，理由很充分，但选择也非常多，而且英特尔、高通和其它公司也都在关注。不能因为你有一个用于智能手机的神经网络，就假设你的生产制造能超越三星，这种假设可不好。”