半导体行业才刚刚触及深度学习表面

相比于当今的其它机器学习技术，深度学习能够提供更加精细和复杂的行为，也因此得到了很大的重视，被应用在了范围非常广泛的应用中。

这些性质非常重要，尤其是对于辅助驾驶和自动驾驶汽车等安全性至关重要的设备以及自然语言处理（机器可以根据对话的上下文识别词句的意图）等领域。

和人工智能与机器学习一样，深度学习已经得到了数十年的研究。现在不同的是深度学习正被添加到各种类型的芯片中——从数据中心到简单的微控制器。而随着用于训练和推理的算法越来越有效，机器学习/人工智能的这一部分正涌现出各种各样的应用模型——有些针对的是应用范围非常狭窄的应用，有的则面向远远更加广泛的环境决策。

Babblabs 的 CEO Chris Rowen 说：“其中有些预计是用于自动汽车的芯片将会需要的。使用神经网络的技术是有效的，而且功耗成本也相当低。所以增加深度学习子系统是有意义的。我们看到很多创业公司正在涌入这一市场。光是深度学习领域就有 25 家。有的公司面向云，它们希望在这一领域淘汰英伟达。但也还有一些公司处于市场低端。这两种情况都是高度结构化的矩阵乘法在需要尽可能快地运行低精度或中等精度计算的领域内的一种非常专门化的应用方式。这些计算对计算能力的需求是无止尽的。”

对于实现这些目标的各种工具、芯片、软件和专业知识技能而言，这是个很好的预兆。

西门子旗下 Mentor 的总裁兼 CEO Wally Rhines 说：“汽车市场领域内有大量模式识别工作。你也可以在数据对数据中心的需求增长上看到这一现象。有数十家公司在做用于自适应学习的专用处理器。”

在所有这些市场和许多其它市场中，深度学习都是一个正在增长的领域。目前正在开发深度学习芯片的 eSilicon 的营销副总裁 Mike Gianfagna 说：“深度学习已经被用来执行 iPhoneX 的人脸识别以及用于自然语言处理了，而且它也被设计用于自动汽车中以识别一个物体是狗还是猫。从表面上看，深度学习芯片很像是数据中心芯片。它可能会使用 HBM 内存堆栈来存储训练数据，从而使数据能快速输入芯片，而且可能使用的是定制的存储器。但这会比网络芯片更容易实现。一个网络芯片可能需要 50 到 90 个模块，但它们全都各不相同。深度学习芯片的模块数量虽然非常大，但大都是同种模块的重复。所以它的布局布线更容易，它的模块也更为紧凑并且表现更好。”

从商业角度看，深度学习、机器学习和人工智能可以实现规模经济，这能继续推动 PC、智能手机/平板电脑和云的销量。

Rowen 说：“在过去，每秒执行数十亿次乘法被认为是很大量的。但现在甚至边缘设备也能执行数亿次乘法。如果你有数万亿次，它们就可以发挥很大的价值。你可以在英伟达最新一代芯片上看到这一点。它们不再是每秒 10 万亿次浮点运算，而是每秒 100 万亿次。但这些也正变得越来越专用，设计的通用性也越来越差。在提供这种规模的计算上存在一些非常简洁的方法。”

图 1：深度学习与机器学习的比较，来自 XenonStack

深度学习是什么？

尽管深度学习很热门，但深度学习的定义仍然还有些晦暗不清。它位于人工智能之下，要么与机器学习并列，要么就是机器学习的子集。不同之处在于机器学习使用的是为特定任务开发的算法。深度学习则更多是矩阵在多层结构上的数据表征，其中每一层都使用前一层的输出作为输入。这种方法更近似地模拟了人脑的活动，它不仅能识别一个棒球是否在运动，而且还能大致预测它落地的位置。

但在这背后，对深度学习的确切工作方式还不存在共识，尤其是在其从训练转向推理时。深度学习更多的是复杂行为的数学分布。为了得到这种表征并且塑造它，可以利用多种形式的架构。深度神经网络（DNN）和卷积神经网络（CNN）是最常见的。循环神经网络（RNN）也所应用，这种架构增加了时间维。RNN 的缺点是处理、内存和存储需求非常巨大，这将其使用限制在了大型数据中心上。

英国计算机科学家和认知心理学家 Geoffrey Hinton 也一直在推动 capsule 网络的概念，这种网络是在一个神经网络的层中堆叠层，基本上也就是增加这些层的密度。据 Hinton 称，这能得到好得多的结果，因为它能识别高度重叠的数字。而且这是当今这一领域的大部分研究的主题之一——如何加速这整个过程。

这个问题非常复杂，人脑已经没办法搞懂所有一切，所以所有这些都必须得到建模和理论化。对于芯片制造商来说，这不是什么新鲜事。自从芯片达到 1 微米工艺节点以来，就已经难以可视化一项设计中的所有不同部分了。但在计算机科学中，很多进展一直在很大程度上是二维的。旋转和倾斜对象的数学表示难度要大得多，而且需要大量计算资源。为了提升速度和效率，研究者正试图找到能约减这些计算的方法。不管，这是一个大难题，而且深度学习专家很大程度上对此也还没有清晰的理解。

Optimal+ 的 CTO Michael Schuldenfrei：“深度学习某些部分处于黑箱之中。理解实际的决策过程是很困难的。你可以解释一个机器学习算法源自哪种模型。你要做大量比较不同算法的工作。深度学习算法比机器学习算法更加复杂。但我们发现它们全都有一个共同点：在不同的产品中，来自这些算法的答案可能是不同的。所以在产品 A 上可能随机森林效果好，而在产品 B 上效果好的却是另一种算法或算法组合。”

深度学习算法可以回溯到 20 世纪 80 年代末。Cadence 的杰出工程师 David White 说：“很多工作都是从美国邮局开始的，它需要识别手写的数字。他们意识到他们需要一种减少输入空间的规模的方法，所以他们使用了额外的层来提取特征。自那以后，深度学习算法已经得到了很大的发展。”

与机器学习相比，深度学习算法通常需要远远更多的计算能力。White 说：“深度学习使用的架构是特定的。它使用了卷积、池化和特定的激活函数。有些技术类似于机器学习，有些则不同。”

但是，这种方法并不能让所有事情都受益。

Babblabs 的 Rowen 说：“更多参数本质上就可以建模非常复杂的行为。但你必须使用对应的数据集训练它。如果你的问题很简单，深度神经网络不会更准确。统计建模只能做到这么多。人类可以学习到关于物体的大量事物以及旋转它们时它们会如何移动。比起当前的机器学习或深度学习方法，人脑只需要少得多的样本就能将这些知识构建到人脑中。目前而言，机器还没有你正在旋转一个物体的概念。它不知道透视。它只能从数以百万计的足够样本中学习到。”

更多市场中的深度学习

尽管深度学习和机器学习分界线并不总是很清楚，但这些不同部分的应用正在得到人们的重点关注。

Synopsys 的嵌入式视觉处理器部门的产品经理 Gordon Cooper 表示：“用于嵌入式视觉的深度学习有良好的定义。我们也正看到它被用于雷达和音频处理——你可以应用 CNN 算法来处理。我们也看到有很多有关 IT 流程的请求，要将深度学习和人工智能应用到这些方面。”

这种技术越来越容易使用的原因是很多技术构建模块可以直接使用了，其中包括很多现成可用的算法以及各种现成和定制或半定制的处理器、加速器和廉价的存储器。Cooper 说：“使用 RNN 时，你可以选择长短期记忆（LSTM）。如果功耗不是问题，你可以使用 GPU。另外还有嵌入式芯片，它们性能更低，但是更加注重功耗和尺寸。带宽仍然是一个大问题，尤其是当你从 DRAM 存取数据时，所以在芯片内部有内存管理技术和乘法/累加。”

图 2：深度学习应用的增长，来自 Semiconductor Engineering

芯片公司也已经通过对这项技术的内部使用而得到一些第一手经验。

eSilicon 的 Gianfagna 说：“现在我们使用机器学习来管理我们用于 I/O 吞吐的计算农场，这个任务是很有难度的。我们追踪所有的 CPU，然后根据工作来调校它们并创建预测负载。这基本上就是预测负载平衡问题，而且其中大部分工作都是在软件中完成的。谷歌和 AWS（Amazon Web Services）等云公司使用深度学习来处理它们的工作流程和负载平衡，而且它们是用硬件来做的。深度学习可能是这些操作中使用芯片最密集的部分。”

这种技术的一种更新型的应用涉及到机器人。Cadence 的 White 说：“这里的关键在于这些设备需要持续不断地学习，因为机器人所做的任务会变化，环境也会变化。所以如果你在菲律宾而不是欧洲从事生产制造，那么软件可能就必须适应这一点。对于物联网领域的很多设备也是如此。传感器会出现在差异很大的环境条件下的系统中。这需要自适应的系统，这可能是机器学习、深度学习和人工智能的下一个大浪潮。对于检测不同波长的气体传感器而言，传感器的性能会随信号改变而下降。所以问题是一个系统能否适应这种变化并且仍然能完成工作。你总不希望每次镜头上冷凝了水珠的时候都关闭系统吧。”

深度学习也正在手机中出现。苹果公司的 iPhoneX 使用了深度学习来做人脸识别。Synopsys 的 Cooper 说：“你也可以在手机上使用它来优化图片，应用基于深度神经网络技术的滤镜。但每个市场都有自己的需求。对于癌症检测，难点是获取足够多的数据点。几万个是不够的。汽车行业则相反，你有大量视频，但你能用这些数据做什么？这里的关键是如何使用技术找到这些视频中重要的部分。”

总结

深度学习如何才能得到有效地应用，如何理解它能在哪里以及不能在哪里提升价值？半导体行业才刚刚触及表面。如何才能使用最少的功耗快速完成所有必需的训练和推理？这方面还将继续模糊不清。

在过去，深度学习技术是与大型计算机和超级计算机密切关联的。但随着设备越来越小而深度学习在更受限的应用中得到使用，这项技术将会在越来越多的市场中产生更大的影响。这个市场的腾飞才刚刚开始。