透过神经网络硬件平台发展史，看这场从GPU、TPU蔓延到FPGA的战争

在如今深度学习大爆发的时代，相关的硬件平台也在百花齐放，既有英伟达和谷歌这样的科技巨头，也有地平线机器人和 Graphcore 等创业公司——它们都各自提出了自己的解决方案。近日，多家公司的技术顾问 Matt Hurd 在其博客上发表了一篇全面评点各种神经网络硬件平台的长文，机器之心对本文进行了编译介绍。
　　这是我几周前做的一个传统的 90 年代风格的性别识别神经网络的很好的隐藏节点。
　　
　　一个简单的性别识别器网络中的 90 年代风格的隐藏节点图像
　　我的硕士项目是一种类似级联相关（cascade correlation）的神经网络 Multi-rate Optimising Order Statistic Equaliser（MOOSE：多速率优化顺序统计均衡器），可用于日内的 Bund（国库债券产品）交易。MOOSE 曾经是为获取高速的 LEO 卫星信号（McCaw 的 Teledesic）而设计的一点成果，后来在从 LIFFE 迁移到 DTB 时将目标转向了 Bund。作为一家投资银行的职业交易员，我可以购买很好的工具。我有那时候世界上最快的计算机：一个 IBM MicroChannel dual Pentium Pro 200MHz 处理器外加带有几 MB RAM 的 SCSI。在 1994 年那会儿，将 800，000 个数据点输入到我的 C++ stream/dag 处理器中看上去就像是黑魔法。有限差分方法让我可以做许多 O（1） 增量线性回归这样的运算，以获得 1000 倍的加速。那时候这看起来已经很好了。现在，你的手机都能嘲笑我的大方向。
　　那时候，在神经网络领域有很多研究。倒不是说它有过人的生产力，只是因为有用。读到 Lindsay Fortado 和 Robin Wigglesworth 的 FT 文章《Machine learning set to shake up equity hedge funds》中 Eric Schmidt 关于机器学习和交易的看法，还真有点让人高兴：
　　Eric Schmidt 是谷歌母公司 Alphabet 的执行董事长，他上周对一众对冲基金经理说他相信在 50 年内，所有交易都会有计算机解读数据和市场信号。
　　「我期待出现在交易方面做机器学习的创业公司，看看我描述的这种模式识别能否比数据分析专家的传统线性回归算法做得更好。」他补充说，「我这个行业内的许多人都认为这注定将成为一种新的交易形式。」