Mythic公司推出业界首款模拟矩阵处理器M1108 AMP

电子说

1.2w人已加入

描述

领先的模拟AI处理器公司Mythic日前宣布,公司正式推出业界首款模拟矩阵处理器(Mythic AMP™)M1108 AMP。按照他们的说法,这个新产品的发布预示了AI激动人心的新纪元,因为它首次提供了一种模拟计算解决方案,该解决方案可实现一流的性能和性能,并且其精度可与数字设备媲美。报道指出,M1108 AMP能为边缘部署提供了无与伦比的可能性,应用市场包括智能家居,AR / VR,无人机,视频监控,智能城市以及工厂车间的自动化。凭借其革命性的技术,M1108 AMP处于AI处理重大新趋势的最前沿。报道指出,M1108集成了108个AMP tiles ,每个tiles都配有一个Mythic模拟计算引擎(MythicACE™),该引擎具有闪存单元、ADC阵列、32位的RISC-V处理器、SIMD矢量引擎,SRAM和一个高吞吐量的片上网络(NOC)路由。

此外,四个控制tiles为系统主机处理器提供了高带宽PCIe2.0接口。M1108具有108个AMP tiles,可提供高达35万亿次/秒的运算(TOPS),可在单个芯片上以高效率、低延迟地高效执行复杂的AI模型(例如ResNet-50,YOLOv3和OpenPoseBody25)。在峰值吞吐量下运行复杂的AI模型时,M1108的典型功耗约为4W。而且,凭借利用成熟的40nm技术的固有成本优势,并且不需要任何外部DRAM或SRAM, M1108 AMP 将以 PCIe M.2 和 PCIe卡形式提供,并且 M1108PCIe 评估套件可应要求提供。

模拟AI芯片怎么玩?Mythic详细讲述

说到人工智能硬件,我们向来事无巨细。WikiChip密切关注的一家公司是Mythic。这家公司还没有完全公开他们的架构和产品,但一些细节已经开始慢慢浮出水面。在最近的人工智能硬件峰会上,该公司的创始人兼首席执行官Mike Henry)绍了该芯片的最新情况。

这家位于奥斯汀的初创公司由Mike Henry和Dave Fick于2012年创立,最近完成了7000万美元的B轮融资,总融资额刚刚超过8500万美元。如今,公司员工已增至110人。

Mythic是一家模拟公司。但是,在我们探讨细节之前,必须指出,它们目前仅专注于推理,无论是在数据中心还是在边缘。到2024年,这两个市场的TAM(Total Available Market总体有效市场)。

预计将达到250亿美元,这就是为什么这里有如此多的关注点的原因。从长远来看,Mythic计划针对大众市场的消费品和汽车产品。

把所有东西都放在芯片上,放在闪存里

随着模型准确性的提高,其大小也会随之增加。如今,模型达到了数亿个参数,甚至达到数十亿。最重要的是,通常实时地需要确定性行为,例如一致的帧速率和延迟。这就是Mythic的作用。Mythic的论点很简单:将足够的存储与大量并行计算单元打包在芯片上,以最大化内存带宽并减少数据移动的能力。但是有一个转变——这就是Mythic的原始方法的闪光点——该公司抛弃了传统的SRAM,转而使用更密集的闪存,此外,Mythic还计划在模拟环境下直接在内存中进行本地计算。

但是为什么是闪存?答案很简单:因为它密度大,功耗低,而且便宜,几乎比SRAM的密度大两个数量级。

理论上,Mythic的芯片更像内存,而不是传统的CMOS。从更长的路线图来看,随着SRAM bit cell的扩展变得越来越困难,它带来的好处也越来越深远。总的来说,从每美元的性能、每单位成本的密度和每瓦特的性能来看,这是一个潜在的巨大胜利。

多年来,我们看到了一大堆路线图,当他们开始谈论未来10年的时候,很容易忽视它。但对Mythic来说,有一些不同之处。值得特别指出的是,目前Mythic正在研究40纳米的嵌入式闪存。他们有一个相当清晰的28nm和22nm的路径,因此,粗略地说,这个图的一半是基于今天已经发布的现有节点。

Mythic公司的首席执行官Mike Henry似乎相信他们可以继续这样做,但是尽管正在进行一些工作以继续扩展到16/14纳米节点,还不清楚它是否会上市。

许多业内人士认为,嵌入式闪存在22纳米的时候遭遇了瓶颈。在与Mythic的一次简短交谈中,他们告诉我们,他们并没有与嵌入式闪存结合,如果其中一项新兴技术(如多位ReRAM、PCM或NRAM)作为一种强大的替代技术出现,他们肯定会考虑迁移到这种技术。

IPU

Mythic的芯片被称为IPUs或智能处理单元。在外设方面,该芯片非常简单,由PCIe的x4通道和DNN平铺网格组成,PCIe是负责整个芯片管理的基本控制处理器。由于芯片的设计是为了存储整个模型,没有DRAM。

Mythic表示,由于这是一个基于tiles的设计,如果有需求,他们可以通过添加直接的音频/视频和各种其他接口来进一步定制。在去年的Hot Chip上,Mythic谈论的是一款5000万权值(weights)的初始产品。在最近的人工智能硬件峰会上,Mike Henry表示,初始产品权值将达到1.2亿,这比最初的计划要多很多。在富士通的40nm制程中,近标线全尺寸芯片应具有约300M权值的容量,因此120M仍然是一个相当大的芯片。

IPU的作用是作为一个连接到主机的PCIe加速器。对于大型模型或多个模型,可以使用多个IPU。模型最初被加载到IPU中,并保持静止。没有DRAM和编程闪存相对较慢,因此模型应该能够适应芯片与多个应用映射到同一芯片。这对于许多边缘应用程序来说非常典型。在正常操作下,主机CPU将数据发送到IPU,并通过PCIe端口接收结果。

该芯片由DNN tiles构成网格。在一个tiles里面是一个模拟矩阵乘法器,它建立在一个巨大的嵌入式闪存池的顶部,用来计算权值。嵌入式闪存单元使用浮动栅极通过存储电荷、控制阈值电压来存储位。晶体管支持256级电导(G=1/R)之间的完全关闭和打开状态,Mythic用它来表示8位值。

通过将所有神经元的权值映射到闪光晶体管上,他们可以利用欧姆定律自然地进行矩阵乘法运算。实现的方法是使用闪光晶体管将权值表示为可变电阻。这在计算之前执行一次。使用8位DAC,输入矢量作为一组电压通过可变电阻。根据欧姆定律,输出电流是输入数据与权值向量(I = V x G)相乘的结果。最后,一组adc将产生的电流转换回数字值,成为输出矢量。ReLu和其他各种非线性操作也由adc在那个时间点完成。

围绕这个组件还有一些额外的逻辑。不管工作条件如何,DAC/ADC封装器都会进行补偿和校准,以获得精确的8位计算—类似于今天的图像传感器所做的工作。

需要指出的是,这个方案没有实际的内存访问。矩阵相乘是在内存中完成的,利用欧姆定律,所以没有权值访问能量。使用固定权值时,也没有批量大小或其他特殊处理。虽然固定容量可能会带来一些问题。顺便说一下,它们支持神经元稀疏,但不支持权值稀疏性。

有趣的是,Mythic说,对于他们的第一代,为了加快开发和上市时间,他们不会使用DAC作为输入。相反,他们使用一个数字近似电路,由此分别计算每个输入位,然后累加结果。他们将在将来用DAC消除这种情况,这有望为他们提供一些很好的改善。
       责任编辑:tzh

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分