最被看好的 AI 芯片初创公司之一，Tenstorrent加速卡出货

电子发烧友网报道（文/周凯扬）在 CRN 发布的 2023 年十大半导体初创公司的名单上，我们看到了不少AI 芯片厂商的名字，比如Cerebras Systems、SiMa.ai和Tenstorrent。其中Tenstorrent 最惹人关注，这家位于多伦多的初创企业如今由知名半导体业界大神 Jim Keller担任CEO。
 
Tenstorrent 在 2021 年收获了富达集团领投的 2 亿美元融资后，又在2023 年获得了来自现代汽车集团和三星催化剂基金会领投的 1 亿美元融资。但对于这家厂商的硬件产品，我们却很少得见真容，直到最近其开发套件开放订购和出货。
 
开发套件出货，新的 AI 硬件开发平台
 
从 Tenstorrent 的官网来看，目前已经开放订购的是其第一代 PCIe 4.0 AI 推理加速卡，e75 和 e150，两者的定价分别为 599 美元和 799 美元。e75 开发套件可用于基础的推理任务，采用了 1/2 PCIe长度的设计搭配了 Tenstorrent 的第一代 AI 芯片 Grayskull，集成了96 个 Tensix 核心、96MB 的 SRAM、8GB LPDDR4 内存，核心频率达到 1GHz，整个板卡的功耗约为75W。
 
e150 则是 3/4 长度的 PCIe 加速卡，同样搭载了一个 Grayskull 芯片，但核心数却达到了 120个，同时配备了120MB 的 SRAM，核心频率也提升至 1.2GHz，单卡功耗约为 200W.
 
e75 虽然只是入门级的推理硬件套件，却已经给到了完整的开发流程，开发者可以使用两种不同的软件实现方式，一套是从上至下的 TT-Buda，另一套是从下至上的TT-Metalium。TT-Buda适用于想要开箱即用，直接将任何模型投入量产的客户。而TT-Metalium则适用于想要充分了解 Tenstorrent软硬件，并借此定制开发模型的客户。
 
需要注意的是，e75 和 e150仅仅是 AI 加速卡而已，仍需要搭配一套通用计算系统才能精心开展 AI 开发。目前其仅支持 x86_64 架构和 Ubuntu 20.04 以上版本的系统，且需要 64GB 的内存和至少 100GB 的存储。
 
Tenstorrent 下一代 AI 芯片
 
除了第一代芯片 Grayskull 以外，Tenstorrent也公开了基于第二代芯片 Wormhole 的 PCIe AI 加速卡 n150 和 n300，n150 搭载了一个 Wormhole 芯片，而 n300 搭载了两个 Wormhole 芯片，因此两者的 Tensix 核心数存在较大差异，分别是 72 个和 128 个，单板功耗分别为 160W和 300W。
 
从内存配置上看，Wormhole也确实是面向更高性能的 AI 解决方案，将 Grayskull 的 LPDDR4 内存换成了带宽更高的 GDDR6 内存。根据Tenstorrent 提供的说明，GraySkull 和 Wormhole 已经支持了市面上主流的模型，比如 BERT、GPT-2、MobileNetV3、ResNet和YOLOv5等等，而性能更强的 Wormhole还提供了对 Falcon 和 Stable Diffusion 的支持。
 
不过，与可以单独购买单个开发套件的 e75 和 e150 相比，目前 n150 和 n300 只开放了批量购买，且并没有公布定价。要知道，无论是 Grayskull还是 Wormhole，都只是 Tenstorrent对 AI 芯片的早期设计与尝试，两者均基于 12nm 工艺开发，且实际算力差距并不大，都在 300TFLOPS@INT8左右，只是其他硬件资源配置上有些许不同。而后续即将推出的 Black Hole将基于 6nm 工艺打造，将算力提升至1000TFLOPS@INT8 左右。
 
在其产品路线图上，预计在今年公开发布的 Grendel才是其针对高端 AI 计算的杀手锏。Grendel采用了全新的 Chiplet 设计，且用到了自研的 RISC-V CPU 核心，结合 3nm 工艺的 AI&CPU Chiplet，以及 7nm 工艺的内存与 I/O Chiplet，将提供一个完整可扩展的 AI 硬件平台。
 
写在最后
 
对于任何一个新的 AI 开发平台而言，硬件开发套件和配套软件都是至关重要的，甚至决定了愿意尝试的开发者基数。Tenstorrent 在开放了 e75 和e150的购买后，无疑给不少还在观望其硬件架构的开发一个尝鲜的机会。而开箱即用的体验，想必也会吸引不少厂商对后续的高性能产品产生兴趣。