TenstorrentInc首席CPU构架师 练维汉：助力数字化升级的RISC-V AI 高性能CPU

（电子发烧友网 张迎辉）在2023年8月28日上海临港举行的第三届滴水湖中国RISC-V产业论坛上，主办方特别邀请到了高性能 RISC-V AI芯片公司Tenstorrent Inc首席CPU构架师练维汉现场作了“助力数字化升级的RISC-V”专题演讲。Tenstorrent Inc.是一家加拿大AI芯片独角兽企业，从事高性能RISC-V芯片的设计。他们公司的CEO是CPU产业界的“知名大拿”，曾在水果公司作CPU的架构设计师。练维汉除介绍RISC-V内核的高性能 CPU IP内核技术之外，也对近期热门的RISC-V AI技术和Chiplet 芯粒对高性能 AI芯片的助力、异构CPU架构等分享了观点。

为何会有Digital Transformer？

数百年前的第一次工业革命是机器取代人的劳动力，而现在正在发生的“工业革命”是机器替代人的脑力。我们经常讨论，共同的感觉就是Digital这个事情是在改变着世界。其实AI带给人最重要的是一个什么东西呢？你作为的东西都可以因为你而“最佳化”，你可以享受到专门为你量身定做的东西。这样的东西在以前是没有可能的，因为没有那样的算力可以到达为你量身定做任何一样的事情。这是一个巨量的计算！我在十年前如果要出来开一个创业的公司，说：“我要做芯片”，没有人会投。为什么十年之后全世界各国，我去跟欧洲的谈、日本的谈、印度的谈，他们都有注入大量的钱到这个行业。他们投入百亿、千亿的资金在这个芯片上面，就是这个原因。

图：Tenstorrent Inc首席CPU构架师练维汉在第三届滴水源RISC-V产业论坛演讲（图片来源：电子发烧友网）

1947年Transistor发展，这个技术每年以两倍的速度翻倍。1997年个人PC时代的开始，在这个开始之后、2007年iPhone是另外一个革命性的东西，手机可以每一天跟着你记录你的使用信息。另外一个里程碑，是3G、然后有4G、5G，慢慢你有很大的频宽传送你的Data。你每天拿着手机产生大量的资讯，然后可以传到“云”上、大量的数据被产生了。然后两年之后你看到巨量的数据产生了，你开始在挖这个“金”，然后到2012年爆炸性的成长，然后一直到最近的ChatGPT3。所以这是有历史痕迹的，我要让大家知道“为什么今天走到AI”的地步？有了大数据你才能够用AI解释、为你做量身定制。

这个东西的结果是什么？就是巨量的Data每天被产生，你要了解这些资讯、找出里面的有价值数据。ChatGPT4说：2.5个月，计算能够就要翻一倍。ChatGPT4=2-trillion parameter，有人说会到4trillion。每天人类要处理多少的讯息？所有的数据都要经过储存。为什么今天大家坐在这个地方，说：芯片有它发展的原因，就是因为有这个数字。现在没有人知道，用什么样的方法来解决这个计算的问题。我看一个数据，就是说：谷歌如果要把他们所有的数据转换成ChatGPT的这种结果，要花一千亿美金。然后，电力要增加20倍。企业要巨量的投资，你们的Data产生的也是越来越多、不仅要数字上的、还要变成视频，这是海量的数据。我们现在站在这个历史的风口，怎么样解决这个算力的问题？我个人觉得是没有很好的解决方法、在这个阶段，除非说有在AI的上面有科学家看出来有更基本的改变才有可能有办法应付，目前看到是没有办法。这个产业每个国家巨量投资就是因为这个原因，因为有巨量的数据和巨量的计算的需要。

怎么解决这个呢？我们的看到：计算必须要在每一个地方发生。例如：人类是一个非常复杂的生物机器，如果所有碰触到你皮肤的数据都要传递到大脑做决定是不可能的事。如果这样的话，你的神经可能要比现在宽多少倍都不知道。很多触觉上的东西在皮肤层就做了筛选，有用的讯息才会传递到大脑。在生物学上基本上告诉你已经不可能了，所以在实践上面要把所有的计算都放到云端算了再传回来这是一件不可能的事情。我们在想这件事情，就是说：计算必须要在每一个地方发生，然后你才能够达到你所要的功效需求和传输的需求。你们都知道人类的大脑事实上是全世界最复杂的一个处理系统，假如要跟现在的计算相比、人类好像是1万倍吧。所以说你基本上是不可能把所有的东西传到云端算了再放回来，所以可能要放在你的IoT上面、放在你的机器上面，到处都需要有这个计算。

有这样的一个需求以后，我们需要Heterogeneity（异构）。还有就是要能够可扩充性，你发明的东西不能用在一个点、要用在从最简单的到最复杂的东西。就像爱因斯坦希望用一个理论来解释宇宙所有的现象，我们也希望一个解决方案可以通用到所有的事情上面去。还有就是你也不能让它太复杂，我们常常做架构经常问的一个问题，就是说：你做的这个东西是不是足够的简单，是不是去无从轻到最高极限、最简单的东西去解决同样一个问题。我们永远寻求的最终解决方案，永远是要找到最精简的东西来解决同样的一个问题。精简有什么好处？容易实现。以后做变动的时候等等，都有很多的好处。

为什么RISC-V非常适合？

为什么RISC-V很适合这个东西？因为它是一个Open source（开源）。我们的好处就是说，我做了一个架构、不需要跟ARM说：“我可不可以做这样，可不可以做那样。”有非常大的弹性，这是指令集给你的一个方便的东西。我为什么认为这个东西一定会起来？就是基于这个考量。因为以后的计算是非常复杂的，你需要一个指令集能够让你做这样的事情。RISC-V就是一个很好的“点”。

我们大概有1/3的人做CPU、2/3的人做AI的东西。我是带领RISC-V CPU的团队，我们公司很特别、因为我们是世界上唯一一个公司有Workink的机器学习。我们公司有RISC-V、CHIPLETS。（图）我们公司有Grayskul（2021）、Wormhole（2022），2023公司开始有Blach Hole，因为我们知道未来很多东西没有办法用AI来做这样的事情，那么你就需要一个很好的介入、我们后来发现算力还是不够，我们就说：我们自己研发RISC-V的芯片。两年前开始研发RISC-V的芯片，开始看看怎么整合等等。在未来、下一步要走向Chiplet，、研发上面Quasar跟Grendel。我们可以成为一个很好的，对于未来AI的一个架构。

基于AI技术的可扩展 RISC-V芯片
 

我们公司AI是怎么做到的？看我们公司实际上是很多AI的好的解决方案。每个“人”都有自己的任务要做，有一个是把Data拿起来、有一个是把Data送出去。你可以把它往上扩充，也可以往上减少。（图）这是一个大系统的Skill  APP，它可以解决更大的运算的需求、解决更大算力的问题。所以我们的Scalable AI Architecture可以把它变成一个大的系统，然后我们变成一个芯片之后又可以放到更大的系统里面。我们的软件系统可以了解到计算所需求的要求，可以帮你聚焦到这些、完成这些工作，它是从一个到几万个芯片在一起。

AI的改变非常快，今年说Transformer很牛、可能五年后Transformer不牛了怎么办呢？你所有的AI不能只为现在做设想，你必须要设计的足够有弹性、以便于可以去应付未来AI方案的需求。也就是说，你必须要有弹性。像我们做这种东西，一定要看长远一点、不能只聚焦在当下。在Application的架构上，也要想到以后可能没有办法在你现在设计的AI方案上面做的很好。以后你怎么办？你不能把系统拆掉再换一个新的，所以你要有弹性接口兼容。你要两个都是最好，要不然你没有办法做到最好的系统。

介绍一下公司的可扩展 RISC-V处理器家族
 

（图）我们架构这个东西的时候，我们希望这个要具有很强的可扩展性。为什么要放CPU在里面？因为我们预测未来AI的运算CPU还是会占一个很重要的地位。所以它在两个不同算力的东西在一起的时候，我们有几种很多的考虑。（图）这是AEGIS Chiplet，希望每32核变成一个Chiplet。

Chiplet芯粒与AI芯片

刚才我已经说了，你做这个东西要考虑到很多的应用场景。，统统都是用Chiplets的方法，把AI拿掉就可以跟AMD做PK。如果内存不够，它就可以变成一个助手，所以它是一个很好的、让你很有弹性设计你的系统架构。下面，讲一下应用。例如：Ascalon-D2，Mobile Computing。你你可以调整它的功率，让你具有最高的运用使用率。还有车载，你可以买我们的IP。你要做L2自动驾驶可以买我们的IP，我们帮你组装起来。不管你是用雷达还是什么，我们AI计算的核心都是要在那个地方，我们的设计可以帮助你用chiplet；你说要做L2，我给你chiplet、它是一个非常有弹性的东西。CPU也是一样，我们的CPU可以根据你的应用需求来选。也有很多人跟我们谈DPU、Storage Server，我们可以帮他们做Storage Server的东西。

我从Scalable Architecture讲一些应用场景，让你们了解我们怎么使用这些东西。我们的看法是：巨量的Data、巨量的AI需要的算力，对于未来计算的需求、基本上是需要“Compute Everywhere”。Compute Everywhere你不能让它太困难去执行东西，我们的公司符合那样的一个要求。当然，我们的客户也看到这样的一个东西。讲的比做的容易，我们也是一直在更新我们的软件、硬件，一直在学习这方面的东西。

我个人觉得这是一个，我一直在强调、就是说：这是一个非常有前景的事情。大家要看到这个历史的浪潮，我们也是看到了、我觉得未来十年、二十年可能是芯片的黄金时代。因为在算力方面，我现在没有看到任何解决方案来解决这个事情，所以这是巨大的产业、巨大的机会在这个地方，我希望跟在座的各位做合作。（完）