神经拟态计算是如何降耗的

描述

  自计算机问世以来,运算效能与能耗消耗两大议题始终困扰着计算产业。在人工智能崛起的背景下,全球各地科研机构及相关公司积极探索提高处理器算力的新方法,神经拟态处理器即是一种创新尝试。

  如何模仿大脑思维?

  神经拟态计算,即模拟和探索人脑神经网络及其运作规律的领域,我们将之称为类脑计算或神经形态计算。数十年来,科学家们致力于复刻生物神经元的多功能运算模式,以期研发出高效能且低功耗的机器学习系统。

  历经多年探索,业界已形成三种神经拟态处理器的实现路径。一为数字CMOS型,通过逻辑门电路模拟生物单元行为;二为数模混合的CMOS型,借助亚阈值模拟电路呈现生物神经元特性;前两者均基于硅基晶体管。第三种则是研发新型器件,如忆阻器、相变存储器、铁电器件、磁隧道结、离子栅控晶体管等,并采用非硅基材料。

  然而,目前大部分研究尚未实现商业化生产。英特尔作为众多研究机构中的佼佼者,选择了第一种实现方式——用晶体管模拟人类神经元功能。其中,如何让处理器达到类似人脑的节能效果,便是他们的重要研究课题。

  德国海德堡大学物理学家卡尔海因茨·迈耶(Karlheinz Meier)指出,相比计算机,人脑具有三大优势:低能耗,仅需约20瓦特的能量。

  今年四月,英特尔推出神经拟态系统Hala Point。据称,该系统在处理AI推理负载和优化问题方面,速度较常规CPU和GPU架构快50倍,而能耗却降低了100倍。近日,英特尔中国研究院院长宋继强向中国电子报记者详解了该系统模拟人脑节能的实现原理。他首先解释了市场上常见芯片系统的频率特征:通常提及的CPU主频,如5GHz,代表同步时钟的频率,即芯片内所有逻辑门、存储均以此频率运行,或在此基础上进行降级。例如,总线频率可能低于CPU主频,I/O接口频率更低,但总体来看,同一芯片内所有组件均受同步时钟驱动,从而实现同时工作。因此,各部件能耗也同步进行。

  宋继强表示,英特尔的神经拟态计算无需同步时钟,取代之的是“时间步”概念——每当任务结束,“神经元”便依据预定顺序逐步推进。每个时间步里,信号均由一个神经元传至下一个,以此方式进行传播和扩散。尽管神经拟态计算要求系统在时间步级别保持同步,但并非所有神经元需在所有工作序列中完全同步,允许有些任务快速处理,有些则缓慢处理。这与人类大脑类似,部分神经元负责处理嗅觉信息,同时另一部分则处理视觉信息。因此,在神经拟态计算系统中,有任务执行的路径会消耗电力,其余路径则处于休眠状态。即使是大规模的神经拟态集群,其运行时神经元也仅进行少量并行运算。

  该计算系统另一节能策略在于其存算一体的结构。当前市场上计算系统的能源消耗主要集中于计算和数据传输两个方面,而神经拟态计算系统通过实现存算一体,成功规避了传统核内外架构在处理大量数据传输时产生的能量损失。

  节能与否,取决于具体情境

  低能耗被视为神经拟态处理器的天然架构优势。早在2020年,宋继强就曾公开宣称:神经拟态计算在算法及芯片设计上,可以千分之一以内的功耗完成同等效果的模型训练。浙江大学的唐华锦教授亦认同神经拟态芯片为环保型芯片,因其体积小、功耗低,符合生物进化的根本优势。

  然而,根据Hala Point最新实践成果,该架构处理器的节能效果与其使用情境密切相关。宋继强指出,现阶段发现该系统在处理物流调度数据中心的大规模优化任务时能效表现最佳,相较于CPU+GPU组合方案节能高达3000倍。

  “但这并非指数据中心所有工作负载,仅针对个别项目。”他补充道,“我们正努力寻找该系统适用的场景,若赋予其不适宜的任务,能耗或高于原有处理系统。”

  至于HalaPoint能否解决当前大模型训练中的高能耗问题,宋继强回应称:该系统设计初衷并非专为大模型服务,故不适合大规模数据输入。

  ResNet50网络(残差网络的一种)是验证Hala Point节能效果的典型场景之一。在此类应用中,经优化的Hala Point在达到相同性能前提下,能耗可降至原有方案的百分之一以下。对于某些特定深度的神经网络,如视觉识别类应用,通过在脉冲神经网络上进行适当调整,结合硬件层面的适配,同样有助于降低能耗。

  总的来说,该系统在稀疏性局部并发型应用中表现更为出色。目前,市面上大部分神经拟态处理器主要应用于机器人、无人机等领域。宋继强透露,HalaPoint约有一半的应用涉及机器人、操控、多模态视觉等方面。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分