近年来,类脑计算作为人工智能领域的重要方向,以其低功耗、高效率、高容错性等优势,展现出巨大的发展潜力。然而,类脑计算开发门槛高、与传统人工神经网络(ANN)难以结合、缺乏高效易用的开源框架和丰富案例等问题,一直制约着其广泛应用。为了突破这一瓶颈,灵汐科技联合脑启社区正式宣布开源类脑深度学习应用开发平台BIDL(Brain-inspired Deep Learning)。
BIDL基于深度学习框架Pytorch构建,实现了GPU和类脑计算芯片的双硬件平台支持,实现了一套用户代码可在两类硬件平台运行的异构执行范式。支持ANN/SNN/异构融合模型的构建。针对灵汐类脑计算芯片进行了深度适配,不仅提供了用户友好的SNN构建及训练环境,还显著提升了模型在类脑计算平台下的计算效率和能效比。
其支持高精度的BPTT训练方法,可用于训练典型的脉冲神经网络(SNN)模型,并可与传统的深度学习网络层混合使用,实现异构融合网络构建和训练。该训练平台充分考虑了灵汐类脑计算系统的计算特性,训练后的网络可自动编译并部署于灵汐类脑计算系统,实现高效率推理。
图1. BIDL系统架构图
核心亮点:赋能开发者,助力应用落地
一是跨平台部署,灵活高效。BIDL支持将AI模型无缝部署到GPU和类脑芯片上,开发者无需针对不同硬件平台进行代码修改,极大地提高了开发效率。这意味着开发者可以将更多精力投入到算法设计和模型优化上,而无需担心底层硬件平台的差异。
二是优化了类脑计算芯片的计算效率。我们将灵汐类脑计算芯片与部分GPU进行了多个ANN/SNN融合应用案例的性能指标平均值对比。在满足算法精度基本不下降时,流式场景(batch size=1)下,灵汐类脑计算芯片延迟与功耗降均下降一个数量级;批计算场景(两者均采用可用最大batchsize)下,灵汐类脑计算芯片较GPU能效比平均增益约5倍。这些指标展现了类脑计算范式对类脑网络的高效率支持。借助BIDL,用户可直接通过pytorch语言,轻松获得上述性能。
三是丰富案例,开箱即用。BIDL提供了多种分类案例(含DVS数据处理、短视频处理、文本、医学影像、大规模图像及事件信息处理)、类脑跟踪案例、高速目标检测案例在内的7大类案例与20+具体案例。这些案例包括了ResNet50-LIF,Spiking Transformer,ST-YoloV5等大规模类脑模型,BIDL提供的案例都提供了类脑计算芯片的推理计算支持,展现了类脑计算芯片的广泛应用支持能力。开发者可以快速上手并应用到实际项目中。这些案例不仅展示了BIDL的强大功能,也为开发者提供了宝贵的参考和借鉴。
与BindsNet、Spikingjelly、BrainPy等SNN框架相比,BIDL面向类脑计算芯片进行了深度适配,既提供了较高的芯片执行效率,又提供了面向类脑计算范式的简易编程模式。与Loihi 2的计算框架Lava、SpiNNaker编译器SpiNNTools等工具相比,BIDL提供的模型规模更大、精度更高(提供FP16权重精度)、灵活度更高(全模型支持pytorch原生编程)。
应用案例
BIDL源自灵汐类脑计算专用软件LYNBIDL。LYNBIDL已服务几十家客户,应用于类脑计算研究、事件相机信息处理、泛安防等领域。
在2024年10月-12月举办的首届脑启社区类脑智能创新大赛上,BIDL工具提前开放给选手试用。该大赛的技术组创新奖获得者(电子科技大学团队)在脑启云平台基于BIDL框架部署了其空间-通道-时间融合注意力SNN(SCTFA-SNN)模型,于较短时间内就完成了针对类脑芯片的适应性优化。
开源社区,共建生态
BIDL秉承开源精神,代码已在GitHub平台开源,并提供了详细的文档,后续将在脑启社区上同步完善更多文档、教程与应用案例。欢迎广大开发者下载使用并提出宝贵意见,BIDL团队也将持续更新和维护项目,与开发者共同构建繁荣的类脑计算生态。
附:开源版与专业版对比
BIDL提供开源版和专业版两个版本,以满足不同用户的需求:
1.开源版:面向开发者技术验证,提供基础开发功能,支持ANN+SNN融合训练和基础案例部署,硬件支持GPU训练和灵汐类脑芯片基础推理。开源版采用Apache 2.0许可协议,允许商用修改,并通过社区论坛提供支持。
2.专业版:BIDL 专业版本(LYNBIDL)可提供专业团队的类脑模型适配支持服务、灵汐芯片与 GPU 性能对比评估数据、适配内存受限边缘设备的部署框架、类脑芯片片上学习案例、功能级别类脑网络等额外功能和服务。此外,灵汐及相关合作伙伴还可提供超大规模脑仿真软件栈及定制化开发等类脑商业化服务。
全部0条评论
快来发表一下你的评论吧 !