揭秘瑞芯微算力协处理器,RK3576/RK3588强大算力搭档

描述

瑞芯微算力协处理器-Gongga1(简称“贡嘎”),是瑞芯微针对旗舰芯片平台RK3576/RK3588等SoC平台配套的算力处理器。凭借其先进的封装技术、高性能低功耗、超低延迟响应和多模态能力,为端侧部署大模型提供了强有力的支持。

下面,就由触觉智能从多个角度,为您解析瑞芯微算力协处理器性能特性。

Gongga1协处理器特性

先进封装技术,打破端侧部署大模型的带宽限制。可部署高达3B/7B参数量的端侧模型(最高16K上下文)。

  • 高性能低功耗,端侧模型可达100tokens/s以上
  • 超低端到端完整响应延时

测试垂直领域模型,低至0.1s超低延时。

  • 多模态能力

支持文字/语音/图片/视频等,同时支持传统CNN模型。

  • 主控互联

支持PCIe2.0 / USB3.0 与主控(如RK3588,RK3576)互联。

  • 软件友好,现有应用易于移植

通过工具离线转换模型,支持主流格式如Huggingface、Pytorch、GGUF;运行时接口调用参考OpenAI API,支持C、Python。。

Gongga1协处理器规格

触觉智能作为瑞芯微长期合作伙伴,得到算力协处理器规格信息如下:

  • 高带宽嵌入式片内DRAM(2.5GB版/5GB版)
  • RISC-V CPU,支持128-bit矢量运算功能。
  • 多核NPU,提供INT8及W4A16等多种数据类型的运算支持。
  • 4K JPEG图像编解码。
  • PCle2.0、USB3.0、I2S音频输入输出接口等。
瑞芯微

Gongga1协处理器应用场景

根据Gongga1协处理器规格规格,可应用于语音、翻译、交互、视觉等应用场景:

瑞芯微

典型应用硬件框图:

瑞芯微

触觉智能作为专业的瑞芯微RK方案商,提供核心板、开发板、行业主板、整机等一系列嵌入式产品。关注触觉智能,更多RK3576、RK3588与Gongga1芯片组合应用实例与实测数据,敬请期待。

触觉智能核心板+瑞芯微Gongga1

触觉智能基于RK3576、RK3588,提供可扩展1到多个Gongga1芯片,可提供从6T到50T的灵活算力配置方案。可广泛用于语音交互、车载多模态感知、机器人、安防视觉等领域。

 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分