基于树莓派5+LLM8850 Card的高性能AI加速解决方案

背景

在之前的文章中，我们介绍了基于AXCL软件框架的算力叠加方案，能够助力树莓派生态在当下火爆的AI大模型部署场景：爱芯分享 | 树莓派&AXCL：树莓派离线大模型新范式

在推广的过程中，树莓派生态客户反馈希望能提供一种兼容原装Raspberry PI HAT的M.2 2242的AI Card版本。经过国内优秀的AIOT硬件设计公司M5Stack长达几个月的反复设计，终于在本周正式上架了LLM‑8850 Card，非常和Raspberry PI 5匹配。

描述

LLM‑8850 Card是一款面向边缘设备的M.2 M-KEY 2242 AI加速卡，把42 mm的袖珍体积与Axera AX8850 SoC的24 TOPS @ INT8算力结合起来，为Raspberry Pi 5、RK3588、x86 PC等主机“一插即强”地扩展多模态大模型与视频分析能力。卡上配备微型涡轮风扇+铝合金CNC鳍片的主动散热系统，由板载EC根据温度‑电流曲线智能调速，长期满载也能维持低温稳态，避免密闭机壳内的热衰减。

板载DCDC+PMIC电源链路由EC进行实时功耗管理，实现“按需供电、按需散热”，大幅提升整机稳定性。支持AXCL Runtime，支持C/Python API一键部署YOLO‑v8/11、CLIP、Whisper、Llama3.2、InternVL3、Qwen3等主流CNN、Transformer、LLM与多模态模型。

同时利用AX8850的VPU硬件管线，提供H.264/H.265 8K编解码与同编同解转码加速与缩放/裁切，兼顾AI与视频流处理。支持host使用ffmpeg直接调用硬件视频编解码器。

快速上手

具体教程请参考M5Stack官方的教程，非常详细，适合有树莓派开发经验的工程师直接上手。

产品特性

应用场景

工业/商用SBC算力升级：Raspberry Pi 5、RK3588、TI AM62x等板卡本地运行目标检测、缺陷识别

具身智能机器人：AMR/AGV/服务机器人即插即得“感知‑决策‑控制”本地链

AIPC&边缘智能终端：在迷你PC内提供离线Copilot、客服问答、会议字幕&即时翻译

NVR/NAS智能化改造：旧存储盒增添多路AI车牌抓拍、事件摘要检索+硬件转码

智能交互设备：语音助手、智能门铃、广告机实现本地LLM+TTS的低时延对话

AI视觉网关：交通路口、园区闸机前端推理，实时客流统计与危险行为告警

解决方案

以下基于树莓派5+LLM8850 Card的各种解决方案从本月开始已陆续释放到GitHub和Huggingface开源社区，请大家持续关注。

7.1 AI NAS（CasaOS）

借助于树莓派优秀的软件生态，我们已基于当前最流行的开源NAS解决方案CasaOS进行了LLM8850算力卡的适配，将完美地解决CasaOS中智能相册Immich（已完成文搜图大模型适配）在树莓派5上运行占用CPU资源巨大的问题。

7.2 AI NVR（Frigate）

Frigate是目前最流行的开源NVR项目，在树莓派的用户群体中，很多玩家基于Frigate打造自己的家庭私有NVR管理平台。基于LLM8850算力卡，不仅可以将传统的目标检测算法迁移到算力卡上，甚至可以将原本Frigate推荐在NV GPU卡上运行的多模态大模型也运行到算力卡，将NVR升级为文搜大模型NVR。

7.3 文搜图

无论是AI NAS还是AI NVR，其底层核心技术便是基于多模态Transformer模型实现了文搜图功能，我们已适配国内外各种CLIP模型并整理成SDK交付包，方便已有项目快速集成升级。

7.4 会议转录

本地会议转录采用VAD+声纹识别+ASR架构，RTF＜0.2，处理1小时的会议录音只需要10分钟。

7.5 本地翻译

本地离线翻译采用VAD+ASR+LLM+TTS架构，可根据具体使用场景更换对应模块的算法模型，更加灵活。

7.6 语音克隆

基于LLM的增强式语音生成模型，目前已适配CosyVoice2。

7.7 视频增强

由视频超分、视频插帧两种方案组成，目前已开源。

感谢

感谢M5Stack优秀的工程师们设计出如此惊艳的端侧AI算力产品，让更多的社区开发者能够接触到大模型时代带来的技术革新。