新品｜LLM Module，离线大语言模型模块

LLM，全称大语言模型(Large Language Model)。是一种基于深度学习的人工智能模型。它通过大量文本数据进行训练，从而能够进行对话、回答问题、撰写文本等其他任务。

 

New
Module LLM

 

LLM Module 是一款集成化的离线大语言模型（LLM）推理模块，无需云端，即可提供流畅自然的 AI 体验。产品搭载爱芯元智 AX630C SoC 先进处理器，集成 3.2TOPs@Int8 高能效 NPU，原生支持 Transformer 模型，轻松应对复杂 AI 任务。且配备 4GB LPDDR4 内存和32GB eMMC存储，支持多模型并行加载与串联推理，确保多任务处理流畅无阻。运行功耗仅约 1.5W，远低于同类产品，节能高效，适合长时间运行。

无需云端支持

模块无需依赖云端，确保用户隐私安全和系统稳定性，适合各种对数据安全有高要求的应用场景。集成 StackFlow 框架，配合 Arduino/UiFlow 库，几行代码就可轻松实现端侧智能。

高算力，低能耗
 

搭载爱芯元智 AX630C SoC 处理器，集成 3.2TOPs@Int8 高效 NPU，提供强大的计算能力，原生支持 Transformer 模型，运行功耗仅约 1.5W，确保节能高效。

AI Benchmark 对比

 

 

支持多模型并行

配备 4GB LPDDR4 内存（其中1GB供用户使用，3GB专用于硬件加速）和32GB eMMC存储，支持多模型并行加载与串联推理，确保多任务处理流畅无阻。

内置外设

集成麦克风，扬声器，TF存储卡，USB OTG 及 RGB状态灯，满足多样化应用需求，轻松实现语音交互与数据传输。

灵活拓展

板载 SD 卡槽支持固件冷/热升级，UART 通信接口简化连接与调试，确保模块功能持续优化与扩展。USB 口支持主从自动切换，既可以做调试口，也可以外接更多 USB 设备如摄像头。

视觉识别能力

支持 CLIP，YoloWorld 等 Open world 模型，未来将持续更新 DepthAnything，SegmentAnything 等先进模型，赋能智能识别与分析。

即插即用

出厂预装 Qwen2.5-0.5B 大语言模型，内置KWS（唤醒词），ASR（语音识别），LLM（大语言模型）及TTS（文本转语音）功能，且支持分开调用或 pipeline 自动流转，方便开发。后续将支持Qwen2.5-1.5B、Llama3.2-1B及InternVL2-1B等多种端侧LLM/VLM模型，支持热更新模型，紧跟社区潮流，适应不同复杂度的AI任务。搭配M5主机即可实现即插即用的AI交互体验。

 

LLM Module 可作为离线语音助手，无需联网即可进行精准语音识别与响应，提升设备使用的智能和便捷性。或者是通过语音指令轻松控制家中智能设备，实现智能化生活。产品推荐搭配M5系列主机进行使用，无需繁琐设置，即插即用。