引领端侧大模型落地！Firefly-RK182X 开发套件上线发售

海量参数的大模型给AI行业带来颠覆性的体验，然而在端侧设备中，由于有限的DRAM带宽、硬件算力、存储容量端等瓶颈，让端侧大模型长期停留在概念阶段，实时响应速度、输出长度等核心诉求难以落地。

Rockchip全新高性能端侧大模型协处理器RK182X，以硬核技术突破瓶颈，重构端侧智能格局，引领端侧大模型落地。

 

3D 堆叠架构突破带宽瓶颈

RK182X 作为针对端侧3B/7B大模型的协处理器，通过先进的3D堆叠封装技术，集成高带宽嵌入式片内DRAM（2.5GB/5GB版本），端侧生成速率超100 tokens/s，端到端延迟低至0.1s，能够提供包括文本、语音、图片、视频、传统CNN等大模型在内全方位的模型算法支持。
 

7B大模型30TPS带宽需求：3.5GBx30=105GB/s

传统2D芯片的DDR只能提供44-100GB的理论带宽，而3D堆叠芯片的DDR能提供 1TB/s DRAM 的理论带宽！
 

RK182X LLM/VLM性能

RK182X有着专为AI设计的NPU架构，并通过PCIe高速接口，与主SOC协同工作，内置高带宽DRAM，助力大模型的本地化部署和高效运行。

以下是 RK182X 在运行 LLM 时的表现：

数据基于RKNN3 SDK，所有模型使用w4a16量化，LLM input为128

以下是 RK182X 在运行 VLM 时的表现：

数据基于RKNN3 SDK，所有模型使用w4a16量化

VL的LLM部分input为128
 

RK182X应用案例演示

应用案例1：视频摘要

RK182X的端侧VLM视频分析以及实时预警方案中，RK3588对视频进行一个预处理，RK182X对VLM模型进行推理加速，对画面内容作出实时且准确的分析。以下是视频摘要的案例演示：

 

从视频中看出，RK182X对视频中人物的行为、动作及所在场景都做出了准确的分析判断，并且会对异常行为发出预警，适用于摄像头监控、安防NVR后端、车载哨兵模式等场景。AI处理均在端侧离线的情况下进行，保障用户的隐私安全。

 

应用案例2：视频检索

视频检索的应用场景中，模型通过遍历视频资源，提取视频序列存储到数据库，再通过图文模态相似度比对，显示检索结果。以下是视频检索的案例演示：

 

从视频可以看出，模型对视频资源行为内容的高精度匹配，对于超大视频数据库也能进行快速匹配。该功能可适用于安防NVR后端、各类监控等应用场景。

 

应用案例3：同声传译

同声传译是通过高速PCIe总线互联，RK3588集成音频3A算法，实现精准拾音，RK182X则部署了同声传译模型，首包延迟仅3.2秒。采用离线端部署，无需网络，不仅保护隐私，还可以实现稳定实时的语言翻译。以下是同声传译中会议模式的演示：

 

从视频中可以看出模型低延迟、高准确率的表现，同声传译可应用于视频会议、商务洽谈、留学旅游等跨语言交流的场景。

 

应用案例4：陪伴机器人

陪伴机器人的应用场景中，RK3588作为“小脑”，负责运动控制，而RK1828作为“大脑”负责感知决策，在对话（LLM）和场景分析（VLM）的方面都能发挥其极强优势，其中VLM在端侧运行，能够有效保护用户的隐私。双模组架构实现端云结合，同时满足了表现效果和场景需求。

 

Firefly RK182X开发套件

RK182X开发套件采用双模组结构设计，通过PCIe接口连接，其中RK3588负责任务调度和数据预处理，RK182X专注AI推理，支持模型并行和多任务协作，确保高效分工和低延迟响应。

Firefly RK182X 开发套件

 

1. 增强AI加速

 

基于RK182X的端侧VLM视频分析以及实时预警方案，其中RK3588对视频进行一个预处理，RK182X对VLM模型进行推理加速，对画面内容作出实时且准确的分析。

 

2. 高性能计算

 

RK3588采用8核CPU架构，集成高性能VPU，支持8K视频编解码，结合RK182X实现高效视频AI分析。 

 

3. 边缘低延迟

 

本地AI处理减少网络依赖，实现毫秒级响应和数据隐私保护，可在弱网环境下维持实时决策，提升整体系统可靠性和安全性。

 

4. 多网口连接

 

配备8个网口，支持高吞吐量数据传输和多设备互联，适用于泛安防、教育、安全生产等场景。 

 

5. 存储扩展性

 

通过SATA接口扩展SSD/HDD，高效处理 AI 数据集或视频日志，避免云端传输风险。

 

抢先体验双核AI性能

Firefly RK182X开发套件为AI大模型提供强劲算力，多任务并行处理的能力。可支持语音识别、视频编解码、长上下文对话等应用场景，广泛适用于智慧安防、智能机器人、边缘AI计算、智能座舱、监控分析、工业视觉检测等领域。

现已正式上线发售，点击前往购买。