全栈 AI，一机到位：RK1828 边缘多模态推理平台

近年来，大语言模型（LLM）与多模态大模型（VLM）的爆发式发展，将 AI 的能力边界推到了前所未有的高度。然而，当 AI 走向实际应用落地时，存在着多路视频上行带宽受限、网络往返延迟、云端 API 持续成本不可控、部署运维成本高等问题。

针对上述问题，Firefly 为边缘 AI 多模态推理平台提供强力的硬件支持，目前 App Portal 已成功在边缘 AI 大模型计算盒 AIBOX PRO 系列设备上跑通。

 

 

边缘 AI 多模态推理平台

该平台以 RK3588 作为系统 / 编解码 / IO 底座，通过 M.2 挂载 RK1828 NPU 加速卡，运行 Rockchip 官方/合作方的多路视觉、语音、语言模型应用。通过 App Portal 统一安装、启停、健康检查和 Web 访问。

 

已实测跑通的应用矩阵

App Portal 本地化平台优势

 

 

 

一套硬件 = 视觉 + 语音 + 语言全栈 AI

检测 / 跟踪 / 车牌 / VLM / ASR / LLM / 向量检索全部本地 NPU 推理，不依赖云端，无数据出域风险；

 

开箱即用，一键安装

应用封装为 Deb + 资源包，App Portal 一键安装 / 健康检查 / Web 打开，免手工部署模型与依赖；

 

本地化部署，保证隐私安全

语音转写、智能总结、语义检索均本地运行，适合数据敏感的政企/行业客户；

 

低延迟、毫秒级响应

检测流水线实测约 20 fps（单帧 60ms）；车牌识别百毫秒上下；VLM 行为/场景分析约 1-2s 可出结果；

 

可扩展性

除了部分特殊 APP 以外，大模型基本可通过 RK1828 单卡跑通，模型/流水线可替换（Yolo→Reida→VLM 全链路），开放端口与 API 便于集成。

 

 

主要应用功能演示

智慧交通视频分析 | Multistream-Detect

检测 + 车牌识别 + 行为/事故判定

 

分析流程：

多路视频实时目标检测与跟踪；

车辆车牌检测 / OCR（约114ms）+ 车辆外观 / 行为中文描述（约1.2s）；

行人状态 / 是否骑车 / 携带物品等语义描述；

连续多帧输入 VLM 做交通事故 / 异常场景判定（输出"事故：是/否"及依据，滚动监控并生成告警，实测可稳定判定正常场景）

 

AI 会议 | AI Meeting

实时语音转写 + 翻译 + 智能总结 + RAG

 

如演示视频所示，模型可以实现本地 ASR 实时转文字、双语翻译、会议纪要智能总结、基于向量库的语义检索（Rag）、说话人分离（Speaker Diarization）

 

端侧大模型智能体 | ClawChips

网页聊天 + 工具调用 + 技能包

 

端侧 AgentModel-V3-4B 经 RKNN3 / RKLLM3 本地推理 + Nanobot Gateway，提供网页聊天 + 工具调用 + 技能包的智能体能力：OpenAI 兼容接口，内置联网搜索、飞书 / Telegram / Slack 等 IM 接入、MCP 工具、文档解析（PDF / Word / PPT / Excel）等多类技能（/Userdata / Skills），聊天数据全程本地，可对接第三方系统或作为私有化助手。

 

多模态推理服务 | AI-Media-Base

 

独立运行的多模态推理服务：自带 ai_media_base.service，通过 rkllm3-server 加载 Qwen3-VL-4B 视觉语言模型（3.4G）并提供 OpenAI 兼容接口，同时附带 Paraformer 语音识别（459M）与 bge-small-zh-v1.5 中文向量模型（96M），OpenAI 兼容接口（/v1/models）便于上层应用集成。

 

 

广泛的应用领域

可广泛适用于智慧交通、城市治理、园区/校园/楼宇安防、智慧工地、生产安全、AI 会议室、边缘智能体、多模态内容分析等产品和行业领域。

 

智慧交通 / 城市治理

路口、卡口、路段多路视频分析，事故检测、违停/异常行为告警、车牌追踪。

园区/校园/楼宇安防

人员行为描述、危险物品/行李识别、陌生人轨迹、大门口 AI 值守等。

 

智慧工地 / 生产安全

安全帽 / 行为规范检测、禁区闯入、连续画面事件分析。

AI 会议室 / 培训室

实时转写、自动纪要、历史会议语义检索。

 

边缘智能体

本地部署聊天 / 知识问答 / 工具调用，数据不出网，适配政企私有化需求。

 

 

超前体验 App Portal

App Portal 即将开放体验，目前 Firefly AIBOX PRO 系列产品已适配，有以下规格产品可选：