触觉智能EVB3588实测运行大模型，效果nice！

 

开源鸿蒙硬件方案领跑者触觉智能

 

本文基于触觉智能IDO-EVB3588开发板，运行大模型。效果抢先看！

 

 

视频使用的主板采用瑞芯微RK3588处理器，是全新一代AloT高端应用芯片，采用8nm LP制程，搭载八核64位CPU，四核Cortex-A76和四核Cortex-A55架构，主频高达2.4GHz。

6TOPS AI算力，三核架构，支持int4/int8/int16/FP16/BF16/TF32；

支持H.265/H.264/AV1/VP9/AVS2视频解码， 最高8K60FPS；

支持 H.264/H.265视频编码， 最高8K30FPS；

支持HDMI2.1输出，最高8K@60Hz；

支持HDMI2.0 输入， 最高4K60FPS；

支持多摄像头输入；

双通道LVDS，支持到1080P@60Hz 大屏幕 ；

多屏异显；

两路独立的千兆以太网口，支持WAN口+LAN口 双IP ；

5G/4G/WIFI/蓝牙无线通信；

板载4路USB3.0，2路全功能Type-C；

丰富的系统支持， Android 12，Ubuntu，鸿蒙OpenHarmony全面支持。

 

1、运行在开发板上可以通过CPU直接部署运行模型，可以在终端中直接对话：

 

视频效果如下所示：

CPU调用情况:

同时，通过调整模型，可以在NPU上部署运行大模型，3588开发板的NPU拥有6T的算力，可以加速模型运行。运行qwen1.8b模型占用情况如下

2、网页调用模型API

 

模型部署后可以暴露API供其他应用使用，例如Web网页调用API接口实现对话功能。