VS680芯片基础介绍

电子说

1.3w人已加入

描述

概述

soc

VS680是一款高性能的片上多媒体系统(SoC),用于新一代智能显示器消费类物联网设备,结合了增强人工智能功能的智能扬声器/本地触摸显示器。这款SoC的目标是将传感、视频和音频领域的边缘应用结合到单个消费设备中。为了实现边缘计算AI应用,它集成了一个高性能神经网络处理单元(NPU),支持每秒数万亿次 操作。 该款SoC附带了NPU工具包,使客户能够为视频、视觉和音频AI构建优化的ML/AI应用程序。集成的MIPI-CSI2和ISP为基于边缘的视觉推理提供相机输入,最大限度地减少对外部组件的需求。远场语音和关键词检测算法提供基于边缘的语音处理。VS680集成了高性能四CPU子系统以及最新一代GPU 、超高清视频编解码器处理器、显示管道和安全处理器,以实现具有内容保护功能的强大视频/音频应用程序核心。这种高性能设备经过优化,可将功耗和散热降至最低,使制造商能够保持较小的外形尺寸。

优势

安全, 一流的人工智能性能

使人工智能的快速开发、移植和优化成为可能。

内部集成的ISP适用于支持摄像头的高级用例

应用

智慧显示器

回音壁

多摄像头平台

机顶盒及直播设备

特性

CPU

四核 Arm® Cortex® A73处理器,带安全扩展。

每个CPU最高可达 2.1 GHz,提供高达 40000 DMIPS

支持功率门控单个核心以及动态电压和频率调节

每个处理器都有 64KB指令缓存和 32KB数据缓存。

每个处理器都有专用的 Arm NEON™技术/VFPU

32个128位 SIMD寄存器,加密指令。

1 MB共享二级缓存。

Arm CoreSight™ 技术兼容的调试接口,带4KB跟踪缓冲区。

TrustZone® 技术。

支持标准工具链(ARM、GNU)。

存储器接口

DRAM 控制器

64位 LPDDR4/LPDDR4x-3733

支持可选的32位DDR配置。

支持最高4 GB的内存空间。

支持事务乱序发布,以最大限度地提高DRAM利用率。

安全控制。

eMMC 5.1 控制器

x1, x4 or x8位 接口

神经处理单元(NPU)

专门为本地化神经网络/机器学习应用程序设计的硬件。

最高 6.75 TOPs (INT 8)

最高 1.69 TOPs (INT 16)

支持多个DNN框架,并通过NPU工具包优化 TensorFlow™ Lite推理。

多标准视频解码

视频解码

AV1 Main Profile (8位或10位, YUV 4:2:0) 2160p60

H.265 main 8位和10位 (ITU-R BT.2020)

VP9 Profiles 0和2 (8位或10位, YUV 4:2:2)

H.264 Baseline, Main 和 High Profiles; MVC (多视图视频编码)

MPEG-2 Simple 和 Main Profiles

VP8

灵活支持PIP(2160p60/2160p60)和多视图(1 x 2160p60和3 x 1080p60)。

支持单流2160p H.265/VP9解码,最高90-100帧/秒。

支持高达1080p120的单流解码。

静止图像 - H.264、MPEG2 I 图像解码。

多标准视频编码/转码

最多支持两个流编码:

1080p60: H.264 or VP8 (每条流)

支持同时进行2160p60解码和1080p60转码。

音频解码/处理

远场语音(FFV)和关键词检测。

支持麦克风输入处理。

支持各种格式的音频解压缩。

音频后处理。

二维和三维图形

基于GPU的图形引擎(Imagination™ PowerVR™ 系列 9XE GE9920):

HDR-enabled。

包括几何体着色器和镶嵌着色器。

支持 OpenGL® ES™ 1.1/2.0/3.0/3.1/3.2/ DirectFB/OpenCL™ 1.2 / Vulkan® 1.1。

支持Android扩展包。

分辨率高达3840x2160。

支持3D。

5.6 G像素/秒。

200 M多边形/秒。

89.6个16位GFLOPS,44.8个32位GFLOPS。

QDEO™ 视频/图形显示管道

两条独立的显示器输出路径:

显示路径 #1:

MP/GFX0(或PIP)/GFX1叠加后的输出。

通过HDMI Tx(高达2160p60)/DSI(高达21.60p30)输出。

支持伽玛校正和低延迟模式(适用于源/汇设备)。

显示路径 #2:

GFX0(或PIP)/GFPX/GFX2选择的输出。

仅通过DSI输出1080p60。

支持伽玛校正。

MP:

Dolby Vision™ (仅限源) / HDR10+ (仅限源) / HDR10 / HLG。

SDR和HDR之间的任何转换(HDR10、HLG)。

缩放。

细节和边缘增强。

肤色检测。

亮度过渡增强。

色度过渡增强。

自适应对比度增强。

智能色彩重映射器(色度增强)。

90/180/270 旋转。

水平和垂直翻转。

压缩失真抑制。

局部调光。

伽玛校正。

GFX0(或 PIP)/GFX1: 支持 Dolby Vision™

仅按比例放大。

SDR和HDR之间的任何转换(HDR10、HLG)。

GFX2:

仅按比例放大。

离线视频管道(OVP):

离线影像解交错器

离线缩放器(缩小和放大)

安全

250MHz Secure CPU (Arm Cortex®-M3)。

使用eMMC和 SPI NOR Flash的RSA数字签名验证进行安全引导。

片上32Kbit OTP。

真随机数生成器。

DRM 引擎 支持:

AES, DES, 3DES, RSA, ECC。

支持以下内容保护方案:

Widevine™ (Google)

PlayReady™ (Microsoft)

通过身份验证禁用/启用JTAG。

内存和I/O空间访问控制。

支持DRAM加扰。

音视频输出

MIPI DSISM v1.2 输出:

1 x 4-lane。

支持最高 2160p30。

1个 HDMI v2.1 输出:

支持遵循 HDMI 2.1的HDR方案, 包括 HDR10+。

支持最高 2160p60 YUV 4:4:4。

支持高达 1080p60的12b深彩色。

支持 HDCP 2.2。

支持 HBR 输出。

支持 CEC。

支持 ARC Rx 和 eARC Rx。

支持 Variable Refresh Rate (VRR)。

支持 Auto Lip Sync Correction。

支持 Quick Media Switching (QMS)。

支持 Quick Frame Transport (QFT)。

支持 Auto Low-Latency Mode (ALLM)。

8通道 I2S 输出。

2通道 I2S/PCM 输出 或 8通道 TDM 输出。

S/PDIF 输出。

音视频输入

MIPI CSI2SM v1.2 输入:

1 x 2-lane, 1 x 4-lane。

最多支持 2160p60(单摄像头)或 2 x 2160p30(双摄像头)。

支持 8MP + 4MP 双传感器。

内部集成ISP:

最多支持双摄像头。

输入像素格式:RAW(RGGB),每像素10/12位。

输出像素格式:YUV420/422/444,8/10位;RGB444,8/10位;RAW,10/12位。

1个 HDMI v2.1 输入:

支持 HDR10 和 HLG。

支持最高 2160p60 YUV 4:4:4。

支持高达 1080p60 的12b深彩色。

支持HDCP 2.2。

支持 HBR 音频输入。

支持 CEC。

支持动态 HDR Metadata 功能 / HDR10+。

支持可变刷新率(VRR)。

支持 Auto Lip Sync Correction。

支持 Quick Media Switching (QMS)。

支持 Quick Frame Transport (QFT)。

支持 Auto Low-Latency Mode (ALLM)。

8通道 I2S。

2通道 I2S/PCM 输入或 8通道 TDM 输入。

4 个 2通道 PDM (麦克风) 输入。

S/PDIF 输入。

待机模式系统管理器

25MHz Arm® Cortex®-M3 (ARMv7-M 兼容)。

128KB TCM 用于指令/数据,4KB安全RAM。

带有前面板控制I/O、ADC、SPI、UART、温度传感器和唤醒事件逻辑的独立供电区。

多个GPIO处于待机模式。

Always-on 电源域 支持系统唤醒功能:

Wake-on-Voice

Wake-on-LAN

Wake-on-CEC

IR remote

Front-panel key presses through ADC or GPIO

Wake-on-Wi-Fi through GPIO

Wake-on-Bluetooth® through GPIO

ZigBee through GPIO

Timer

外设

1个 dual-lane PCI Express® 2.0 root complex。

1个千兆以太网MAC:

RGMII接口,用于连接到外部千兆以太网PHY或G.hn。

1个 USB 3.0 host 接口。

1个 USB 2.0 On-The-Go (OTG) 接口。

1个SDIO 3.01 host接口,高达200 MHz。

4条 TWSI 2-wire 总线 (I2C兼容)。

2个高速 UART 接口。

2个低速 UART 接口(在Always-on电源域中)。

2个 SPI 接口(其中1个带有 DMA)。

32位管脚复用的备用域 GPIO。

96位管脚复用的标准模式 GPIO。

4个 PWM。

单通道100KHz前面板ADC。

IR接收器输入。

2个片上温度传感器。

电源、封装和布局

满载功耗:待定。

封装: 17mm x 17mm FCBGA, 球距 0.4mm:

Ball pattern支持标准的 PCB fab 规则(无需HDI规则)。

VS680 高级框图

soc

图 1. VS680 高级框图


审核编辑 黄宇

 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分