详解真4K内窥ISP硬件架构的实现方式

易灵思官宣发布了万众瞩目的Tj375.

TJ375 FPGA采用优化的”XLR”基础单元，基于16nm标准工艺，充分实现“高性能+低功耗+高密度“的优势特点，助力终端应用降低散热成本，节省PCB空间，使得高端设备节能化、小型化变成可能。

简单总结一下，Tj375主要有如下特性：

支持性能可达1GHz的4核32位RISC-V处理器，，全速仅500mW

支持2x 32bit LPDDR4硬核，带宽高达240Gbps

提供16路16G Serdes，支持x1/x2/x4的配置模式

支持PCIE Gen4x4，向下兼容Gen3/Gen2/Gen1

支持硬核MIPI 2.5G DPHY，

支持1.5G LVDS接口以及软1.5G MIPI DPHY

提供19x19至35x35mm的多种封装形

那么Tj375用来做4K ISP行不行，在面积和功耗上有一定的优势，我们权且画一个4K硬件实现方案的框图，如下所示：

（1）4K60传感器：

我们采用思特微4K60相机SC850SL，靶面=1/1.8，特性参数如下：

（2）MIPI转SDI:

采用Xilinx XC7A35T，自带6.6G收发器，用来传输4K60 12bit的图像，带宽≈3840*2160*12*60/0.9/10^9=6.6Gbps，刚好满足GTX特性，完美。

（3）4K60 ISP处理 FPGA

采用易灵思16nm 合封装LPDDR4的Tj375作为我们的主控，375K的lut用来做4K60的流水线ISP绰绰有余，用户可以扩展更多的算法及应用，简直无敌，并且还低功耗！

（4）RK3588协处理器

FPGA没法做H.265以及一些复杂的应用，那么交给强大的RK3588来吧，无所不能，处理4K60视频不在话下。

那么，最后，问题来了：FPGA处理完的4K60 RGB888怎么传给RK呢？这就很尴尬了。

4K60 RGB888的带宽=3840*2160*24*60=13.3Gbps

采用MIPI 2.5G，只能达到10Gbps带宽

采用PCIE3.0x4，只能达到4Gbps的带宽

采用PCIE4.0x4，有8Gbps带宽，不够且RK也没有gen4

如果把RGB888转RAW传输，可以用MIPI，但是质量会下降多少呢？？同时RK能不能单独在做Demosaic呢？？

审核编辑：黄飞