开源ISP(Infinite-ISP)介绍

ISP（Image Signal Processor）我介绍了很多了。

ISP从图像传感器获取 RAW 像素，并将其转换为与人类对所捕获场景的感知相匹配的图像。ISP 是每个摄像头和视觉系统中必不可少的基本硬件处理器。

然而，大多数厂家的 ISP 实现细节并不公开，都是给一堆函数自己调用调试。因为厂商将 ISP 算法视为保持市场竞争力的独特秘诀。虽然之前介绍了很多开源ISP项目（优秀的 Verilog/FPGA开源项目介绍（二十六）- ISP (图像信号处理)），这些开源ISP仅仅是实验和探索，与商用的ISP相比，它们在性能、图像质量和实用性方面还有所欠缺。

图：ISP 中的相机成像算法

上图来源：Karaimer and Brown，ECCV2016//karaimer.github.io/camera-pipeline/

图：SoC 中ISP成像原理的顶层框图

上图来源：Lluis Gomez：https://hdl.handle.net/2134/19580

Infinite-ISP 是成像和视觉社区的变革者。Infinite-ISP 的所有组件都开源，并记录整个开发过程，将浮点 ISP 管道引入其硬件实现。揭示 ISP 的内部工作原理，加速开发并鼓励专业人士、研究人员和开源硬件爱好者为整个成像和视觉社区做出贡献。

Infinite-ISP 介绍

Infinite-ISP 是一款开源硬件图像信号处理器开发套件，配有算法开发浮点模型、定点参考模型（Golden Model）、RTL ISP、FPGA / ASIC 实现和 ISP 调优工具等应用程序。开源 ISP 设计包提供具有竞争力的图像质量和性能，堪比现代SoC中ISP。

图：Infinite-ISP硬件ISP开发套件

验证 Infinite-ISP 硬件图像信号处理器 (RTL ISP)。RTL ISP 经过 FPGA 验证，具有以下规格：

适用于拜耳图像传感器的 10 位 4 百万像素Sensor

最大帧尺寸：2592 x 1536

最大帧率：30 fps

像素吞吐量：高达 125 Mpix/s（可以增加帧大小，但会降低 fps）

可选符合 ITU-R 标准的 YCbCr 输出：BT.601或BT.709

可选 RGB、YCbCr444、YCbCr422 输出

2A 统计引擎 (AWB、AE)

多级降噪（Bayer、亮度）

可配置处理管道，支持 ISP 调优工具

演示

为了演示Infinite-ISP使用流程，我们直接使用开源的二进制文件，目前支持的传感器包括：

Onsemi AR1335

Omnivision OV5647

Sony IMX219

本次选用 Onsemi AR1335 图像传感器进行演示。

按照下图搭建演示环境：

1、烧写镜像

首先，去下面链接下载镜像：

https://github.com/10x-Engineers/Infinite-ISP_FPGABinaries/tree/main/binaries

本次演示使用的FPGA开发板为：KV260

a. 将电脑的 IP 地址更改为静态 IP 192.168.0.X，其中 X 可以是 2 到 254 之间的任意数字（111 除外）。网络掩码和网关应分别为 255.255.255.0 和 192.168.0.1。

b. 将以太网电缆与 Kria KV260 套件和电脑连接起来。

c. 将电源线插入 Kria KV260 套件的电源插孔。

d. 电路板通电后，一只手按住 FWUEN 按钮，另一只手按住 FWUEN 按钮的同时按下并释放 RESET 按钮，然后在释放 RESET 按钮 5-10 秒后释放 FWUEN 按钮。

e. 在电脑上打开浏览器，在地址栏中输入 192.168.0.111，如下所示：

将打开套件的镜像恢复工具（如下所示），如果没有出现，请重复步骤 d。

f.然后选择相应的镜像进行烧写。

2、运行 Infinite-ISP

将相关二进制文件刷入 FPGA 后，将与二进制文件对应的传感器连接到开发板上。

按照下图连接好线缆：

上电后，Infinite-ISP 的输出将通过 HDMI 显示到显示器上。

 

为了与 Infinite-ISP 实时交互， Infinite-ISP 还提供了一个串口的配置菜单，用户可以通过该菜单调整 Infinite-ISP、实时更改图像传感器的配置（例如曝光和增益设置），还可以在 SD 卡中捕获 RAW 和处理后的帧图像。

浏览 Infinite-ISP 交互菜单

通过串口连接到串口工具上（推荐PUTTY），波特率设置为115200。

连接到串口后，FPGA将打印ISP中模块的中断数、接收图像的高度、宽度和类型 (di) ，如下所示：

按任意键将出现 Infinite-ISP 配置菜单，如下所示：

Infinite-ISP 配置菜单包含三个选项。可以更改传感器配置（例如曝光时间和模拟/数字增益）、启动连续帧的突发捕获、更改 ISP 参数，甚至调整传感器模块的焦点。接下俩重点讲解 ISP 参数。其他相关测试自行操作。

配置ISP参数：

通过“Configure ISP Parameters（配置 ISP 参数）”菜单选项可以配置多个 ISP 模块。ISP 配置菜单如下所示：

输入要配置的模块编号。输入有效编号后将进入模块特定的配置菜单，其中将显示当前参数值，并提示选择要更改/配置的参数。

选择要配置的参数后，将被引导至参数特定的菜单，其中将显示该参数的当前值并提示输入新值。

输入新值后将被引导回模块特定的配置菜单，您这时候将看到更改的参数已经生效。

按“E”返回 ISP 配置菜单。

视频演示

参考链接

https://karaimer.github.io/camera-pipeline/

https://www.hackster.io/muhammad-abdullah3/kria-kv260-fpga-isp-getting-started-ffc985

https://hdl.handle.net/2134/19580Karaimer and Brown，ECCV2016:

总结

Infinite-ISP总体实现的ISP非常完善，下面是其模块分类：

整个项目不是干巴巴的代码，而是整体偏向商业SoC应用，包括上位机（本文未展示），适合学习算法和了解ISP，在此基础上甚至可以商用，开源协议Apache 2.0（参考Android系统）。

如果大家比较感兴趣，后面再出一个如何使用 Vivado 从源代码构建 Infinite-ISP FPGA 项目的教程。

项目很完整，大家可以从GitHub上对项目提出自己的意见和建议~