什么是图像信号处理器？TI LM98519芯片功能框图解析

嵌入式处理器可分为两大类：微控制器和数字信号处理器 (DSP)。尽管微控制器与 DSP 之间的分界线越来越模糊，但将一个部件放入一个容器或另一个容器中通常并不难。

与微控制器不同，DSP 针对实时音频处理、软件无线电和人工智能 (AI) 等应用中涉及的高速数学和数据传输操作进行了优化。本文将探讨称为图像信号处理器 (ISP) 的处理芯片。请注意，将 ISP 作为 DSP 类别中的一个子组包括在内是合理的；然而，随着实时图像处理应用程序的激增以及 ISP 变得越来越强大和通用，我们认为给它们一个单独的类别是有意义的。

总的来说，本文旨在展示图像、图像信号和媒体处理器的一些示例，以了解专业术语之间的细微差别，并了解这些不同类型产品之间的界限有多模糊。

对专用图像处理硬件的需求

通用的数字信号处理器（DSP），例如德州仪器(Texas Instruments)的C66x系列或ADI的Blackfin处理器，是能够处理图像数据的两个例子。然而，需要认识到图像系统对处理硬件有特殊要求，图像信号处理器（ISP）通常比通用DSP更高效地完成任务。

也许最重要的考虑因素是数据的数量之巨。如果以44.1 kHz的采样率和16位的分辨率对音频进行采样，实时的DSP应用每秒将处理88,200字节的音频数据。而一台连续以每秒一帧的速度拍摄的2400万像素数码单反相机则处于完全不同的领域；即使我们假设每个像素占用一个字节，我们每秒也要处理超过2400万字节的数据。某些图像处理算法相当复杂，当涉及这么多数据时，专用硬件模块比由负荷过重的中央处理单元（CPU）执行的自定义代码例程更可取。

这个例子还说明了为什么 ISP 可能需要以并行处理能力或作为芯片上的多核系统来实现。当所有这些图像数据流入时，相机的计算电子设备必须能够支持其他功能——例如焦点跟踪或自动曝光。 

什么是图像信号处理器？

这个问题并不像我想的那么简单。首先，让我们考虑一下德州仪器 (TI) 的“成像信号处理器” LM98519 。在下面的图 1 中，我们可以看到该芯片的功能框图。

图1. 框图取自 LM98519 数据表。图片由TI提供

在此示例产品中，此 ISP 只是用于基于电荷耦合器件 (CCD)的成像器的数据转换器。基本上，它在白电平和黑电平反馈系统的帮助下对两个多路复用 CCD 输出波形进行采样和数字化。但是，我发现术语成像信号处理器也用于指代为互补金属氧化物半导体 (CMOS)传感器设计的英特尔硬件和用于高动态范围视频处理的 IP 核。在图 2 中，是标识为“图像信号处理器”（因此不完全是图像信号处理器）的另一部分的框图。

图 2.该图取自 Arm 的 Mali-C55 ISP 的数据表。图片由Arm提供

尽管术语几乎相同，但这部分显然属于不同的类别并且具有更广泛的功能。这个Arm ISP对图像数据执行各种复杂的数学运算：

缺陷修正

降噪

去马赛克以从拜耳过滤像素中提取 RGB 值

颜色空间转换等

德州仪器的达芬奇（DaVinci )处理器，如图 3 所示，甚至比 Arm ISP 的集成度更高：

图 3. DMVA3/DMVA4 数据表中的框图。图片由TI提供

在这里，您可以看到用于图像处理操作的硬件与微处理器和大量可供选择的数字外围设备相结合。TI 将此设备称为“数字媒体处理器”（digital media processor），尽管它可以被描述为图像信号处理器（ image signal processor）。实际上，TI 使用术语图像信号处理器来表示达芬奇“成像子系统”中的一个部分。

最后，Socionext 在其Milbeaut产品线中同时使用了图像信号处理器和成像处理器这两个术语（ image signal processor and imaging processor）。Milbeaut 设备是用于照片和视频应用的多处理器片上系统 (SoC)解决方案，它们的独特之处在于可以作为尼康 DSLR 和无反光镜相机中功能异常强大的EXPEED 处理器的基础。Milbeaut 的能力包括：

降噪

除雾

电子图像稳定

人脸检测（这对高级自动对焦很重要）

镜头畸变校正

总结

图像信号处理器( image signal processor )表示 与 LM98519 相当的设备（因为焦点是来自图像传感器的信号）。

图像处理器(image processor ) 表示与Arm Mali-C55 相当的设备（因为焦点是处理整个图像）。

媒体处理器 (media processor)专为功能比图像处理器的功能更复杂或更广泛的设备保留。

图像信号处理器是一种多样化的数字或混合信号 IC，专门用于分析和修改视觉数据。它们针对静态图像和视频应用中涉及的许多资源密集型处理任务进行了优化，并且它们必须达到极高的复杂性和集成度，才能满足尖端成像系统的需求。ISP 启用并增强了许多自动化和用户友好的功能，这些功能彻底改变了摄影和摄像；其中包括自动曝光控制、自动对焦、自动白平衡、物体检测、图像稳定和降噪。

编辑：黄飞