一文看懂富瀚微 FH8626V300 平台图像处理流程 | 技术集结

富瀚微电子是国内视频图像处理、显示驱动及AI芯片设计领域的重要厂商，其产品在智能安防、汽车电子、消费电子等场景中广泛部署。RT-Thread与富瀚微深度合作，围绕三款核心芯片提供成熟的软硬协同方案：FH8626V300（低功耗AOV 2.0+新⼀代ISP）、MC632X（快速启动+双路显示）、MC3302（双屏异显+超低功耗）。本篇文章将介绍富瀚微图像数据的处理流程。

申请试用开发板点击报名申请试用

零、

 

效果展示

 

01

智慧视觉人形检测

 

02

高性能双屏异显

 

一、

 

图像处理基础知识

 

01

图像处理依赖的硬件设备

 

02

SOC图像处理的整体流程

03

镜头主要参数

04

镜头光圈和进光量的关系

光圈越小，景深越大

05

镜头的分辨率

06

摄像机的SENSOR

主要参数

07

SENSOR的基本结构

08

SENSOR的曝光模式

二、

 

ISP

 

01

ISP概述

ISP，Image Signal Processing，主要用于对 sensor 的输入图像进行处理，使最终处理输出的图像达到主观及客观的要求。

02

ISP 框图

各模块简介：

Color Bar：用于出彩条测试图像。

LUT12: 用于线性矫正映射。

Crop：用于幅面裁剪。

BLC0/1：用于黑电平校正。

HMIR: 用于图像镜像功能。

DPC：用于校正 sensor 的坏点。

GB：用于平衡两个G 通道的数据。

LSC：用于校正镜头引起的四周阴影。

GAIN0/1：增益设置。

NR3D：用于时域降噪模块。

NR2D：用于空域降噪模块。

WB：用于白平衡校正。

CFA：用于將raw 图内插成RGB 图像。

PURPLE：用于紫边消除。

HLR：用于高光颜色的恢复，防止高亮偏粉。

DRC：用于动态范围压缩。

CCM：用于色彩校正。

HSV：局部色相和饱和度调整。

Y/C GAMMA：用于对图像做非线性映射，可在 RGB 域或YC 域生效。

RGB2YC：用于將图像从RGB 域转至YUV 域。

LCE：用于对图像进行局部对比度增强。

YNR：用于亮度降噪（带 Coef 联动）。

CNR：用于色度降噪（带 Coef 联动）。

APC：用于对图像进行锐化处理，提高清晰度（带 Coef 联动）。

CHROMA：用于对图像饱和度小于门限值的像素进行色度抑制。

YIE：用于对图像进行亮度、对比度的增强。

CIE：用于对图像色度进行增强。

LDC：用于镜头小角度畸变矫正。

03

调试工具及打开方式

富瀚调试工具：CoolView

SDK默认释放：FH8626V300_RT_V1.0.0_20250627/docs_tools/software/pc路径下

软件打开编译选项：

打开工具，配置IP，选择芯片，进行连接：

04

线性模式调试优化

线性模式，主要关注图像的亮度、色彩、对比度和通透性、清晰度和噪声等维度，各维度主要涉及模块如下：

亮度：主要是自动曝光（AE）模块，镜头校正（LSC）、DRC、Gamma 等模块会影响亮度;

色彩：自动白平衡（AWB）、CCM、饱和度增强和抑制（CE/HSV）、CNR、DRC的饱和度抑制等模块;

对比度和通透性：Gamma、DRC、LCE、YC（Contrast/Brightness）等模块;

清晰度和噪声控制：APC、CFA、NR3D、NR2D、YNR、CNR、DPC 等模块;线性模式下，图像调优步骤如下图所示：

1. Sensor 和镜头的标定

黑电平标定（BLC）：

详细操作步骤参见 CoolViewPro2 →《BLC 标定工具使用指南》，工具里会自动抓Dark Frame并计算各通道BL值，支持Gain联动LUT导出。

BLC标定工具使用指南.pdf

镜头暗角补偿 (LSC)：

镜头看到的世界（理想情况）：

镜头实际看到的世界（现实）：

中心亮度 = 100%

       边缘亮度 ≈ 50%~70%  ← 这就是暗角（Vignetting）

根据 CoolViewPro2 中《LSC 标定工具使用指南》的详细标定流程使用 lsc tool完成标定。

LSC标定工具使用指南.pdf

AWB 白点标定：

具体标定流程参考AWB调试文档章节。awb标定工具使用指南.pdf

CCM 标定：

详细标定流程可参见 CoolViewPro2 中《CCM 标定工具使用指南》。

CCM标定工具使用指南.pdf

2. AE 调优：

AE 功能是实现图像的自动曝光。软件通过硬件统计信息，获取当前图像的亮度，若与设定的目标亮度有差异，则通过调整曝光时间，模拟增益，数字增益等参数，将图像调整至目标亮度值。

3. DRC 调优：

DRC 模块的作用就是在保留宽动态图像范围细节的同时对图像动态范围进行压缩，主要通过DRC Curve、global_str 影响亮度，在这里只做一个基础调整。

更多调试细节详见SDK内附调试指南。

三、

 

VPU

 

01

VPU基础流程

分通道：输出多种幅面和格式

裁剪，缩放，旋转：对画面做剪裁

Osd：在原始图像上叠加文字或者logo

四、

 

编码

 

01

图像编码

经VPU输出的yuv数据，送入soc编码器，按编码类型可划分为：

H264

预处理：YUV数据（如YUV420P格式）输入，进行帧分割。

预测编码：帧内预测生成残差，帧间预测减少时间冗余。

变换与量化：残差经DCT变换，量化表调整高频系数，熵编码压缩数据。

NAL封装：生成NAL单元，适配RTP或MP4存储。

H265

结构优化：支持帧内预测模式。

增强压缩：多参考帧、运动矢量预测、更高效的熵编码，提升压缩率。

NAL/VCL分层：视频编码层（VCL）压缩数据，网络抽象层（NAL）封装为适配网络的NAL单元。

JPEG

颜色空间转换：RGB转YCbCr，色度子采样（如40）减少数据量。

分块DCT：子块经DCT变换，量化表抑制高频系数。

02

编码数据打包

RTP协议：

NAL单元封装为RTP包，添加时间戳（PTS/DTS）、序列号，通过UDP传输。

支持分片（如大I帧拆分为FU-A分片），适配MTU限制，结合RTCP实现拥塞控制和丢包重传。

PES打包：

用于MPEG-TS流，PES头部包含流ID（如0xE0视频流）、时间戳，支持广播级传输。

文件格式：

MP4：数据存入mdat box，元数据存入moov box，支持流式播放和随机访问。

TS流：多路PES包复用为TS包，适配DVB/IPTV传输。