图像设计趋势：使用图像仿真设计相机

摄像头在日常生活中无处不在，从医疗诊断到汽车、智能手机和视频监控。因此，今天的数据中有一半是图像和视频，其中大部分是在便携式系统的边缘生成的。与云相比，边缘带来了许多挑战：紧凑性、低功耗和延迟。如何在 2 小时内不耗尽电池的情况下从智能手机中获得出色的图像？自动驾驶系统如何在不需要大量云数据处理能力的情况下同时分析来自近十个摄像头的图像？实现下一代边缘和无处不在的相机将需要更新的工具箱。

在之前的一篇博客文章中，我回顾了数字孪生如何成为一项关键的使能技术，不仅适用于飞机或复杂的发电厂，也适用于成像系统。数字孪生将通过仿真促进优化的产品生命周期，实现更好的规格（避免超规格）、过程控制预测和早期软件开发。数字孪生还将促进定制的成像系统，例如并不总是开启的高效视频监控摄像头。

开发相机的团队提到的痛点包括规格变化、设计和制造之间的差异以及与多个组件的设计和组装相关的复杂性。在这篇博文中，我将回顾数字孪生如何通过图像仿真实现更好、更简化的成像系统规范和虚拟测试。

相机是一个复杂的系统

成像系统是一个多尺度、多物理场模型，具有多个相互依赖的组件。镜头组从场景中捕获光子;CMOS图像传感器将这些光子转换为电子;图像信号处理器芯片将原始电子信号转换为可读、彩色和去噪的数字图像;数字信号处理器计算数字图像以获取信息;I/O芯片将成像系统与一些外部组件连接。

最后，成像系统必须提供良好的图像。但是我们这是什么意思呢？大多数时候，好的图像仍然是指用数码单反相机拍摄的摄影质量图像。但是，如果将此标准应用于土壤监测、医疗诊断或自动驾驶的图像，则可能导致预期结果的过度规格或错误规格。

让我们看看成像系统架构师和团队如何使用 Synopsys 光学解决方案产品组合的图像仿真功能来渲染和优化成像系统中所需的图像。

工作流程和结果

如以下简化示例所述，使用 CODE V、LightTools 和 RSoft 光子器件工具模拟图像已经成为可能。该示例的特点是嵌入四镜头组的成像系统以及具有1.12微米RGB像素和微透镜阵列的CMOS传感器。

具有四镜头组和CMOS传感器的成像系统示例

1. 使用CODE V模拟来自镜头的图像设置光学属性

第一步是设计镜头组并生成相应的PSF。我们使用代码 V 中的图像模拟 （IMS） 功能来模拟图像。任何 2D 图像都可以导入到工具中。然后，定义要根据对象计算的 PSF 网格和 FFT 网格大小。您可以添加颜色、相对照明参数和图像传感器属性，例如像素大小和像素数。IMS将使用CODE V定义和计算的光学参数计算输入图像的卷积，并将输出结果图像。

然后可以在模拟图像上评估图像质量。镜头组的进一步优化可以为目标应用提供所需的图像质量。

2. 使用LightTools和RSoft光子器件工具模拟寄生光

大多数成像系统必须进一步优化，以避免寄生光并影响所需的图像质量。鬼影和耀斑是成像系统的典型寄生效应。您可以在我们简化的成像系统中使用 RSoft 光子器件工具和 LightTools 来预测鬼影和耀斑。由于传感器衍射和反射特性，我们希望预测系统中的寄生光。CMOS图像传感器通常是微米级像素的集合，可产生强烈的衍射图案。我们必须使用RSoft光子器件工具来获得该表面的光学特性。更具体地说，DiffractMOD RCWA是严格计算横向周期器件衍射特性的有效工具。它将输出每个衍射阶数的反射/透射功率、总反射/透射率、每个衍射阶数的振幅/相位/角度以及仿真域中的场分布。所有结果都存储在一个BSDF文件中，该文件可以导出到LightTools进行进一步的模拟。第三步是从 CODE V 导入镜头集几何形状，添加传感器属性，从 RSoft 导入 BSDF 文件，添加光源（下图中的太阳光源），并使用 LightTools 中的光线路径工具运行蒙特卡罗模拟以分析寄生光的所有可能路径。模拟结果将类似于右侧显示的图像。

左侧：LightTools 相机型号;在右侧，传感器上看到的寄生光图。

3. 使用 COM API 将模拟图像与寄生光贴图组合 最后一步是使用 COM API

将来自 CODE V 的模拟图像与使用 LightTools 和 RSoft 计算的寄生光组合在一起。伽马和能量比可以在此卷积中进行调整。

使用模拟图像上的图像质量指标评估图像可以进一步优化系统，以实现适合目标应用的规格。通过 CODE V、LightTools 和 RSoft 光子器件工具对仿真图像进行虚拟测试是一种强大的工作流程，可避免过度指定成像系统，并通过仿真预测组装和测试阶段来节省时间。

审核编辑：郭婷