英特尔RealSense D457深度相机：硬件设计与应用解析

在当今科技飞速发展的时代，深度相机在诸多领域展现出了巨大的应用潜力，如自动驾驶、机器人导航、3D建模等。英特尔RealSense D457深度相机凭借其卓越的性能和丰富的功能，成为了众多开发者和工程师的首选。本文将深入剖析英特尔RealSense D457深度相机的硬件设计、功能特性以及系统集成要点，为电子工程师们提供全面的参考。

文件下载：82635DSD457.pdf

一、产品概述

英特尔RealSense D457深度相机是一款IP65防护等级的GMSL 2/FAKRA相机，由D450光学模块和新开发的GMSL 2/FAKRA Vision Processor D4（V5）板组成。它适用于多种应用场景，包括自主移动机器人（AMR）、自动导引车（AGV）、无人机以及碰撞避免系统等。

产品特点

1. 高分辨率成像：具备高达1280x720的立体深度分辨率和1280x800的RGB分辨率，能够提供清晰、准确的图像数据。
2. 宽广的视野：对角线视野超过90°，为应用提供更广阔的场景覆盖范围。
3. 高速帧率：双全局快门传感器支持高达90 FPS的深度流，RGB全局快门传感器支持高达60 FPS，满足实时应用的需求。
4. 长距离测量：测量范围从0.4m到超过10m（受光照条件影响），可适应不同距离的测量需求。
5. 惯性测量单元（IMU）：集成IMU，提供6自由度（6DoF）数据，增强了相机的姿态感知能力。
6. 接口丰富：采用GMSL/FAKRA接口，同时支持USB 2.0/USB 3.1 Gen 1接口，方便与不同设备进行连接。
7. 防护等级高：IP65防护等级，具备防尘和防水能力，适用于各种恶劣环境。

二、组件规格

1. 视觉处理器D4相机系统组件

组件	描述
主机处理器	接收来自视觉处理器D4的深度和其他数据流
视觉处理器D4（DS5 ASIC）	深度成像处理器，通过USB 2.0/USB 3.1 Gen 1或MIPI接口与主机处理器连接
时钟	24MHz时钟源，为视觉处理器D4提供时钟信号
串行闪存存储器	SPI 16Mb串行闪存，用于存储固件
立体深度模块	包含左右成像器、彩色传感器和红外投影仪的相机模块
电源供应	主板/视觉处理器D4板上的电路，用于为视觉处理器D4和立体深度模块提供和管理电源
立体深度连接器和插入器	主板/视觉处理器D4板和立体深度模块上的50针连接器和插入器，用于连接

2. 主机处理器

主机处理器与视觉处理器D4的接口为FAKRA/GMSL，同时支持USB 2.0/USB 3.1用于调试目的。

3. 英特尔RealSense视觉处理器D4

视觉处理器D4的主要功能是进行深度立体视觉处理。它通过USB2.0/USB 3.1 Gen 1或MIPI与主机处理器通信，并从立体深度模块接收传感器数据。此外，它支持MIPI CSI - 2通道，用于连接图像传感器。

4. 时钟

视觉处理器D4需要一个24 MHz的时钟振荡器，立体深度模块所需的所有时钟均由视觉处理器D4生成。

5. 串行（SPI）闪存存储器

视觉处理器D4需要16Mbit的串行闪存存储器来存储其固件，推荐使用IS25WP016（www.issi.com）或等效产品。

6. 立体深度模块

D457相机采用英特尔RealSense深度模块D450，该模块也用于D455相机。

7. 英特尔RealSense视觉处理器D4板V5

视觉处理器D4板V5为系统集成商提供了一种简单快捷的方式，将视觉处理器D4集成到系统中。它具有以下特点：

• USB外设Type - C：通过USB Type - C连接器和电缆连接到主机USB 3.1 Gen 1端口，仅用于调试和生产线目的。
• FAKRA：连接到主机FAKRA连接器。
• 其他组件：包括视觉处理器D4、16Mb串行闪存、24MHz晶体、Realtek ISP、深度模块插座、USB Type - C、GMSL串行器和FAKRA连接器、外部传感器同步连接器、电压调节器和安装孔等。

8. 英特尔RealSense深度相机D457

属性	值
深度模块	英特尔RealSense深度模块D450
基线	95mm
左右成像器类型	宽视角
深度FOV HD（16:9）（度）	H:87 / V:58 / D:95
深度FOV VGA（4:3）（度）	H:75 / V:62 / D:89
红外投影仪	宽视角
红外投影仪FOV	H:90 / V:63 / D:99
彩色传感器	OV9782
彩色相机FOV	H:90 / V:65 / D:98
IMU	6DoF

三、功能规格

1. 供应商识别（VID）和设备识别（DID）

深度模块/深度相机	供应商ID	设备ID
英特尔RealSense深度模块D450	8086	0x0B5C
英特尔RealSense深度相机D457	8086	0x0B5C

2. 视觉处理器D4数据流

视觉处理器D4深度成像系统通过立体视觉技术（可选地由红外投影仪辅助）为主机系统提供高质量的深度数据。该成像系统能够与彩色流同步。支持多种图像格式和帧率，如Z [16 bits]、Y8 [8 bits]、YUV422 [16 bits]等。

3. 深度视野（FOV）

深度视野是左右成像器视野的共同重叠区域，Vision Processor D4在此区域提供深度数据。FOV会根据分辨率和宽高比而变化，HD为16:9，VGA为4:3。

4. 特定距离处的深度视野

特定距离（Z）处的深度视野可以通过以下公式计算： [Depth FOV =frac{H F O V}{2}+tan ^{-1}left{tan left(frac{H F O V}{2}right)-B / Zright}] 其中，Depth FOV为深度视野，HFOV为深度模块上左成像器的水平视野，B为基线，Z为场景与深度模块的距离。

5. 无效深度带

由于立体视觉使用左成像器作为立体匹配的参考，在左右成像器视野的非重叠区域（帧的左边缘）会出现没有深度数据的情况，即无效深度带。其宽度可以通过以下公式计算： 在水平FOV方面： [DBR (Ratio of Invalid Depth Band to Total Horizontal Image) =B /left(2 Z tan left(frac{H F O V}{2}right)right)] [Invalid Depth Band (in Pixels) =H R E S D B R] 在焦距方面： [DBR (Ratio of Invalid Depth Band to Total Horizontal Image) =BF/(ZHRES)] [Invalid Depth Band (in Pixels) =B F / Z] 其中，B为基线，Z为场景与深度模块的距离，F为焦距，HFOV为深度模块上左成像器的水平视野，HRES为水平分辨率。

6. 最小Z深度

最小Z深度是深度相机到场景的最小距离，在此距离内Vision Processor D4提供深度数据。不同分辨率下的最小Z深度如下：	分辨率	D450最小Z深度（mm）
1280x720	520
848X480	350
640x480	320
640x360	260
480x270	200
424x240	180

7. 深度质量规格

深度质量通过一组基于准确性、数据有效性和时间稳定性的标准指标来量化。测量在深度FOV的80%范围内进行，该范围定义为感兴趣区域（ROI）。具体指标包括深度准确性、填充率、深度标准偏差和像素时间噪声等。

8. 深度起点（零参考点）

深度起点或零参考点是指深度为0的起始点或平面。对于深度相机D457，该点从相机前盖玻璃开始参考。

9. 深度原点X - Y坐标

深度原点X - Y坐标是左成像器的X - Y中心。

10. 深度相机功能

D4相机提供以下深度图像设置：手动曝光、手动增益、激光功率、自动曝光模式、自动曝光ROI、预设和元数据控制等。

11. 彩色相机功能

彩色相机提供一系列控制选项，如自动曝光模式、自动曝光ROI、手动曝光时间、亮度、对比度、增益、色相、饱和度、锐度、伽马、白平衡温度控制、自动白平衡（AWB）、电源频率和背光补偿等。

12. IMU规格

IMU采用BMI085，提供6自由度数据，加速度范围为±4g，加速度计采样率为100、200 Hz，陀螺仪范围为±1000 deg/s，陀螺仪采样率为200、400 Hz，采样时间戳精度为50 usec。

四、固件与软件

1. 固件

固件包含操作指令，运行时，视觉处理器D4加载固件并对组件寄存器进行编程。固件可以通过USB（USB调试模式）或I2C（MIPI/GMSL模式）进行更新。更新时，固件实用程序会向视觉处理器D4发出设备固件更新命令，处理器将重置为固件更新模式。同时，固件更新有一定限制，更新引擎不允许在旧版本和当前版本之间进行无限次更新，会建立一个基于最新安装固件版本的基线版本，允许最多20次返回先前版本或基线版本的更新，20次更新后，仅允许更新到高于基线版本的固件修订版。

2. 软件

英特尔RealSense SDK 2.0是一个跨平台的库，用于处理英特尔RealSense D400系列相机。它是开源的，可从https://github.com/IntelRealSense/librealsense获取。SDK至少包括以下应用程序：

• 英特尔RealSense Viewer：用于查看、记录和回放深度流，设置相机配置和其他控制。
• 深度质量工具：用于测试深度质量，包括距离平面准确性、Z准确性、Z准确性的标准偏差和填充率等。
• 调试工具：命令行工具，用于收集数据和生成日志，辅助相机调试。
• 代码示例：演示如何将D400系列相机代码片段集成到应用程序中。

五、系统集成

1. 系统级框图

系统级框图展示了相机系统的整体架构，包括主机处理器、视觉处理器D4、立体深度模块等组件之间的连接关系。

2. 视觉处理器D4系统集成

系统集成商可以直接使用D457相机，也可以构建定制的外壳，并将D4 ASIC卡和光学模块安装在外壳内。视觉处理器D4板通过标准USB Type - C连接器和适当的USB Type - C电缆连接到标准USB 2.0/USB 3.1 Gen 1外部端口，该USB端口仅用于调试。另外，也可以将视觉处理器D4和支持组件直接放置在主机处理器主板上，通过主板上的深度模块插座连接到立体深度模块。

3. D4相机系统电源供应

D4相机系统必须确保立体深度模块和视觉处理器D4在同一电源轨上，以防止恶意软件对立体深度模块的重置而不影响ASIC的正常运行。

4. 热管理

系统热设计必须确保组件的外壳温度不超过限制。提供了视觉处理器D4板和深度模块的热模型，用于进行热评估和验证系统热设计。在最大功率运行模式下，给出了各组件的功率和热设计功耗（TDP），如视觉处理器D4板V5的总功率为1565 mW，立体深度模块（D450）的总功率为2155 mW，立体深度相机（D457）的总功率为3720 mW。

5. 立体深度模块的安装和保护

• 避免弯曲：立体深度模块在系统集成和使用过程中应避免弯曲，因为微米级的弯曲可能导致校准不正确，影响深度数据的性能。系统设计者应将模块与系统可能遇到的底盘弯曲隔离开来。
• 安装方式：对于D450 SKU，立体深度模块可通过M2x4mm（Torx）螺丝和螺丝叉安装在大型散热器或散热结构元件上，推荐扭矩为1.6Kgf*cm，并在红外投影仪和两个立体成像器的背面区域使用热界面材料进行热传递。
• 空气间隙：建议在立体深度模块上的最高组件与覆盖窗口之间保持至少0.3mm的空气间隙。
• 热界面材料：推荐在立体深度模块和散热结构（散热器）之间插入导热膏，其导热系数在3 - 4W/mK范围内，应在红外投影仪背面和左右成像器下方均匀涂抹。
• 散热器：用于安装立体深度模块和ASIC板的散热器或散热结构元件的厚度至少为2 - 3mm，建议延伸超出立体深度模块的边缘，并在散热结构的背面设置散热鳍片。在对重量有要求的应用中，可在散热器背面粘贴高导热石墨胶带。
• 覆盖设计和材料：立体深度模块组件应进行覆盖，以减少灰尘和湿度的影响。覆盖材料应具有良好的透射率，可使用抗反射涂层来提高透射率。不同组件对覆盖材料的透射率有不同要求，如左右成像器在400 - 700nm（可见光和红外光）以及840 - 860nm波长范围内的透射率应达到95%以上，红外投影仪在850nm ± 15nm波长范围内的透射率应达到98%以上。
• 垫圈：垫圈可用于提供光学隔离和防尘保护，但可能会影响视野并对模块或单个传感器镜头支架施加不必要的压力。因此，应选择合适的垫圈材料和厚度，以避免对相机造成损害。

6. 固件恢复

为支持固件恢复，需要将一个1.8V可控中断连接到视觉处理器D4的DFU（设备固件更新）引脚。当固件损坏时，需要将D4重置并将DFU引脚驱动为高电平160ms，确保DFU引脚在D4退出重置后保持高电平，以使D4进入DFU模式。

7. 校准支持

需要一个可访问的USB端口来连接主机系统，以便可靠地将图像流传输到外部PC，确定校准参数，并通过主机系统写回相机校准参数。该USB端口在制造过程中需要可配置为访问主机的模式，但在产品发货或最终用户使用时可能不可用。

8. 多相机硬件同步

英特尔RealSense D400系列支持多相机配置的硬件同步信号，多个相机可以硬件同步，以相同的时间和帧率进行捕获。对于多个D457相机，它们都可以工作在从模式，外部触发信号通过GMSL电缆从主机端施加到相机。深度相机和RGB相机可以在相同或不同的支持帧率下触发。

9. 处理条件

在D4系统组装和返工过程中，建议遵循JEDEC JESD625 - A要求标准，以提供一致的静电放电（ESD）保护水平。

六、法规合规性

1. 系统激光合规性

英特尔RealSense深度相机和深度模块与英特尔RealSense视觉处理器D4板集成后，认证可转移到系统，无需进行系统重新认证。但最终产品的用户手册中必须包含相关的认证声明、解释标签、警示声明和美国FDA准入编号等信息。

2. 法规合规性

产品需符合多个国家和地区的法规要求，如欧盟、美国、加拿大、英国、澳大利亚、日本、韩国等。同时，D457相机经过测试，符合IP65防护等级，即防尘和防水要求。

3. 生态合规性

有关材料声明数据表（MDDS）的信息，请参考https://www.intelrealsense.com/regulatory - information/。此外，产品还需符合中国RoHS声明和欧盟废弃电气电子设备（WEEE）指令等要求。

七、总结

英特尔RealSense D457深度相机以其卓越的性能、丰富的功能和良好的兼容性，为电子工程师在多个领域的应用开发提供了强大的支持。在设计和集成过程中，工程师需要充分考虑硬件组件的规格、功能特性、热管理、固件和软件的使用以及法规合规性等方面，以确保系统的稳定运行和性能优化。希望本文能为电子