远程监控汇报系统(RMDS)适用于飞行员学员的首次单独飞行。它使教练机能够实时监控飞行,并在以后回放飞行以提供详细的反馈和说明。
飞行员实习生执行他或她的第一次单人飞行可能会犯错误,可能导致严重事故。一个简单的解决方案是在驾驶舱内放置一个摄像机,并将实时视频传输到从地面监控飞行的教练机。但是,以每秒 15 帧的速度传输数字视频需要 160 Mbps 的带宽。这种渠道的成本非常昂贵。问题是如何避免传输视频并仍然监控飞行中飞机的状态。解决方案是对输入视频进行图像处理并将数值结果传输到地面。传输数值结果只需要每秒 9,600 位的带宽,可通过射频无线电调制解调器轻松、经济地传输。
该飞机配备了连接到驾驶舱视频处理器的摄像头、无线电调制解调器和 GPS。驾驶舱视频处理器执行图像处理以分析仪表的状态。图像处理的数值结果和GPS数据通过无线电调制解调器发送到地面站(GS),地面站将面板和3D地图的视图尽可能恢复到飞机上看到的真实视图。GS的平台基于FSX-Microsoft飞行模拟器。
为了实现尽可能接近真实视频的地面,我们需要在每个摄像头上以每秒 15 帧的速度执行图像处理。
系统分析
在项目的系统分析阶段,计算机要求是:
CPU 负载为 30%
内存和总线的带宽为 40%
估计这些资源使用情况的假设是:
图像处理是在一组感兴趣区域 (ROI) 上执行的
每个 ROI 为 100 x 100 像素 = 104 像素
有 20 个投资回报率
每秒 15 帧
内存访问为 10 ns,这与访问缓存失败有关。
比内存快的 CPU 在访问内存时都会延迟内存。
因此,要估计 CPU 负载,我们必须计算算法中的内存访问次数。由于算法不按顺序访问内存,因此我们采用更大的内存访问时间值。表 1 显示了远高于预期的 CPU 负载:超过 54%,而对应于典型要求的 30% 的值。表 2 显示了所需的内存带宽。略高于40%。
表1
表2
在下一节中,我们将介绍为项目选择计算平台的其他注意事项。
选择平台
与此类项目相关的软件开发是关键路径;因此,要求找到一个带有两个处理器的现成评估板,并开始软件开发,而无需等待硬件开发。2004年底,我们选择了ADI公司的BF561双核作为我们项目的平台。通过选择 BF561(见图 3),我们消除了 CPU 时间的瓶颈。
图3
内存带宽受以下各项支持:
用于指令的单独缓存
单独的数据缓存
用于捕获流入和传出的流视频的快速 DMA.1(此外,BF561 还具有标准 I/O 资源,如 RS-232、SPI 和并行 I/O)
ADI公司的评估板ADSP-BF561 EZ-KIT Lite2使我们能够立即开始软件开发。未包含在评估板上的I/O是通过向后连接器连接到评估板的扩展板上实现的。
与BF561相关的软件工具允许一台PC作为控制两个DSP的开发平台(见图4)。当然,当开发系统由一台PC控制时,多处理器的软件开发过程会变得更加简单。此外,实时图像处理应用程序的软件开发意味着支持集成开发环境(IDE)的实用程序。必须将输入图像显示为由DSP中的视频解码器采样的图像。图5显示了视频解码器捕获并存储在DSP存储器中的图像。图像由图像查看器显示,该查看器是 IDE 的一部分。此功能有助于集成逐行扫描摄像机。逐行视频在振动环境中的图像处理应用中至关重要。摄像机产生的电视标准是 525 行和 858 列。相机生成的图像大小为每帧 640 x 492 像素。图像查看器有助于找到输入视频的实际大小,即 525 x 858。
图4
软件设计可提高性能
两个内核通过共享内存进行交互。共享内存是由外部端口闪存/SDRAM控制的外部DRAM(再次参见图3)。两个核心的利用率取决于项目的功能分解。在计算任务可以分解为独立子任务的理想情况下,处理器得到充分利用。另一方面,如果功能分解产生相互依赖的子任务,则在同步处理器以访问共享内存中的数据时会花费大量时间。设计目标是最大程度地减少这些相互依赖关系;因此,处理器变得松散耦合。
图 5 显示了我们系统的功能分解。每个 DSP 都有自己的高速缓存指令和高速缓存数据。一个 DSP 对来自摄像机的视频进行采样并仅执行图像处理,而第二个 DSP 连接外部世界:
图5
通过射频调制解调器到 GS
前往全球定位系统
前往相机的对比度控制
执行图像处理的DSP通过共享存储器处理第二个DSP,并提供数值结果和对比度值。第二个DSP不承认接受这些数据,从而降低了我们的同步成本。
将任务分配给两个 DSP 的这种功能保证了它们是松散耦合的;因此,它们的计算能力最大化。
视频处理
流模拟视频由视频解码器捕获,解码器将其转换为数字视频,并通过其中一个DMA通道将转换后的视频传输到外部存储器。帧完成时:
当收到新帧并将其存储在内存中时,DSP 会生成中断。
DMA 会自动切换,以便在新的内存缓冲区中获取额外的帧,而不会受到 DSP 的干扰。
DSP 同时处理帧,而新帧由视频解码器捕获。为了提高性能,与ROI相关的部分图像从DSP的外部存储器传输到其内部存储器。
为了启用实时调试,我们在监视器电视上生成带有视频标记的图像,显示处理的最后一帧。但是,我们的输入视频是逐行扫描类型,而监视器电视支持隔行扫描视频。
图 6 列出了两种视频类型的线路信息。逐行扫描视频帧由从第 0 行开始,到第 524 行结束的 525 行的连续序列组成。隔行扫描视频由两个子帧组成:一个子帧是从第 0 行开始到第 524 行结束的所有偶数行的序列;另一个子帧是从第 1 行开始到第 523 行结束的所有奇数行的序列。我们再次使用BF561中的快速DMA将逐行扫描视频转换为隔行扫描视频。此外,我们还添加了特殊标记,以在视频中显示结果以进行调试和录制以进行调试。
音频处理
为了使受训者和培训师之间能够在正常的航空电子通信渠道之外进行通信,我们增加了通过无线电调制解调器进行语音处理的功能。无线电调制解调器以每秒 9,600 位的波特率工作。语音的带宽为每秒 3,200 比特,而全球波特率为 9,600。解决方案是在与外部世界接口的DSP中执行压缩和解压缩。培训师有一个麦克风和一个连接到 GS 的耳机。GS压缩训练器的声音,并通过射频调制解调器将其发送到BF561;BF561解压缩并激活音频解码器,该解码器连接到学员的耳机。受训者可以通过他或她的麦克风与培训师交谈,BF561 压缩他或她的声音并通过射频调制解调器将其发送到 GS。在GS中,执行语音恢复并将其路由到教练的耳机。航空电子系统中的惯例是半双工通信。语音处理涉及与音频代码、串行端口 (SPORT) 和 DMA 进行交互。音频编解码器的数字接口是 SPORT。DMA 支持音频流。
审核编辑:郭婷
全部0条评论
快来发表一下你的评论吧 !