基于事件相机的统一帧插值与自适应去模糊框架（REFID）

 

01

 

研究成果概述

在光照不足的环境下实现动态场景的清晰、高帧率视频是经典成像领域的难题。近日，浙江大学光电科学与工程学院汪凯巍、白剑教授团队联合苏黎世联邦理工等国外科研团队，为行业提供了基于事件相机（一种仿生传感器）的解决方案。团队提出了一种基于事件相机的统一帧插值与自适应去模糊框架（REFID）。该框架基于双向递归网络，结合事件流和图像信息，自适应地融合来自不同时间点的信息，从而能够在模糊的输入帧情况下同步实现高质量的插帧与模糊图像还原。此外，研究团队还发布了高分辨率事件-视频数据集 HighREV，为事件相机低级视觉任务提供了新的测试基准。

相关研究成果以“A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild”为题于发表于人工智能领域顶级期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 。

 

02

 

研究背景

发明历史超过60年的数字图像传感器，本质上是基于光子积分原理的：当我们打开快门时，每个像元上发生光电转换将光子转化为电子实现图像信息记录，每完成一轮累积就输出一幅图（帧）。然而，当在光线不足的环境中拍摄动态场景时，由于需要长时间打开快门累积足够的光子会带来“运动模糊”，同时也无法获得高帧率视频。

最近十年逐渐被行业关注的事件相机是一种类生物视觉传感器，它的输出不依赖光子累积，因而具有高时间分辨率（微秒级）和高动态范围（超过140dB）的优势，能够捕捉传统帧相机无法记录的快速运动信息。因此，将事件信息与传统图像传感器融合，指导每一帧图像去除运动模糊，同时通过帧与帧之间的事件信息进行插值，有望同步实现暗光下的高帧率和清晰成像。

03

 

研究亮点

1

 

提出统一的事件相机帧插值与去模糊框架（REFID），能够同时对锐利的视频和模糊的视频进行插帧。如图1所示

• 采用双向递归网络（bidirectional recurrent network），充分利用时间维度信息，在插值过程中自适应去模糊。

• 设计了事件引导的自适应通道注意力模块（EGACA），动态调整事件流与图像信息的融合权重，提升插值质量。

图1. 统一的事件相机帧插值与去模糊框架, 同时实现对锐利的视频和模糊的视频进行还原和插帧

2

 

引入自监督学习策略，提高模型泛化能力：

• 通过事件生成模型和运动补偿机制，构建自监督损失，提高模型在无监督环境下的适应性。

• 在真实数据集（HighREV）上进行自监督微调，实现从合成数据到真实数据的无缝迁移。引入自监督学习策略，提高模型泛化能力：

• 通过事件生成模型和运动补偿机制，构建自监督损失，提高模型在无监督环境下的适应性。

• 在真实数据集（HighREV）上进行自监督微调，实现从合成数据到真实数据的无缝迁移。

图2:自监督训练/微调框架

3

 

构建高分辨率事件-颜色视频数据集（HighREV）：

• 采用1632×1224分辨率的事件相机采集数据，涵盖室内外场景，提供高质量事件流与RGB视频对齐数据。

• 该数据集填补了现有事件相机数据集中高分辨率和彩色数据的空缺，为事件相机的低级视觉任务提供新的测试基准。

 

实验验证：

• 在标准基准数据集（GoPro、HighREV）上，REFID在清晰帧插值、模糊帧插值、单帧去模糊任务上均超越了当前最先进的方法。

• 在自监督微调场景下，REFID在真实世界数据集上的性能显著提升，证明了其鲁棒性和泛化能力。

 

图3: 模糊视频插帧和锐利视频插帧结果（经过了慢放处理）。左侧视频展示暗光下的原始视频，可以看到运动带来的模糊和由于低帧率带来的不连续；中间视频为对标算法的效果；右侧视频为本文提出的新方法的效果，实现了高帧率清晰成像

 

04

 

总结与展望

人工智能在应用端的落地需要为智能终端提供稳定可靠的视觉信息，事件相机作为一种仿生传感器可以提供高时间分辨率的视觉信息，有望补充传统传感器在面对复杂场景下的不足。本研究提出的算法框架结合了两者的优势，突破了传统算法在运动模糊场景下的局限，首次在同一框架内同时实现高帧率清晰成像。该方法有望在瞬态信息捕捉、慢动作视频生成、视频编辑、增强现实（AR）、智能驾驶等领域发挥重要作用。