​HSP：产生条纹的三维相机

图案装饰有一个静态模型，用于测试莱斯大学的高光谱条纹投影仪，该投影仪结合了光谱学和3D成像。类似条形码的黑白图案显示在DMD上以生成高光谱条纹。图片来源：凯利实验室/莱斯大学

条纹是本季节在莱斯大学实验室中流行的，研究人员在其中使用条纹来制作普通相机无法捕获的图像。

他们的紧凑型高光谱条纹投影仪（HSP）向着一种新方法迈出了一步，该方法可以收集自动驾驶汽车，机器视觉，作物监测，表面磨损和腐蚀检测以及其他应用所需的空间和光谱信息。

“我可以设想将这种技术掌握在农民手中或无人机上，以观察田地，不仅看到植物的养分和水分，而且由于带有三维信息，还可以看到农作物的高度”， 莱斯布朗工程学院电气与计算机工程副教授凯文·凯利说。“或者也许它可以看一幅画，详细地看到表面的颜色和纹理，但是在画布的下面也可以看到近红外。”

Kelly的实验室可以使用结合了HSP，单色传感器阵列和复杂编程的系统，实现3D光谱的实时分析，从而为用户提供物体形状和成分的更完整图片。

凯利说：“我们正在从图像中实时获取四维信息，包括三个空间和一个光谱。” “其他人使用多个调制器，因此需要明亮的光源才能完成此任务，但是我们发现我们可以使用正常亮度的光源和一些灵敏的光学器件来做到这一点。”

莱斯大学基于高光谱条纹投影仪的成像系统重建的物体的3D点云。单色相机还捕获每个点的光谱数据，不仅提供目标的形式，还提供其材料成分。图片来源：凯利实验室/莱斯大学

凯利（Kelly），第一作者，莱斯大学的校友许一波（Yibo Xu）和研究生安东尼·吉尔朱姆（Anthony Giljum）的工作在《光学快报》上的开放获取论文中有详细介绍。

HSP从已经掌握在消费者手中的便携式三维成像技术（例如智能手机中的人脸ID系统和游戏系统中的人体跟踪器）中获取线索，并增加了一种从捕获的每个像素中提取广谱数据的方法。压缩后的数据被重新构造成具有光谱信息的三维图，该光谱信息可以包含数百种颜色，并且不仅可以用于显示对象的形状，还可以用于显示对象的材料成分。

“常规的RGB（红色，绿色，蓝色）摄像机基本上只能提供三个光谱通道，” Xu说。“但是，高光谱相机可以在许多通道中为我们提供光谱。我们可以在700纳米左右捕获红光和在400纳米左右捕获蓝光，但是我们的带宽也可以达到几纳米或更短。这可以为我们提供出色的光谱分辨率和对场景有更全面的了解。

于2019年在莱斯大学获得博士学位的徐说：“ HSP以非常简单和有效的方式同时对深度和高光谱测量进行编码，从而允许使用单色相机代替类似系统中通常使用的昂贵的高光谱相机。”她现在为三星研究美国公司的机器学习和计算机视觉研究工程师。她在凯利实验室的论文中开发了硬件和重建软件。

HSP使用现成的数字微镜设备（DMD）将图案化的条纹投射到表面上，这些条纹看起来像彩色条形码。通过衍射光栅发送白光投影，将重叠的图案分离为彩色。

目标及其点云图像显示了莱斯大学的高光谱条纹投影仪的一项功能，该投影仪获取每个点的3D数据和光谱数据，不仅可以提供目标的形式，还可以提供其材料成分。图片来源：凯利实验室/莱斯大学

每种颜色都将反射回单色相机，其再将数字灰度级分配给该像素。

每个像素可以有多个级别，每个级别代表它所反射的颜色条纹。这些被重新组合成该部分物体的整体光谱值。

“我们在HSP中使用单个DMD和单个光栅，” Xu说。“新颖的光学设计将光路折回到相同的衍射光栅和透镜上，这使其真正紧凑。单一的DMD使我们能够保留所需的光，而将其余的光扔掉。”

这些经过微调的光谱可能会超出可见光范围。它们通过多路复用的细带光谱反射回传感器的内容可用于识别材料的化学成分。

与此同时，图案的变形被重建成三维点云，本质上是目标的图像，但比普通快照能提供更多的数据。

Kelly设想将HSP内置在汽车前灯中，该HSP可以看到物体与人之间的差异。他说：“永远不要混淆绿色连衣裙和绿色植物，因为一切都有自己的光谱特征。”

凯利（Kelly）认为，实验室最终将结合莱斯（Rice）开创性的单像素相机的想法，进一步减小设备的尺寸，并将其也用于压缩视频捕获。

责任编辑：xj

原文标题：产生条纹的三维相机

文章出处：【微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。