世界上遍布着人眼看不见的视觉信息

2012年，计算机视觉科学家Antonio Torralba在西班牙海边度假时发现，在他所住的宾馆房间的墙上有着飘忽的影子，但却没找到影子的来源。最终，Torralba意识到，那面墙上斑驳的一块区域根本不是某物的影子，而是窗外庭院微弱的倒置过来的一小部分影像。窗户就像一个针孔摄像头，构成了最简单的相机结构，光线穿过其中，在另一端形成了倒置的图像。最终的图像在那片墙上很难辨认，但是这给了Torralba启发：世界上遍布着人眼看不见的视觉信息。

他说：“我们没有发现这些图像，但它们每时每刻都在我们身边。”

这次的经历给让他和同事Bill Freeman意识到这种“偶然的相机”无处不在，也许是窗户、转角、室内植物等其他能在环境中微妙地创造图像的物体。这些图像可能非常暗淡，有时用肉眼不易察觉。Freeman解释道：“我们想找到能让这些图像显现的方法。”

在两人的第一篇论文中，Freeman和Torralba证明了，改变房间墙上的光线，仅用iPhone拍摄出的图片，就能通过处理反应窗外风景变化。去年秋天，他们和同事发表文章称，可以通过靠近转角的地面照片，发现另一面正在移动的物体。今年夏天，他们证明可以通过拍摄一株室内植物的照片，对叶片的影子进行分析，对整个房间进行3D图像的重建。或者他们可以将叶子变成一个“视觉麦克风”，增强它们的振动，听清楚到底在说什么。

Torralba所居住的酒店房间，可依稀看到左二图中倒映的阴影

这种通过观察转角推断无法直接看到的信息，称为“非视线成像（non-line-of-sight imaging）”。2016年，受之前研究的影响，美国国防高级研究计划局（DARPA）发布了一项2700万美元的REVEAL项目，为美国多个初创实验室提供资金支持。从那之后，一些新技术和数学技巧让非视线成像变得更加强大实用。

除了可以用于军事和间谍行为，研究者还将这一技术用在自动驾驶汽车、机器人视觉、医疗影像、航空航天、太空探索、搜救任务等领域中。

Torralba说他们最初开始研究时并没有什么特殊的目的，他们只是想探索图像的基本形式和照相机的成像，由此引出了对光线是如何在环境中起到作用的调查研究。他们从一种从未有过的角度观察事情，心理学的研究表明：“人类很不擅长解读阴影。也许其中一个原因是我们看到的并不是真正的阴影。最终，眼睛会放弃分辨它们到底是什么。”

偶然生成的照相机

通常，光线会将我们视线之外的景观打到墙面或其他物体表面上，再折射到我们的眼睛中。但是为什么这些影子都不太清楚呢？这是因为光线有很多不同的方向。

想要成像，对光线有着严格的要求，必须其中的一束要被人看到。这就是针孔摄像机的作用。Torralba和Freeman在2012年的发现中就提到，我们的生活环境中有很多会自然阻挡光线的物体或特征，由此形成的微弱图像能被计算机检测到。

针孔摄像机的光圈越小，最终的成像就越清晰，因为被拍摄物体上中的每个点只有一束光在正确的方向上才能穿过摄像机的光圈，Torralba酒店中的那扇窗户太大了，无法生成清晰的图像。并且，他和Freeman知道，在一般情况下，偶然生成的针孔摄像机非常少见。但是他们发现，“反针孔摄像机（pinspeck）”能够包含任意小的、被光线阻挡的物体，能在任意地方形成图像。

Bill Freeman

Antonio Torralba

假设现在你想透过窗户缝拍摄房间内的墙壁照片。突然有人的胳膊挡住了视线，你看不到前方的物体。通过比较有遮挡和无遮挡时墙壁上光线的强度可以揭示该场景的信息。第一帧中打到墙上的光在下一帧上被胳膊阻挡。Freeman说：“你可以还原被手臂遮挡的物体，如果你能看到挡住光线的物体，以及光线的来源，那么就能让针孔成像更完整。”

除了用针孔摄像机处理微小的变化，Freeman和他的同事们还将算法用于检测和填补微妙的颜色变化，例如人的脸色和表情的变化。如今，他们可以轻松捕捉到百分之一个像素上动作的变化，该方法的原理是将图像用数学方法转化成正弦波的图形。重要的是，在转化后的空间，信号并非充满噪音因为正弦波图表示的是多个像素的平均值。所以研究者可以检测正弦波图的位置变化，将其在转换成数据。

现在，他们开始将这些技术结合，探索隐藏视觉信息。在去年十月，由Freeman的学生Katie Bouman主导的一项报告中表示，他们证明了建筑物拐角可以用作照相机，生成拐角另一面粗糙的图像。

正如针孔摄像机和pinspecks一样，线条和转角同样限制了光线的通过。只用一部iPhone，Bouman和同伴们拍摄了建筑物拐角的半影（penumbra）：阴影区域受到转角处隐藏区域的光线着凉，如果有人身穿红色裙子走过，那么裙子会在半影处投射少量红色光线。肉眼虽然难以分辨，但是处理后却清晰可见。

今年六月，Freeman和同事们在一间房间中重建了“光场”，从靠近墙的植物上投射光线，叶片犹如pinspeck摄像机，会遮挡住不同光线。将每片叶子的阴影与其余部分进行对比，可以发现其中缺失的光线，从而重建隐藏场景的一部分图像。考虑到视差，研究人员可以将这些图像拼凑在一起。

光场方法比此前的偶然摄像机生成的图像更清晰，因为之前的方法是建立在算法之上。如今我们知道了室内植物的形状，假设自然图像是流畅清晰的，有助于生成清晰的图像。Torralba说：“光场技术需要了解很多有关环境的信息，但最终也会反馈给你很多信息。”

散射光

虽然Freeman、Torralba和同事们发现了这样特殊的成像方法，但MIT的另一位科学家，Ramesh Raskar提充了一种“主动成像”的方法，他利用昂贵特制的相机激光系统，能生成拐角处的高分辨率图像。

2012年，Raskar和他的团队创造出一种技术，将激光脉冲打到墙上，一小部分光束就会弹到围栏上。每次脉冲后的瞬间，他们都会用“条纹相机（streak camera）”以每秒数十亿帧的速度记录单个光子，检测从墙壁反弹回来的光子。通过测量返回光子的飞行时间，研究人员就可以知道他们行进了多元，从而重建隐藏物体的三维几何结构。其中一个重要的原则是你必须用激光对墙壁进行光栅扫描，建成三维图像。Raskar说：“比如角落中有个人，到达它头部、肩膀和膝盖上的光线必须相同时间到达相机。你必须将所有信号组合起来解决所谓的逆问题，以重建隐藏的三维几何。”

Raskar原始用于解决逆问题的算法需要大量计算，但在三月，一个重要进步大大简化了数学运算和计算成本。一篇发表在Nature上的论文对物体的3D重建提出了新的高效的标准。斯坦福大学的三位研究者——Matthew O’Toole、David Lindell和Gordon Wetzstein提出了一种强大的算法，用相对便宜的SPAD相机就能解决这样的逆问题。Raskar认为这项工作是“他最喜欢的论文之一”。

此前的算法在程序细节上有些限制：研究人员通常选择墙上不同位置的返回光子，而不是激光的指向，这样他们的相机就可以避开激光返回的散射光。但是，通过将激光和相机指向几乎相同的点，斯坦福大学的研究人员可以使射出和射入的光子映射出相同的“光锥”。每当光从表面散射时，他就会形成一个扩展的光子球体，随着时间的推移，球体显示出锥形。

自动驾驶汽车已经有LIDAR系统作为直接成像的工具，可以想象有一天，也可以用SPAD相机来观察角落。在2012年的研讨会中，Andreas Velten预测：“在不久的将来，这些传感器将会变成手持的形式。”

未来用途

Freeman研究小组的研究者已经开始结合被动和主动两种方法了，博士后Christos Thrampoulidis表示在用激光主动成像时，用pinspeck相机在已知形状的转角处可以用于隐藏场景的重建，无需计算光子的返回时间等信息。

非视线成像可以在未来用于急救队伍、消防和自动机器人。Velten正在和NASA合作，对月球表面的山洞进行成像。同时，Raskar和其团队正研究如何阅读合着的书籍的前几页内容，以及在大雾天气看清前方。除了对音频的重建，Freeman的运动放大算法可能会用于健康和安全设备，或者监测微小的天文运动。

除此之外，隐私问题也是关注较多的话题。Freeman表示，当他开始自己的研究时，并没有想将任何技术用于军事和间谍行动。但是随着时间过去，他认为科技可以用在多个领域的工具，如果你避免任何军事用途，那么也许永远做不出有用的东西。即使在军事中使用，它也可以帮助某人避免被人杀死。总的来说，了解事物的位置是一件好事。

但是，让他紧张的并不是技术的潜力，而是发现隐藏在普通视野下的未被发现的东西。