为什么说三维重建才是计算机视觉的灵魂?

编者按：在“全民计算机视觉”的今天，其发展历程却鲜少有人追溯。梳理研究的过去将能让我们更好地探索未来。权龙教授为我们介绍了三维重建的历史发展与应用前景，也为大家在研究学习、职业选择等方面给出了一些实用建议。

王井东：您的主要研究方向是三维重建，它的发展现状和应用前景如何，您为什么看好它？

权龙：说三维重建首先要从计算机视觉讲起。计算机视觉包含两个基本方向，物体识别和三维重建。图像识别的突破性进展源自于2012年卷积神经网络（CNN）的兴起。在此之前，计算机视觉的核心研究方向是三维重建。因为在当时，对于图像的特征提取主要是通过三维重建的方法来定义和实现的。自2012年以来，图像的特征便逐渐由神经网络来自动学习。

三维重建的应用是很广泛的，对于自动驾驶、VR、AR等应用领域应用来讲，三维重建是核心技术，并且实时三维重建是必然趋势，因为我们生活在三维空间里，必须将虚拟世界恢复到三维，我们才可以和环境进行交互。所以仅仅研究识别肯定是不够的，计算机视觉下一步必须走向三维重建，并且把三维重建和识别融为一体。

古建筑修复与重建是三维重建的一个具有代表性的应用，比如近期被烧毁的巴黎圣母院，如果通过三维模型（https://www.altizure.cn/project-model?pid=57f8d9bbe73f6760f10e916a）进行数字重建，应该能够达到原汁原味还原其真实面貌的目的。目前在我们的三维重建项目中，名胜古迹的三维电子存档是很重要的一部分。从表面上看，三维重建似乎没有自动驾驶那么复杂，其实它比自动驾驶更难，因为自动驾驶的三维感知是给车识别，而VR、AR中的三维重建场景是提供给人类感知的，所以对三维重建的结果要求非常高。总体来讲，三维重建是计算机视觉的灵魂。

权龙教授（左）和王井东博士（右）合影

王井东：三维重建在计算机视觉中确实非常重要，您可以带大家回顾一下计算机视觉和三维重建的发展历程吗？

权龙：1987年在伦敦举办的第一届国际计算机视觉大会ICCV可以作为现代计算机视觉研究的一个开端。之前很多人认为做图像处理就是计算机视觉，其实是二者是有区别的。

计算机视觉的目标是对图像进行理解。准确来讲，计算机无法做到“理解”，只能做到“认知”。我们的研究目的是从图像中获取视觉特征，有了视觉特征才能开展一系列的工作。因此回顾计算机视觉的发展历程，根据算力条件的不同，我们可以看到一个特征提取的演化过程。

80年代，人人都在做以edge为主的边缘提取，有了edge之后，再把它高层化后的线段元做简单的统计分类或者三维重建。Edge在数学上很容易定义，在定义了很多优化准则后，到1986年John Canny提出了Canny edge detection之后，这个研究方向就到头了。

90年代，人们对三维重建愈加重视，当时欧洲比美国要领先。几何也追求特征提取，但一维的edge不适合几何计算，几何最本质的元素是点，所以很多工作开始围绕点的特征去展开，对点的特征进行描述，然后就可以把很多东西变成矢量的无序集合，再做统计。三维重建的终极目标是用非标定相机（uncalibrated camera）进行重建。

1992年，Oliver Faugeras和Richard Hartley各自独立地解决了非标定相机两张图像下的三维重建问题，引入了基于七点算法的基础矩阵（Fundamental Matrix）概念，这标志着三维视觉的崛起。

1994年，我提出了六点算法（Invariants of six points and projective reconstruction from three uncalibrated images），解决了非标定相机三张图像下的三维重建，进而在理论上彻底解决了多视重建的几何问题（multi-view geometry）。这两项工作共同奠定了三维重建的理论基础，对计算机视觉的发展起到了决定性的作用。

到了2012年，卷积神经网络（CNN）的出现对于特征提取和图像识别都是一个颠覆性的飞跃，从而触发了新一波人工智能高速发展的浪潮。事实上，卷积神经网络在1989年就应用于图像识别问题，它是今天所有卷积神经网络的鼻祖模型。

从诞生到2012年的十几年之间，发生变化的并非卷积神经网络的架构，而是：(一）GPU的出现提升了计算力；(二）斯坦福大学教授李飞飞创建的ImageNet，她把上百万张照片发到网络上进行标注。这两件事促成了卷积神经网络在2012年的复活。CNN的本质其实是两点，第一点是提取特征，第二点是标准分类器。所以本质上还是提取特征，只不过特征的表达能力比之前的手工定义要高得多。

所以从特征提取这条线索上看，虽然目前计算机视觉看似处于一轮新的热潮，但事实上一直以来大家都在做同样的事情，只不过在不同的阶段，提取的特征和采用的方式有所不同。

王井东：现在主流的计算机视觉研究主要集中在欧洲、美国和中国。您认为这三者的发展现状和未来将如何？

权龙：确实是三足鼎立。上个世纪八九十年代，欧洲的计算机视觉发展迅速，研究人员在一定意义上把计算机视觉当作一个应用数学的问题。三维重建需要大量传统数学知识，这批研究人员都有非常好的应用数学基础，那就用数学工具去解决这些视觉问题。

同期，美国计算机视觉的研究人员也非常活跃，但主要集中在应用领域，研究方向并不是非常清晰。随着2012年这一波由卷积神经网络引发的人工智能的再次崛起，美国在应用方面突飞猛进，欧洲依然保持扎实的基础研究的风格。后起之秀就是中国了，飞速发展的经济和创新气氛使得计算机视觉的研究和商业应用在极短的时间内快速发展起来了。 

王井东：您不仅在计算机视觉的研究上一如既往，也创立了专注三维重建的公司Altizure，那么关于学术和产业的选择，您能为同学们分享一些经验和建议吗？

权龙：每个人都有不同的理想和发展方向，有的人可能更适合做应用，有的人更适合做学术研究，这是因人而异的。没必要每个人都要去做科研当教授，也没必要每个人都去创业，只要能发挥自己的特长，选择哪一条路都是非常好的。在这个多元化的社会，大家都在从不同的角度推进科技的进步。

王井东：当时是什么促使您从学术界“跨界”进入产业界？

权龙：很简单，我一直在研究计算机视觉三维重建，以前的结果还不成熟，而到了某一个时机它终于能投入应用了，那我们当然要做应用，这是研究的最高境界。研究就是这样，可能在很长时间里效果都不够理想，那我们就要继续研究，但当它有了用武之地时，我觉得投入实践是顺理成章的。 

王井东：您认为一个计算机视觉方向的学生应该学好哪些知识，才能做更好的研究？

权龙：我对所有的人的建议是，打好应用数学和计算机的功底。应用数学是理论基础，计算机是实现手段，两方面的能力缺一不可。我不太赞同大学开设人工智能专业的做法，其实人工智能在一定意义上就是应用数学，尤其是卷积神经网络，本质上是数学优化和统计，你要有很好的应用数学功底。

王井东：很多人说深度学习和计算机视觉到了瓶颈期，您认为目前最大的问题是什么？您最期待的突破又在哪里？

权龙：“瓶颈期”不是一个合适的词汇。因为它本质上是一个应用科学，现在有了卷积神经网络这样强大的工具，所有的应用方向都可以重新去摸索。刚才讲到特征提取，提取完特征后去做具体的应用，很多东西是可以继续改进的，差别在于进步有多大。

卷积神经网络的特征提取已经是一个很大的突破了，在这个基础之上，我想会有一系列新的应用出现。如果实在要说突破，那就是硬件和算力的突破。目前大热的自动驾驶领域将很大力度地推进算力的发展，VR、AR也是同样。有朝一日，如果算力能够有一个显著的突破性进展，很多无法想象的事情将会发生。