VR技术在保护文物方面的应用案例

文物3D数字化的需求

首先，文物3D数字化的结果应是高保真的，即要求做到每一处细节均应严格忠实于原作，而且不仅仅是外形的高保真，还包括色彩、图案、质地、不可移动文物的摆放位置和摆放方向等，比如图案不能产生拉伸、玉器瓷器等不同质地应与原物忠实等，不能引入主观成分，否则失去文物数字化的价值。

文物数字化需满足文物信息获取的完整性，具体包括：文物的形状（点的空间分布）、色彩、图案、质地（表面和内部的光学属性）、不可移动文物的摆放位置和摆放方向、病虫害现状、蕴藏在文物中的文化内涵等。而且，全部可见信息应被数字化，不应出现空洞，包括文物的内部。

文物数字化还应要求采集时不能对文物造成任何破坏，包括对文物的物理损坏和所使用的高功率光源对颜料的影响等。尤其是不可移动文物，不能为了采集而改变文物本身摆放的方位，将文物从原处搬到空地上。

文物的数字化应达到足够高的精度，尤其是在需要将文物数字化保存作为研究依据和一比一重建依据时，另外还应考虑近距离细节展示以及大屏幕沉浸感展示的需要，比如壁画中的细线条，在投射到球幕或巨幕上也应保持不模糊且没有马赛克。

文物数字化之后得到的海量数据，应进行高效地组织，以便快速检索和调度。

3D数字化方法探秘

目前文物的3D数字化，主要有三种方法：

（1）手工3D建模

顾名思义，手工3D建模就是借助3D建模软件进行手工建模，常用的3D建模软件有Maya， 3DSMax， Rhino， SolidWorks， SketchUp， C4D等等。

这种方法的优点是，如果3D建模师足够优秀，可以做出非常精美的3D模型。

然而，其缺点包括：

l 文物的3D数字化有着非常严格的要求：必须严格忠实于原作，而手工建模会引入相当大程度的主观因素，其准确程度取决于建模师的个人经验与技巧，就如同临摹一副古画，也许画师临摹得非常美，甚至都超过了原作，然而其结果依旧是临摹品或者赝品，而原作的价值是无法取代的。

l 手工3D建模的门槛比较高，工序较复杂，造成人员短缺，产能非常低。

（2）3D扫描

3D扫描，就是借助激光3D扫描仪、结构光3D扫描仪等设备来获取物体表面点的3D信息，其优点是能够获取精度很高，而且也相对较准确的几何信息，因而被广泛应用于工业自动化、建筑自动化等场景。

不过3D扫描也存在一定局限：

l 很多情况下3D扫描只能获取几何信息（而且还会出现空洞部位需要手工填补），得到的只是灰度的3D模型（称为素模），没有丰富的颜色和纹理，更谈不上质感，就像石膏像一样，如下图。如果要获取颜色和纹理，还需要手工进行贴图，这样，也会带来最终模型的非客观；而物体的质感，还需要采取其他方法才能获取。

l 部分3D扫描仪也能获取简单的贴图，但是对于文物（往往存在复杂的细节），会造成细节部位贴图的拉伸、接缝和模糊，下图即通过3D扫描仪得到的结果：

3D扫描仪所造成的细节部位的贴图拉伸、

l 激光3D扫描产生的高强度能量，会对文物造成损害。

l 3D扫描会产生大量的冗余数据，不利于实现实时的互动展示。现在通常采取的做法，是对3D扫描生成的模型进行简化（也称为“优化”），才能实时运行，但简化之后的模型，已经失去了几何模型的精确性。

（3）基于立体视觉的3D重建

这里的立体视觉指的是计算机立体视觉，是一种利用多幅图像来恢复物体3D信息的方法。

根据图像获取方式的区别，计算机立体视觉又可以划分成普通立体视觉和光流（optical flow）立体视觉两大类。普通立体视觉研究的是由多个摄像机同时拍摄下的多幅图像，而光流法中研究的是单个摄像机沿任意轨道运动时拍下的多幅图像。

以下是基于计算机立体视觉进行3D重建的基本步骤：

1） 图像获取：即用摄像机获取3D物体的2D图像。光照条件、相机的几何特性等对后续的图像处理造成很大的影响。

2）相机标定：通过相机标定来建立有效的成像模型，求解出相机的内外参数，这样就可以结合图像的匹配结果得到空间中的3D点坐标，从而达到进行3D重建的目的。

3）特征提取：特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。因此在进行特征点的提取时需要先确定用哪种匹配方法。

4）立体匹配：立体匹配是指根据所提取的特征来建立图像对之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行一一对应起来。在进行匹配时要注意场景中一些因素的干扰，比如光照条件、噪声干扰、景物几何形状畸变、表面物理特性以及摄像机机特性等诸多变化因素。

5）3D重建：有了比较精确的匹配结果，结合相机标定的内外参数，就可以恢复出3D场景信息。

笔者通过基于计算机立体视觉的3D数字化技术，对大量文物进行了成功的数字化，现将效果与大家分享：

国家文物局春水玉的3D重建

通过立体视觉，我们不仅能精确获取物体的3D形状，除此之外还能同步地准确获取纹理、材质、色彩以及质感，避免手工贴图造成的庞大工作量和主观因素的引入，满足文物忠实于原作的要求（下图右即3D数字化的结果）；

敦煌彩塑原始照片与3D模型（后者重调了

这种方法可适用于较为复杂的采集环境，且可避免对文物的损害；此外还能有效避免数据的冗余。

在获得了文物的3D模型之后，还有很多重要问题，比如光照的还原，尤其是像洞窟里的彩塑这样的不可移动类文物，它们实际所处的光照环境很难达到理想，其光的颜色、明暗分布等均会影响文物的色彩和材质获取，而且在很多光照本身微弱需要使用辅助光源的情况下，数字化的结果会造成明暗接缝（见下图），需要求出光源的数量、位置、方向、颜色、强度等信息，再通过逆向计算，去除环境光照对数字化后文物明暗接缝和色彩的影响。有了这一前提，我们再进行色彩管理，以及基于视觉的色彩校正，才能得到准确的文物色彩。

辅助光源造成的明暗接缝及其去除方法

如何让文物“活起来”

文物除了外形之外，还有更丰富的文化内涵，包括文物的制造工艺、用途、使用方法、细部艺术价值、部分文物的特殊功用及其原理，以及所蕴涵的宗教、战争、文化、民俗故事等。有了这些内涵，文物才能真正“活起来”。

此外，对于文物而言，局部破损或丢失是很常见的情况，通过互动手段，可根据考古成果对已损坏了、缺失的文物或其局部进行虚拟的复原，在一定程度上恢复其新建时的面貌，达到修旧如新的目的。

这需要通过对文物特征的提取和知识挖掘，将其丰富的内涵从数据中提取出来，分别赋予每件文物。除此之外，还需要借助互动手段和沉浸式手段，生动地展示和呈现给大众。

（1）VR/AR+AI加持的互动展示

利用VR（虚拟现实）、AR（增强现实），和AI（人工智能），可以让文物与观众互动起来，让观众沉浸在一个计算机模拟的数字博物馆及各个文物场景中，通过亲身参与激发自己的想象，并在寓教于乐的过程中轻松获取文物的内涵和相关知识。

金缕玉衣

其中，VR与AR的重要基础，是实时3D渲染。该技术在应用到文物领域时将面对海量的文物数据，尤其是图形和图像的数据。如敦煌莫高窟单个洞窟在数字化后的数据量就为数G级到数10G。虚拟现实互动展示还将面向复杂的文物遗存场景。文物遗存往往由于自身工艺的精湛及其因古旧而不规则，都是非常复杂的。

VR与AR技术发展到今天，正在朝着在实时互动的前提下实现电影质量真实感的趋势发展。一方面要求实时，另一方面，要求将生成画面的真实程度提高到电影质量，不能为了达到实时而对模型进行简化，而且应该进行照片级的光照计算，并达到高清的输出分辨率。

敦煌VR系统

（2）沉浸式展示

沉浸式展示，也有多种手段，包括球幕、VR头显、环幕、CAVE、4D、全息成像等。

这里以球幕（Fulldome）为例进行介绍。球幕是沉浸感最强的展示方式之一，并且它能脱离立体眼镜，已经成为文物博物馆领域沉浸感展示技术的发展趋势。

球幕产生沉浸感的一个重要原理，便是其庞大的视域范围（也叫视场角，是两眼的观察范围）。因球幕放映的视域范围可达180°，自观众面前延至身后，且伴有立体声环音，使观众如置身其间。按照视觉理论，人的视域范围一旦超过150°，就会产生身临其境的错觉。

文物球幕沉浸式展示的一大挑战，便是分辨率。人眼在观看分辨率上一般有三个档次，由差到优依次是“模糊感知”、“辩知”和“精确辨别”。球幕的国际标准化机构Fulldome Standards Summit（FSS）建议数字球幕电影的制作最低应满足“辩知”的需要，此时画面中相邻两象素与观众视点连线夹角至少应达到3弧分（Arc minutes）。文物领域对分辨率和3D数字化精度的要求远高于“辩知”，应达到“精确辨别”的层次，而达到此目标，画面中相邻两象素与观众视点连线夹角应达到1.5弧分，相应的画面象素分辨率为8000×8000。下图是我们按此标准实现的球幕电影效果。