使用深度学习和图像处理技术复原和保存艺术品

Carola-Bibiane Schönlieb 在 2005 年开始攻读数学博士学位，她的第一个项目是帮助复原维也纳的一幅中世纪壁画。 这幅壁画一度隐藏在一间旧公寓的墙壁后，由于几年前拆除墙壁造成的损坏，壁画残迹上布满了斑斑驳驳的白点。 Schönlieb 的复原工作靠的不是颜料、溶剂或树脂，而是算法。Schönlieb 说，“维也纳大学的一些文物保护工作者已开始对它进行物理复原。而我们则会以数字方式进行复原。”

“MACH 计划”集艺术史学家、文物保护工作者、古典学家和中世纪学家之所长，同时结合数学家的专业知识，旨在推进文物复原和考古工作。

在对受损壁画拍照后，Schönlieb 研究了一些算法，希望基于这些照片来填充壁画中缺失、受损的部分，创建壁画原貌的数字模型。 当时，关于数学家和文物保护工作者合作复原艺术品的论文屈指可数。文物保护工作者和艺术史学家刚刚开始对文物进行数字化存档，在计算机上保存绘画、手抄本和陶器的数字版本。

一幅中世纪壁画的局部，一度位于维也纳一座公寓墙后。图片所有权：MACH。 Schönlieb

      现任剑桥大学的应用数学教授，她使用图像分析和处理来进行艺术品复原和保护。当前，她与其他数学家和人文专家合作开展数学在文化遗产中的应用 (MACH) 计划。该计划集艺术史学家、文物保护工作者、考古学家和中世纪学家之所长，同时结合数学家的专业知识，旨在推进文物复原和物质文化研究。

       MACH 团队当前正在开展名为“揭秘隐形”的项目。他们使用 MATLAB 算法对古罗马陶器编目，分析颜料截面以探索文物之间的新关联，并以数字方式复原因过于精美而无法物理复原的泥金手抄本。项目在这三个重点领域已酝酿多年。  

复原泥金手抄本

MACH 始于 2013 年，当时 Schönlieb 在学校进行一场关于数字图像复原的讲座。剑桥菲茨威廉博物馆的工作人员出席了这场讲座，这是一家馆藏涵盖古今的艺术博物馆。他们认为 Schönlieb 的方法对他们手头的工作很有帮助。 当时，菲茨威廉博物馆负责手抄本和刊本的管理员正致力于寻求非侵入性的手抄本复原方法，Schönlieb 的图像复原讲座让她很受启发。她找到 Schönlieb，提出开展合作。MACH 项目由此诞生。 面对受损的绘画和工艺品时，文物保护工作者面临两难境地。 他们可以选择重现文物原貌，但损坏本身也是文物历史的见证。以中世纪的泥金手抄本为例，这类书籍是在羊皮纸上手写而成，具有绘画装饰，经常采用金银等贵金属。一些情况下，手抄本上的部分颜料可能经刻意涂改，以消除持有者的标记，或掩盖冒犯性的图画。

“借助虚拟的数学手段，我们既能维持泥金手抄本的当前面貌、保留历史痕迹，又能获得接近其本真原貌的复原版本。这一做法可谓两全其美。” —— Suzanne Reynolds，菲茨威廉博物馆馆长

“通过复原，我们能得到什么，又将失去什么？”菲茨威廉博物馆手抄本和刊本馆的管理员 Suzanne Reynolds 问道。Reynolds 是 MACH 团队的成员，主要负责中世纪泥金手抄本。

细节展示。

修复区域。

最终结果。 大面积损坏的手抄本成功得到数字化复原。图片来源： 剑桥费茨威廉博物馆。

      泥金手抄本的复原工作尤其困难。与其他形式的绘画相比，泥金手抄本很少得到物理复原。这类复原是“揭秘隐形”项目的重要组成部分，为应对其中的挑战，Schönlieb 与 Reynolds 合作，同时联手剑桥应用数学与理论物理系及菲茨威廉博物馆助理研究员 Simone Parisotto，共同开发一款 App。 该 App 使用 MATLAB 开发，服务于文物保护工作者，它使用图像处理方法来识别手抄本的受损区域，并以虚拟方式重新构造图像。它依赖于“图像修复”，该术语最初指以物理方式重新构造一幅画。在数学语境下，图像修复意味着以数字方式复原图像。 借助深度学习和偏微分方程，MACH 小组的程序可以填补受损手抄本的空白区域，并预测不同复原途径的结果。用户使用来自同一手抄本或相关手抄本的样例（越多越好）训练算法，然后用算法重新构造待复原图像的缺失内容。 Reynolds 说，“借助虚拟的数学手段，我们既能维持文物的当前面貌、保留历史痕迹，又能获得接近其本真原貌的复原版本。这一做法可谓两全其美。” 在复原的同时，数学方法不仅可以对文物进行数字化存档，还可以运用人工智能让存档数据更好地服务于文物保护工作者、艺术史学家和考古学家。  

古罗马陶器分类

“揭秘隐形”第二大重点领域的构思始于 2015 年，当时，剑桥大学古典学系高级讲师 Alessandro Launaro 向 Schönlieb 求教一个难题。 作为一名考古学家，Launaro 专注于古罗马时期的研究，并一直在意大利西部发掘遗址。他在该遗址成功发掘出大量陶器，均为炊器等日用粗陶器，但接下来的任务相当艰巨：他必须分析数千件陶器的形状、口沿和底座。 “我面临一个考古问题，即如何分析大量物证。”Launaro 说。对于那些形制较为精美的古罗马陶器（细陶器），已经有系统、全面的目录可帮助考古学家进行分析；但对于他要研究了解的日用粗陶器，这类资料还是一片空白。

“我们当然可以找人逐一比对这些（陶器碎片的）形状，但这太过繁重枯燥。人难免疲劳或者犯错，难免会看漏一些东西。而算法不会感到劳累。” —— Carola-Bibiane Schönlieb，剑桥大学应用数学教授

考古遗址出土的陶器中大部分都是粗陶器。但是，由于此类陶器形状各异，出土器物数量庞大，要确定不同遗址的不同器型之间的关联，可谓一项挑战。 Launaro 说，“与博物馆里那些雕像、马赛克镶嵌画或者绘有精美装饰的陶器相比，作为日常器物的粗陶器更能反映古代人民的生活状况。”如果能建立一个目录来记录这些器物以及它们之间的关联，将有助于我们进一步了解古代文明的日常生活。“但人工很难实现这一点。”他说。 Schönlieb 和 Parisotto 觉得有办法帮助 Launaro 解决这一难题。Schönlieb 说，“我们当然可以找人逐一比对这些形状，但这太过繁重枯燥。人难免疲劳或者犯错，难免会看漏一些东西。而算法不会感到劳累。” Parisotto 和 Schönlieb 使用 MATLAB 来创建 Launaro 设想的这种目录。2016 年，他们试行了一个系统，该系统可将一件陶器的轮廓图与数据库中的类似图像进行匹配。考古学家根据轮廓形状对古代陶器进行分类，并认为相似的形状意味着年代和功能上的某些关联。

古代容器以形状分类，而形状以轮廓表示。相似的轮廓意味着某种关联。图片所有权：MACH。

      但该系统效果不佳。参考陶器图像整理得并不是很好。团队需要回过头来自行整理。Launaro 说，“这项工作涉及数以千计各不相同的陶器形状，因此我们必须借助计算机的处理能力。” 为了充实和整理自己的陶器数据库，该团队在其中添加了数以千计的粗陶器黑白轮廓图像。到 2020 年底，累计添加约 6000 个陶器轮廓图像。Parisotto 正在使用无监督深度学习算法对存在关联的陶器形状进行分组或聚类。该程序创建分层的树状图，将陶器碎片分组，以更好地向考古学家揭示不同器型之间的关系。Parisotto 说，“其原理是从已有器物中提取相关特征，并找到不同特征之间的关联。” 通过确定粗陶器型之间的关联，考古学家可以更好地在空间和时间层面梳理粗陶器的发展和分布脉络。这些关联可能提供有关贸易、定居模式或饮食习惯等方面重大发展的线索。MACH 小组仍在开发和测试该 App，Launaro 认为，“最根本的理念是创建一个工具，帮助考古学家对其发掘和研究的遗址进行更有效的解读。”  

颜料色样探源艺术创作

Kasia Targonska-Hadzibabic 是 MACH 团队的助理研究员，也是一位训练有序的物理学家，她正在从事“揭秘隐形”的一个子项目，其原理类似古罗马陶器数据库。Targonska-Hadzibabic 正与 Parisotto 合作，为颜料色样截面的数字图像建立一个平台，以对它们进行分类和比较。 在艺术保护中，研究一幅画中的颜料色样截面可以揭示艺术家的创作过程。“它可以告诉我们艺术家使用的技法、绘画的过程等信息。”Targonska-Hadzibabic 说。

MACH 团队还在创建一个系统，它可以识别来自不同的绘画、艺术家或时代的颜料色样截面之间的联系，解读相似之中所包含的信息。

依传统做法，文物保护工作者会收集这些截面，保存在树脂中，并在显微镜下仔细观察各个颜料层。放大观察，树脂包裹的颜料色样就像彩色多层三明治。Targonska-Hadzibabic 有一位负责艺术保护的同事，他一直在对自己收集的颜料色样截面进行数字化存档，想了解这些颜料色样除了能反映特定艺术家的创作技法，还能揭示哪些信息。

从早期大师画作中提取的颜料截面。图片所有权：MACH。

       Targonska-Hadzibabic 与 Schönlieb 合作开发了一个系统，可以识别来自不同绘画、艺术家或时代的颜料色样截面之间的联系。截面中的各层不是均匀的，不仅颜色不同，纹理、混合方式和拍摄条件也不尽相同。 与古罗马陶器项目一样，该团队正在使用 MATLAB 中的机器学习方法，根据截面特征对一万多幅数字图像进行分组，尝试从中归纳有用信息。 根据 Targonska-Hadzibabic 的说法，他们还不确定这些算法到底会揭示什么。“这是一个迭代过程，需要与文物保护工作者交流，找到那些从艺术史角度来说具有重要意义的相似性。”她说。 他们希望这款 App 能为文物保护工作者提供便利，帮助他们比较源截面的层与数据库中其他截面的类似色样。Targonska-Hadzibabic 还在努力改进，让使用 App 的文物保护工作者不仅能看到结果，还能根据需要轻松修改结果。  

实用进展

考古、艺术保护和艺术史领域专家的反馈对这些项目的进展至关重要。Parisotto 说，“只有专家才能引导数据科学工作者始终沿着正确的道路开展工作。” MACH 项目在菲茨威廉博物馆的合作者刚刚开始测试这些 App；最终目标是让所有学者和文物保护工作者共享这些资源，扩充其现有工具箱。对 Launaro 来说，在粗陶器参考目录的帮助下，他们可以更为细致地研究这一考古工作中一度为人忽视的领域。 据 Reynolds 称，MACH 的数字手抄本复原工具不仅可以帮助文物保护工作者，还为教学和公众参与提供了新的资源。Reynolds 说，“我们期望它能为教学提供便利，因为用户可以获得最佳状态的文物图像。”该工具还可以增加博物馆的虚拟展品数量，向公众同时展示真实文物及其数字“原件”。

在 MATLAB 中开发的 INpainting ilLUminated MINiatures App (INLUMINA)。图片来源： 剑桥费茨威廉博物馆。

      Targonska-Hadzibabic 认为，借助可识别色样关联的颜料截面数据库，专家能够发现新的绘画技法，并揭示画家和画作之间尚不为人知的关联。 然而，这些工具都无法取代人文领域专家的工作。Launaro 说：“我们始终需要人来进行某些解读性质的工作。不过，也有相当一部分工作能由计算机完成，可以使我们的工作更为轻松、直接。”

     标题图片来源： 剑桥费茨威廉博物馆。