AI的跨界,只有想不到,没有办不到。艺术学家们用深度学习模型分析拉斐尔的画作,不仅能分析出用了什么颜料、怎么画的,还能知道500年前拿着画笔的是不是拉斐尔本人。

DALL-E、MidJourney等工具的诞生,让我们看到了GenAI高超的「创作技能」。但如果反过来,让AI去分析艺术大师的画作,它们又会有怎样的表现?

最近,Science Advances封面刊登了一篇来自意大利文化遗产科学研究所的论文。他们将两幅著名的拉斐尔画作进行了MA-XRF扫描,并使用深度学习模型进行分析。

结果发现,AI不仅处理速度快,给出的结果也相当准确,还能为我们提供全新的见解和视角。

给油画做CT,让AI看片子

 

论文地址:https://www.science.org/doi/10.1126/sciadv.adp6234

过去十年中,利用成像技术对绘画进行非侵入性研究方面取得了飞快的进展。

艺术学家们不再只凭借自己的肉眼或实验对画作进行分析,而是采用类似于MA-XRF(宏观X射线荧光)的技术,进行颜料识别、颜料分解、虚拟修复等应用。

然而,无论进行哪种用途,每次成像都会产生大量数据集,并且分析数据也需要特定的专业知识。因此,为了高效地利用这些复杂数据,计算机辅助的程序分析和计算方法也随之发展。

比如,MA-XRF扫描绘画表面后可以得到含大量数据的XRF光谱。扫描区域通常包含上百万个像素,这就意味着输出是三维立方体形式的数百万个XRF光谱。

在这个过程中,研究人员们发现,人工智能大有用武之地,而且不仅仅止于数据的处理分析,还可以找出人类学者和经典分析方法容易忽视的新见解。

而这篇论文所使用的模型正是基于CNN架构,同时借鉴了XRF分析中常用的标准反卷积(deconvolution)方法,以MA-XRF光谱作为输入,预测画面上的元素分布,以及每种元素的绝对计数,就能够对所用颜料进行分析。

训练数据集既包括实际MA-XRF扫描得到的数据,也使用了合成数据进行训练,共包含50万个蒙特卡罗模拟生成的光谱。

MC模拟进行光谱合成的过程如图1A所示,图1B则描述了所用深度神经网络的总体架构,可以分为卷积块和稠密块两部分。

原有的CNN假定图像各部分具有平移不变性,但显然MA-XRF光谱不是如此,每种元素所在的位置就代表了能量大小,这是用于预测的关键信息。

为了移除原有CNN中的平移不变性,训练卷积块时会先保持密集块参数固定,卷积块训练完成后才会启用。

 

图1 方法示意图(A)MC模拟中使用的图像模型示意图,生成用于训练网络的合成XRF光谱(B)神经网络的示意图,分为两部分:卷积块和密集块

为了进行试点实验,研究人员对两幅拉斐尔的画作进行了扫描,分别是《God the Father》( 圣父上帝)和《Virgin Mary》(圣母玛利亚)。

1500年,「文艺复兴三杰」之一的拉斐尔为教堂创作了一幅宏伟的祭坛画,但目前仅存有四幅残片,这两幅就是其中之二,现藏于意大利那不勒斯的卡波迪蒙特博物馆。

 

左下:《圣母玛利亚》右:《圣父上帝》

对《圣母玛利亚》的人物面部分析如图3所示。从元素分布图像中可以推断出,打底层和高光中使用铅白(PB-L),人物肤色和明暗对比中使用了朱红色(Hg-L)。

窗帘上的绿色是铜绿(Cu-K),而且人物的蓝色斗篷上也存在铜元素,表明使用的颜料矿石是蓝铜矿,并与天青石、铅白进行了混合,这一点可以从钾和铅的分布图推断出来。

 

图3 从B至F依次是PB-L、Hg-L、Au-L、Cu-K、Fe-K等元素的映射图,左侧显示模型预测结果,右侧显示参考结果

除了推断颜料成分,这项技术还能帮我们分析拉斐尔的绘画技巧,帮我们看到这位大师在面部造型中采取了怎样的微妙技法。

和上图一样,依旧有大量的铅白色打底,使用土黄色的赭石(含大量铁)赋予面部的三维度和阴影,眼周的红朱砂(汞)和铜基颜料共同打造出了一种微妙的肤色。

 

图4 D为从元素分布图合成的RGB图像,其余依次为扫描区域原图以及PB-L、Hg-L、Pb-M、S-K等元素的分布图

图5B则能让我们更精细地看到拉斐尔如何用铅勾勒出建筑的细节,此外,铁元素和锌元素含量的显著线性关系(图5E)则能告诉我们,他使用的赭石中包含大量锌元素。

 

图5 画中建筑细节的高分辨率MA-XRF元素分布图

从图3-5的元素分布图,以及图7的量化结果中可以看出,模型的预测结果与参考值匹配程度很高,元素净计数也遵循相同的分布。

此外,经过艺术学家的判断,神经网络推断出的颜料调色板符合15世纪画家的实践方法,并与其他方法所调查出的拉斐尔早期作品调色板相匹配。

 

图7 元素分布图对比

这些发现代表了人工智能集成的关键进步,AI可以帮助更准确、更高效地分析XRF光谱,从而进一步促进艺术领域各个学科的专家之间的合作。

这项方法的成功建立在两个关键支柱之上。首先,我们已知的关于X射线如何与物质相互作用,包括能量色散探测器的光谱响应;其次,先进的模拟软件能够生成与XRF仪器所获得的非常相似的合成光谱。

AI+画作,发展「计算机辅助鉴赏」

事实上,Science刊登的这篇研究并不是艺术学家们首次和AI进行跨界合作。

去年11月,《福布斯》杂志就报道过一位英国学者的研究,而且同样是针对拉斐尔的画作。

 

他们使用深度学习算法分析了这幅《Madonna of the Rose》(玫瑰圣母),发现其中男性人物的脸(Joseph)并不是拉斐尔本人绘制的。

更加巧合的是,这个结果与艺术学家们长期以来的怀疑不谋而合。

长期以来,学者们就推测这幅画有拉斐尔以外的其他人参与,并且还注意到,Joseph面部的构图和描绘水平比不上画面中的其他人物。

 

《玫瑰圣母》

研究人员仅用了49幅经过认证的拉斐尔画作,就训练出了一个深度学习系统,通过笔触、调色板和阴影等4000多个视觉特征识别艺术家的作品,准确率高达98%。

论文作者Hassan Ugail表示,相比任何人在不借助任何工具的情况下进行分类或鉴别,AI的准确率要好得多。

 

算法分析了拉斐尔画作的各个部分,以确认哪些由艺术家本人绘制

然而,论文合著者、斯坦福大学的David G. Strok提醒我们,目前仅靠计算机结果扔不足以完成大多数艺术史领域的任务。

如果与传统的鉴赏方法和艺术史研究相结合,计算机工具与AI技术将大有可为。一个正确的算法、一个经过恰当训练的AI模型,将节省宝贵的时间和资源,帮助我们更好地发掘艺术宝库。

Loading

作者 yinhua

发表回复