他們用卷積神經網路,發現了名畫中隱藏的祕密

2019-09-16 11:27:04


作者 | 神經小刀

來源 |HyperAI超神經( ID: HyperAI)


導語:著名的藝術珍品《根特祭壇畫》,正在進行浩大的修復工作,以保證現在的人們能感受到這幅偉大的鉅製,散發出的燦爛光芒。而隨著技術的進步,高解析度數字技術的介入,資料資訊的逐漸增多,也讓 AI 技術能夠在畫作修復上大顯身手。那麼在《根特祭壇畫》的修復上,AI 技術能夠帶來哪些驚喜?


《根特祭壇畫》(又名《神祕羔羊之愛》),是比利時國寶級瑰寶,也是世界上迄今最具影響力的油畫,最受藝術領域關注的大師級作品。


它由 Van Eyck(凡·艾克)兄弟,於 1415 年到 1432 年,歷時 18 年完成,是一幅由內外 20 個畫板構成一種摺疊式巨大畫作,完全開啟時長 3.5 米,寬 4.7 米。


真跡現存放於比利時根特的聖·巴夫大教堂


但正因為名氣太大,這幅畫自問世以來,遭遇了多次橫禍。


而且,除了人為破壞之外,它也與很多世界名畫一樣,難逃因灰塵、潮氣等的侵蝕,導致畫面變色、失去光澤。因此,畫作的修復需求也越來越迫切。

近日,倫敦大學與杜克大學利用人工智慧來解碼《根特祭壇畫》的高解析度 X 射線影象,其研究結果發表在《Science Advances》期刊上:Artificial Intelligence for Art Investigation: Meeting the Challenge of Separating X-ray Images of the Ghent Altarpiece》。


這一研究有望提高我們對藝術傑作的理解,併為藝術調查,保護和展示提供新的機會。


名畫傷痕累累,修復工程浩大


祭壇畫是一種畫在木板上,安置在教堂聖壇前面,用於裝飾的複合畫作。《根特祭壇畫》取材於聖經,描繪了其中的經典場景,涵蓋了 100 多位人物。


這幅作品也是現代油畫的開山之作,Van Eyck 兄弟在創作中,首次試驗用油調色,使用新的塗料、松脂以及乳劑,以讓畫面保持經久鮮潤的效果,此外,它還因為材質和紋理渲染,以及精緻而複雜的構圖成為一代瑰寶。


左右分別是閉合和開啟的樣子


自 1432 年首次展出之後,《根特祭壇畫》經歷了 7 次被盜、涉及 13 次不同形式的犯罪事件,堪稱被盜竊最多的名畫,時至今日,仍有一塊畫板下落不明。


除此以外,和其他藝術珍品一樣,它也一直在經歷著時間的考驗。原畫被長年累月的積塵和蝕變所摧殘,光澤和畫面都打了折扣。


油畫創作中,使用天然樹脂製成的清漆,甚至是合成材料,都會隨著時間的推移而降解發黃,變得渾濁。造成表面模糊,畫面的色調平衡和影象中的層次感被極大地改變。


因此,根特祭壇畫已經經過了多次的清潔和修復,在一次修復中,工作人員驚奇地發現,畫作共有 3 層,重繪面積達到了 70 %,意味著該畫經歷過兩次未被記載的大型修復。
修復前(左)和修復後(右)的色澤發生了很大變化


2012 年 10 月起,在進行了詳細的評估之後,博物館對它開啟了浩大的修復工程。專家們也決定將修復目標從「恢復畫面色彩」改為「復原畫作的最初面貌」。
工作人員正在進行修復,修復期長達八年


這項工作需要耗費大量的人力和財力,預計最早將於 2020 年完工。修復的過程包括去除表面灰塵與清漆、恢復畫作的色彩的工作,也包含多種掃描成像,建立電子模型的過程。


毋庸置疑,這是一項高難度的工作。而現在, AI 技術的發展,正為修復工作做出貢獻。

修復難題:解讀 X 射線影象


在畫作修復中,目前已經有了一些成熟的機器學習案例,包括不同階層的畫面的材料識別,裂紋的數字影象修復,隱蔽的設計和視覺化呈現。

而在根特祭壇畫的修復中,倫敦大學和杜克大學的研究者,最近用深度學習的方式,解決了 X 射線影象掃描上的技術難題。


X 射線照相術(XR)是畫作修復中的一項重要方法。利用不同材料對 X 射線吸收程度不同的原理,能夠表現出畫作中的隱藏細節。


在根特祭壇畫的修復工作中,建立完整 X 射線圖片,也是修復的一個重要步驟。X 射線影象通過顯示清漆或覆蓋塗層隱藏裂縫,油漆磨損或其他結構區域的問題,能夠幫助修復工作的進行。


此外,掃描影象還可以向工作人員揭示藝術家的工作方法,揭示畫布或面板的物理結構及其支撐,以及創作中使用的不同塗層。


但對於根特祭壇畫此類作品,在其 X 射線影象圖片的解讀上,卻面臨一個嚴峻的考驗。


根特祭壇畫中,有幾塊畫板正反面都繪製有圖案,X 射線掃描出複雜的三維吸收圖案,最終卻被記錄成二維檔案,所以呈現出來的是混在一起的複雜影象。


有幾塊畫板正反面都繪有圖案
所以得到的是混合的 X 射線圖片(最右)


其中包括多重資訊,比如油漆表面形態,顯示橡木支撐的結構,木紋、木釘的位置,以及油漆層中的裂縫和磨損。要想獲得有價值的資訊,必須在這些雜亂的資訊中,分離出要分析的單個畫層。


由此帶來了一個巨大的解讀難題,而挑戰則在於,如何將混合了雙面板的 X 射線影象,分離成相應「單面」繪畫的單獨 X 射線影象。

破解之術:卷積神經網路


為了解決這個難題,倫敦大學和杜克大學的研究團隊,在比利時皇家遺產文化研究所和西蒙斯基金會的支援下,開啟了一項研究,提出了一種基於卷積神經網路(CNN)的自監督框架,完美地破解了它。


X 射線得到的混合影象,其實是面板兩側的影象的非線性組合。而這項研究的核心,在於通過建模的方式,找出最終混合圖樣和每個側面資訊的對映,再借助於一些細節的幫助,進行 X 射線訊號的分離。


所以他們的思路轉化為,在完全監督的源設定中,從包含混合和單個訊號的訓練集(可能由同一藝術家以相似的樣式繪製的不同繪畫)中,讓演算法分析學習出混合影象到源訊號的對應關係。


為此,他們設計了一個自我監督的神經網路,學習如何將 RGB 影象轉換為 X 射線影象,然後作為單面板的虛擬影象「重建」,然後通過最小化重建 X 射線影象的誤差,比較與原始混合的 X 射線影象之間的差異,讓模型學會實現這種分離。
將 RGB 影象轉換為 X 射線影象的神經網路結構

整個過程不使用大量標記資料,而是使用了高解析度的影象(允許建立大量輸入補丁),並基於隱式標記訓練網路。


具體細節上,他們構建了七層的 CNN ,每個卷積層之間含有批量歸一化和整流線性單元(ReLU)啟用層。網路的結構受到了 pix2pix 結構啟發(pix2pix 使用條件對抗網路進行影象到影象轉換)。


通過訓練之後,模型實現了輸入混合的 X 射線影象,輸出兩個單獨的面板圖片。
分離效果超過了所有其他的方法


這種新的方法,在兩個獨立的測試影象集上得到了應用,很好地再現了畫板中「亞當」和「夏娃」的單獨細節,其清晰度也遠遠地超出了預期。

人工智慧,讓藝術珍品更長久


通過他們的研究,X 射線圖樣的分離問題得到了完美解決,甚至研究者都沒有預料到,通過對深度學習的方法,得到了如此驚人的清晰度。


一位研究人員興奮地將這個過程,比作是物理學上的探索:通過實驗嘗試,找出了沒有相關理論解釋的意外成果。


而接下來,研究團隊希望在其他一些著名的傑作上,嘗試這種方法:「我們希望看到類似的人工智慧方法,對揭示繪畫中其他的隱藏特徵帶來幫助,例如發現早期隱藏的設計」。


而對於著名的《根特祭壇畫》,相信有了 AI 技術的加持,必然能更快地閃耀出它最初的光芒。



論文地址:
https://advances.sciencemag.org/content/5/8/eaaw7416/tab-pdf


(*本文為AI科技大本營轉載文章,轉載請聯絡作者)


推薦閱讀

  • 六大主題報告,四大技術專題,AI開發者大會首日精華內容全回顧

  • AI ProCon圓滿落幕,五大技術專場精彩瞬間不容錯過

  • CSDN“2019 優秀AI、IoT應用案例TOP 30+”正式發

  • 我的一年AI演算法工程師成長記

  •   開源sk-dist,超引數調優僅需3.4秒,sk-learn訓練速度提升100倍

  • 如何打造高質量的機器學習資料集?

  • 從模型到應用,一文讀懂因子分解機

  • 用Python爬取淘寶2000款套套

  • 7段程式碼帶你玩轉Python條件語句


你點的每個“在看”,我都認真當成了喜歡
已同步到看一看



熱點新聞