​清華大學提出基於生成對抗神經網路的自然影象多風格卡通化方法並開原始碼

語言: CN / TW / HK

近日,清華大學劉永進教授課題組在 IEEE Transactions on Visualization and Computer Graphics 上發表論文,提出基於生成對抗神經網路的自然影象多風格卡通化方法,程式碼在 Github 上開源。

論文標題:

GAN-based Multi-Style Photo Cartoonization

論文連結:

https://doi.org/10.1109/TVCG.2021.3067201

程式碼連結:

https://github.com/syz825211943/Multi-Style-Photo-Cartoonization

卡通畫是日常生活中喜聞樂見的一種藝術形式,不管是在影視作品還是在日常生活中都非常常見。很多卡通畫都是根據自然場景由藝術家精心繪製而成,耗時耗力;而一些現存的卡通畫生成演算法也僅針對於單一卡通風格設計,無法獲得風格各異的卡通畫結果。論文提出了一種 基於生成對抗神經網路的自然影象多風格卡通化方法 ,使用非成對資料集學習不同風格的卡通風格圖片繪製方式,幫助人們生成具有不同風格的卡通圖片,定格生活中的精彩瞬間。 

論文首先針對多風格卡通影象轉換任務精心設計了網路結構,如圖 1 所示。Multi-Style CartoonGAN 的生成網路由一個公用的編碼器和多個解碼器組成,其中編碼器用於提取輸入圖片的內容,多個解碼器分別對應於多種卡通風格並進行學習;判別網路也包括多個判別器,與多個解碼器一一對應,用於判斷輸入影象是真實的卡通影象還是生成網路生成的卡通影象;最後增加一個輔助分類器,幫助網路更好的學習到不同風格之間的區別。

▲ Multi-Style CartoonGAN的網路結構示意圖

論文在標準的對抗損失的基礎上,增加了邊緣模糊的對抗損失,突出卡通畫具有清晰邊緣的特點。同時,論文提出使用多層次的內容約束,對不同解析度下的輸入影象與輸出影象計算 L1 距離作為內容約束以適應不同卡通風格平滑程度不同這一特點——這不僅保證了結果影象與輸入影象語義內容上的一致性,也保留了不同風格的繪製特點。最後增加了風格損失,對不同卡通影象分類後計算損失,擴大不同風格之間的區別。通過同時優化這三項損失,使得生成網路最終可以得到保留輸入圖片語義資訊的多風格卡通影象轉換結果。 

針對於對抗神經網路非線性程度高,難以收斂的問題,我們使用初始化過程幫助網路訓練收斂,在初始化階段我們僅使用層次化的內容約束對網路進行訓練,在網路能夠基本重構出輸入圖片資訊之後再進行正式訓練。此外,針對於 Multi-Style CartoonGAN 網路的設計,我們在理論上證明了網路設計的合理性與可實踐性。 

實驗證明,論文提出的多風格卡通化方法可以同時學習到多個卡通風格的繪製方式,在保留輸入圖片內容資訊的基礎上完成不同卡通風格的轉換。圖 2 給出了 Multi-Style CartoonGAN 與多種單風格轉換方法的對比結果,圖中 Gatys (image 1) 為標準的 NST 結果,我們將與輸入影象內容相近的圖片作為風格影象進行學習;Gatys (collection) 為改進的 NST 結果,使用訓練集內的所有卡通影象計算平均風格特徵進行風格遷移;是使用了身份損失的 CycleGAN 版本;UNIT,GDWCT 是另外兩種代表性的單風格轉換演算法。

▲ 圖2. Multi-Style CartoonGAN與NST,CycleGAN,UNIT與GDWCT的對比結果。第一列為輸入的自然影象,後六列為對比演算法以及Multi-Style CartoonGAN的對比結果。圖中前兩行由宮崎駿《千與千尋》風格訓練集中的圖片訓練得到;中間兩行由新海誠風格訓練集中的圖片訓練得到;最後兩行由法國動畫《悠長假日》風格訓練集中的圖片訓練得到。

儘管這些單風格演算法都需要訓練多次才能得到多個卡通風格的轉換結果,但是效果仍然不如 Multi-Style CartoonGAN,而我們的演算法只需要訓練一次就可得到多種卡通風格轉換結果。 圖 3 展示了 Multi-Style CartoonGAN 與單風格的卡通影象生成演算法 CartoonGAN 相比的結果,我們利用了多風格卡通畫的結構優勢也得到了更為理想的結果——內容保持更好,線條更明顯,色塊更平滑。

▲ 圖3. Multi-Style CartoonGAN與單風格CartoonGAN的比較結果。第一列為輸入的自然影象,圖中第二、三列由宮崎駿《千與千尋》風格訓練集中的圖片訓練得到;第四、五列由新海誠風格訓練集中的圖片訓練得到;最後兩列由法國動畫《悠長假日》風格訓練集中的圖片訓練得到。

最後與多風格風格轉換演算法 (MUNIT,ComboGAN) 相比,我們的結果也具有更理 想的卡通特徵與質量,結果見圖 4。

▲ 圖4:Multi-Style CartoonGAN與MUNIT,ComboGAN的比較結果。第一列為輸入的自然影象,後三列為對比演算法以及Multi-Style CartoonGAN的對比結果。圖中第一行由宮崎駿《千與千尋》風格訓練集中的圖片訓練得到;中間一行由新海誠風格訓練集中的圖片訓練得到;最後一行由法國動畫《悠長假日》風格訓練集中的圖片訓練得到。

特別鳴謝

感謝 TCCI 天橋腦科學研究院對於 PaperWeekly 的支援。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

# 投 稿 通 道 #

讓你的文字被更多人看到 

如何才能讓更多的優質內容以更短路徑到達讀者群體,縮短讀者尋找優質內容的成本呢? 答案就是:你不認識的人。

總有一些你不認識的人,知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑,促使不同背景、不同方向的學者和學術靈感相互碰撞,迸發出更多的可能性。 

PaperWeekly 鼓勵高校實驗室或個人,在我們的平臺上分享各類優質內容,可以是 最新論文解讀 ,也可以是 學術熱點剖析科研心得競賽經驗講解 等。我們的目的只有一個,讓知識真正流動起來。

:memo:  稿件基本要求:

• 文章確係個人 原創作品 ,未曾在公開渠道發表,如為其他平臺已發表或待發表的文章,請明確標註 

• 稿件建議以  markdown 格式撰寫,文中配圖以附件形式傳送,要求圖片清晰,無版權問題

• PaperWeekly 尊重原作者署名權,並將為每篇被採納的原創首發稿件,提供 業內具有競爭力稿酬 ,具體依據文章閱讀量和文章質量階梯制結算

:mailbox_with_mail:  投稿通道:

• 投稿郵箱: [email protected] 

• 來稿請備註即時聯絡方式(微信),以便我們在稿件選用的第一時間聯絡作者

• 您也可以直接新增小編微信( pwbot02 )快速投稿,備註:姓名-投稿

△長按新增PaperWeekly小編

:mag:

現在,在 「知乎」 也能找到我們了

進入知乎首頁搜尋 「PaperWeekly」

點選 「關注」 訂閱我們的專欄吧

·

·