新垣結衣夫婦的孩子長啥樣,用 BabyGAN 預測試試

語言: CN / TW / HK

內容一覽:昨日,日本男星星野源通過事務所釋出宣告,宣佈結婚,新娘正是被不少男粉絲奉為「老婆」的新垣結衣。

原創:HyperAI超神經

關鍵詞:生成對抗網路   StyleGAN


「老婆嫁人了」、「星野源奪妻之痛」、「爺青結」……星野源和新垣結衣官宣結婚後,不少網友發出瞭如上感嘆。

二人曾共同出演日劇《逃避可恥但有用》
劇中兩位主角原本是“契約結婚”,後終成眷屬 二人曾共同出演日劇《逃避可恥但有用》,劇中兩位主角原本是“契約結婚”,後終成眷屬

還有一波網友在坦然接受「失戀」現狀後,轉而關心起新垣結衣和星野源的孩子來,生怕孩子長得不像媽媽。

image.png 微博網友對二人孩子長相,表現出了極大關心

藉助開源模型 BabyGAN,我們預測了新垣結衣和星野源未來孩子的長相。

「大河」是《逃避雖然可恥但有用》劇中,二人孩子的名字。

根據 BabyGAN 的預測, 如果新垣結衣跟星野源的孩子是個女孩的話,那麼不同年齡的大河可能長這樣:

image.png

BabyGAN 生成的女兒成長動圖

如果大河是個男孩的話,那麼不同年齡的大河可能長這樣:

image.png

BabyGAN 生成的兒子成長動圖

BabyGAN 到底是何方神器

BabyGAN 是一個基於 StyleGAN 的兒童長相預測器, 可以基於編碼器和生成器,輸入父親和母親的影象,經過神經網路的處理後,生成或預測未來孩子的長相。

預測方法: 使用基於 GAN 架構的神經網路模型,從輸入的父母影象中提取 latent representation,然後用演算法將其按一定比例混合,生成孩子影象。

image.png 父親(左)、預測長相(中)、母親(右)

利用 latency direction,可以改變年齡、面部朝向、情緒及性別等引數。

專案地址請訪問 Here 

編碼器請訪問 Here 

本教程主要演示了:

1、從本地載入訓練好的 BabyGAN 模型

2、準備父母雙方影象,並獲取其 latent representation

3、用模型生成孩子的面容

4、調整孩子的性別、年齡等引數,生成符合需求的孩子影象

安裝環境:Python:3.6;TensorFlow:1.15

image.png 調整孩子性別、年齡等屬性的示意動畫

注意事項:本教程推薦使用 GPU 執行

完整教程請訪問 Here

模型訓練過程詳解

1、準備工作

image.png

2、準備父母影象

image.png

3、生成孩子影象

image.png

4、生成具有某些特徵的孩子影象

image.png

完整教程請訪問 Here

StyleGAN 相關的高贊開源專案

BabyGAN 模型基於 StyleGAN,除此之外,基於 StyleGAN 和 StyleGAN2,還派生出了諸多優質開源專案。

StyleALAE

StyleALAE 是一個基於 StyleGAN 生成器的對抗隱性自動編碼器, 它不僅可以生成影象質量與 StyleGAN 相當的 1024 x 1024 人臉影象,而且在同樣的解析度下,還可以基於真實影象進行人臉重建和屬性更改。

image.png StyleALAE 架構示意圖

StyleALAE 編碼器使用 Instance Normalization (IN) 層來提取多尺度風格資訊, 這些資訊通過可學習的多重線性對映 (learnable multilinear map),組合成隱式程式碼 w。

相關論文:Here

專案地址:Here

StyleFlow

雖然使用 StyleGAN 可以輕鬆生成高質量、多樣化、逼真的影象,但是使用(語義)屬性控制生成過程、同時又保持高質量輸出,實現起來卻並不簡單。此外由於 GAN 潛在空間的糾纏特性, 沿著一個屬性編輯很容易引起其他屬性的變化。

為了解決糾纏潛在空間的條件化探索中,屬性條件化取樣 (attribute-conditioned sampling) 和屬性條件化編輯 (attribute- conditioned editing) 的問題, 科研人員提出了 StyleFlow。

image.png 利用 StyleFlow 可以針對某一屬性進行修改,而不引起其他屬性的變化,如只更改光照、姿勢、表情、性別等

用 StyleFlow 對真實影象進行非順序 (non-sequential) 編輯,針對老年人、非對稱等極端影象時,效果優於併發方法 (concurrent method)。

相關論文:Here

專案地址:Here

Pixel2style2pixel (pSp)

pSp 是一個用於影象到影象轉換的 StyleGAN 編碼器,它基於一個新型編碼網路,可以直接生成一系列風格向量,這些風格向量被輸入到預訓練 StyleGAN 生成器中,形成擴充套件的 w+ 潛在空間。

在 pSp 中,編碼器無需額外優化就可以直接將真實影象嵌入 w+ ,且利用編碼器可以直接解決影象到影象的轉換任務,並將其定義為從輸入域到潛在域的編碼問題。

image.png

pSp 在 StyleGAN 反演、多模態條件影象合成人臉正面化、影象修復和超解析度場景中的成果展示

pSp 可以在不改變結構的前提下,處理各種各樣的影象轉換任務, 如由分割圖生成人臉影象、人臉正面化、超解析度等。

相關論文:Here

專案地址:Here

GenForce

GenForce 是一個適用於 StyleGAN、StyleGAN2、PGGAN 等深度生成模型的高效 PyTorch 庫, 它具有以下特點:

1、分散式訓練框架

2、訓練速度快

3、模組化設計,適用於新模型的原型製作

4、與官方 TF 版本相比,高度再現了 StyleGAN 的訓練

5、包含眾多帶 Colab demo 的預訓練 GAN 模型

image.png

相關論文:Here

專案地址:Here

關於 OpenBayes

OpenBayes 是國內領先的機器智慧研究機構,提供算力容器、自動建模、自動調參等多項 AI 開發相關的基礎服務。

同時 OpenBayes 還上線了資料集、教程、模型等眾多主流公開資源, 供開發者快速學習並建立理想的機器學習模型。

現在訪問 openbayes.com 並註冊

即可享用

600 分鐘/周的 vGPU

以及 300 分鐘/周 的 CPU 免費計算時

快行動起來,用 BabyGAN 預測未來孩子長相吧!

完整教程傳送門:Here

Colab 傳送門:Here