中國風？古典系？AI中文繪圖創作嚐鮮！⛵

語言: CN / TW / HK
時間 2023-03-12 02:15:14

💡 引言

人工智能圖像生成器現在風靡一時。雖然 📘Dall-E2、 📘MidJourney和 📘Stable Diffusion目前處於中心舞台，但是百度開發的開源 AI 圖像生成器 📘ERNIE-ViLG 也在互聯網上流傳。

💡 ERNIE-ViLG 是什麼

ERNIE 代表通過知識整合增強表示——視覺語言生成。它是一個統一的生成預訓練框架，用於使用 Transformer 模型進行雙向圖像文本生成。

需要明確的是，ERNIE 並不是 Stable Duffusion 的一個變體版本，儘管這兩種模型都是開源的。根據 📘ERNIE論文，ERNIE-ViLG 2.0 是一種改進的文本到圖像擴散模型，具有知識增強的去噪專家組合，以結合有關視覺場景的額外知識，並在不同步驟中解耦去噪能力。

💡 ERNIE-ViLG 使用方法

現在可以通過 huggingface 免費訪問該模型。我們可以在 📘ERNIE-ViLG Demo 查看工具實例。

界面非常簡單:可以看到經典的提示框，各種藝術風格的選擇，以及圖像分辨率。在藝術風格方面，ERNIE 提供了一些有趣的選擇。這讓我想起了 📘Dream by WOMBO 中的一個類似功能。

讓我們用提示“An astronaut riding a horse in space”來生成樣本。

該應用程序生成六張分辨率為 1024x1024 的圖像。

ERNIE 的研究人員聲稱，他們的方法比 Dall-E2 和 Stable Diffusion 產生更清晰、更自然的細節。

真的嗎？現在讓我們嘗試將藝術風格更改為“油畫”。

這些結果本身都非常驚豔。

質量上，ERNIE 可以與 Dall-E2 和 Stable Diffusion 相媲美。但是，它在一致性方面表現不佳，就像在上面提到的，其中兩個結果中的馬無處可尋。這可能是訓練ERNIE的數據集較小所致。

不過，如果仔細考慮數據集的大小，訓練了 14.5 億張圖像的 ERNIE 與 MidJourney、Google Parti 等大型競爭對手的差距並不大。

也許開發人員找到了一種優化算法的方法，使其能夠在較小的數據集上運行良好。我假設如果模型是在更大的數據集上訓練的，現有的限制就會消失。

需要特別注意的是，ERNIE 是用中文開發的。這意味着，在開始圖像生成過程之前，必須將英文提示翻譯成中文。當然，使用中文的寶寶可以盡情玩耍~

這裏有更多示例結果。

上圖提示文字：“戴眼鏡的貓”風格“油畫”

上圖提示文字：“五官端正的繪畫女生”

💡 API 訪問 ERNIE-ViLG

您可以通過 API 訪問 ERNIE。如果您想嘗試使用 API，請按照這個 📘GitHub 上的指南進行操作。

示例 API 調用如下所示。

python def generate_image( text_prompts:str, style: Optional[str] = "探索無限", topk: Optional[int] = 6, output_dir: Optional[str] = 'ernievilg_output')

  • text_prompts：輸入提示
  • style ：生成圖像的風格
  • topk：生成圖像的數量（最多 6 個）
  • output_dir：保存輸出圖像的目錄

ERNIE 的使用指南還有一個建議列表，可幫助您找到結合使用樣式和修飾符的最佳方式。

  • 【作圖規則】Prompt構建是文本符合邏輯的組合，有序且豐富的描述可以不斷提升畫面效果
  • 【新手入門】不知如何輸入Prompt？點擊示例，體驗文生圖的魅力，參考教程，逐步進階~
  • 【風格生成】試試添加 “國潮”、“國風”等，感受中國風的魅力
  • 【風格生成】試試混合兩種代表性的風格，例如“賽博朋克，扁平化設計”、”皮克斯動畫，賽博朋克”
  • 【人像生成】添加“仙鶴、月亮、樓閣、小屋、街道、玫瑰、機械”，畫面會更飽滿
  • 【人像生成】添加“精緻面容、唯美、cg感、細節清晰“等，人物刻畫會更細緻
  • 【風格生成】添加“扁平化風格，logo”等，可以設計出各類圖標等，例如 “貓貓頭像，扁平化風格”
  • 【風格生成】指定顏色，或添加“煙霧繚繞”、“火焰”、“煙塵”、“花瓣”，生成畫面的氛圍感更飽滿
  • 【創意生成】發揮想象力，例如：“中西混搭”、“泰迪熊唱京劇”、“米老鼠吃火鍋”
  • 【風格生成】“水彩”，“水墨”與古詩組合，畫面意境會有提升~
  • 【風格生成】想要日系頭像和擬人化動物？試試關鍵詞“日系手繪”、“治癒風”
  • 【風格生成】添加“pixiv”，生成二次元或者動漫的畫質更驚豔

參考資料

「其他文章」
「」
「」