中国风?古典系?AI中文绘图创作尝鲜!⛵
- 💡 作者:韩信子@ShowMeAI
- 📘 深度学习实战系列:https://www.showmeai.tech/tutorials/42
- 📘 本文地址:https://www.showmeai.tech/article-detail/413
- 📢 声明:版权所有,转载请联系平台与作者并注明出处
- 📢 收藏ShowMeAI查看更多精彩内容
💡 引言
人工智能图像生成器现在风靡一时。虽然 📘Dall-E2、 📘MidJourney和 📘Stable Diffusion目前处于中心舞台,但是百度开发的开源 AI 图像生成器 📘ERNIE-ViLG 也在互联网上流传。
💡 ERNIE-ViLG 是什么
ERNIE 代表通过知识整合增强表示——视觉语言生成。它是一个统一的生成预训练框架,用于使用 Transformer 模型进行双向图像文本生成。
需要明确的是,ERNIE 并不是 Stable Duffusion 的一个变体版本,尽管这两种模型都是开源的。根据 📘ERNIE论文,ERNIE-ViLG 2.0 是一种改进的文本到图像扩散模型,具有知识增强的去噪专家组合,以结合有关视觉场景的额外知识,并在不同步骤中解耦去噪能力。
💡 ERNIE-ViLG 使用方法
现在可以通过 huggingface 免费访问该模型。我们可以在 📘ERNIE-ViLG Demo 查看工具实例。
界面非常简单:可以看到经典的提示框,各种艺术风格的选择,以及图像分辨率。在艺术风格方面,ERNIE 提供了一些有趣的选择。这让我想起了 📘Dream by WOMBO 中的一个类似功能。
让我们用提示“An astronaut riding a horse in space”来生成样本。
该应用程序生成六张分辨率为 1024x1024 的图像。
ERNIE 的研究人员声称,他们的方法比 Dall-E2 和 Stable Diffusion 产生更清晰、更自然的细节。
真的吗?现在让我们尝试将艺术风格更改为“油画”。
这些结果本身都非常惊艳。
质量上,ERNIE 可以与 Dall-E2 和 Stable Diffusion 相媲美。但是,它在一致性方面表现不佳,就像在上面提到的,其中两个结果中的马无处可寻。这可能是训练ERNIE的数据集较小所致。
不过,如果仔细考虑数据集的大小,训练了 14.5 亿张图像的 ERNIE 与 MidJourney、Google Parti 等大型竞争对手的差距并不大。
也许开发人员找到了一种优化算法的方法,使其能够在较小的数据集上运行良好。我假设如果模型是在更大的数据集上训练的,现有的限制就会消失。
需要特别注意的是,ERNIE 是用中文开发的。这意味着,在开始图像生成过程之前,必须将英文提示翻译成中文。当然,使用中文的宝宝可以尽情玩耍~
这里有更多示例结果。
上图提示文字:“戴眼镜的猫”风格“油画”
上图提示文字:“五官端正的绘画女生”
💡 API 访问 ERNIE-ViLG
您可以通过 API 访问 ERNIE。如果您想尝试使用 API,请按照这个 📘GitHub 上的指南进行操作。
示例 API 调用如下所示。
python
def generate_image(
text_prompts:str,
style: Optional[str] = "探索无限",
topk: Optional[int] = 6,
output_dir: Optional[str] = 'ernievilg_output')
text_prompts
:输入提示style
:生成图像的风格topk
:生成图像的数量(最多 6 个)output_dir
:保存输出图像的目录
ERNIE 的使用指南还有一个建议列表,可帮助您找到结合使用样式和修饰符的最佳方式。
- 【作图规则】Prompt构建是文本符合逻辑的组合,有序且丰富的描述可以不断提升画面效果
- 【新手入门】不知如何输入Prompt?点击示例,体验文生图的魅力,参考教程,逐步进阶~
- 【风格生成】试试添加 “国潮”、“国风”等,感受中国风的魅力
- 【风格生成】试试混合两种代表性的风格,例如“赛博朋克,扁平化设计”、”皮克斯动画,赛博朋克”
- 【人像生成】添加“仙鹤、月亮、楼阁、小屋、街道、玫瑰、机械”,画面会更饱满
- 【人像生成】添加“精致面容、唯美、cg感、细节清晰“等,人物刻画会更细致
- 【风格生成】添加“扁平化风格,logo”等,可以设计出各类图标等,例如 “猫猫头像,扁平化风格”
- 【风格生成】指定颜色,或添加“烟雾缭绕”、“火焰”、“烟尘”、“花瓣”,生成画面的氛围感更饱满
- 【创意生成】发挥想象力,例如:“中西混搭”、“泰迪熊唱京剧”、“米老鼠吃火锅”
- 【风格生成】“水彩”,“水墨”与古诗组合,画面意境会有提升~
- 【风格生成】想要日系头像和拟人化动物?试试关键词“日系手绘”、“治愈风”
- 【风格生成】添加“pixiv”,生成二次元或者动漫的画质更惊艳
参考资料
- 感谢飞书放过幕布!100个GPT-4实战案例;GPT-4免费平替Poe;AI绘画新手指南之SD篇;new Bing靠谱教程 | ShowMeAI日报
- whylogs工具库的工业实践!机器学习模型流程与效果监控 ⛵
- 脉脉疯传!2023年程序员生存指南;多款prompt效率加倍工具;提示工程师最全秘籍;AI裁员正在发生 | ShowMeAI日报
- 中国风?古典系?AI中文绘图创作尝鲜!⛵
- Python中内置数据库!SQLite使用指南!
- Pandas中你一定要掌握的时间序列相关高级功能
- 数据科学家赚多少?数据全分析与可视化 ⛵
- 交互式仪表板!Python轻松完成!⛵
- ChatGPT!我是你的破壁人;比尔·盖茨不看好Web3与元宇宙;FIFA押中4届世界杯冠军;GitHub今日热榜 | ShowMeAI资讯日报
- ChatGPT要收费了;华尔街大裁员;阿里2023十大科技趋势;小红书元宇宙虚拟服饰被吐槽;GitHub今日热榜 | ShowMeAI资讯日报
- AI创业时代!这9个方向有钱途;AIGC再添霸榜应用Lensa;美团SemEval2022冠军方法分享;医学图像处理工具箱… | ShowMeAI资讯日报
- 嘘!P站数据分析年报;各省市疫情感染进度条;爱奇艺推出元宇宙App;You推出AI聊天机器人;GitHub今日热榜 | ShowMeAI资讯日报
- 美国公司裁员潮时间线◉科技寒冬可视化;3份报告回顾中国开发者2022;自动驾驶下半场,谁会冲出重围 | ShowMeAI每周通讯 #005-01.07
- 副业月入过万?数据有话说;扫地机器人发展到哪步了;疫情后要不要重返办公室;淘宝元宇宙直播间;GitHub今日热榜 | ShowMeAI资讯日报
- 大战谷歌!微软Bing引入ChatGPT;羊了个羊40万年薪招研发;Debian彻底移除Python2;GitHub今日热榜 | ShowMeAI资讯日报
- 酸了!乐视工作制改为四天半;高通新年裁员;AI绘画公司开始倒闭;网易入股张艺谋元宇宙公司;GitHub今日热榜 | ShowMeAI资讯日报
- 要么干要么滚!推特开始裁员了;深度学习产品应用·随书代码;可分离各种乐器音源的工具包;Transformer教程;前沿论文 | ShowMeAI资讯日报
- 真实世界的人工智能应用落地——OpenAI篇 ⛵
- 阳过→阳康,数据里的时代侧影;谷歌慌了!看各公司如何应对ChatGPT;两份优质AI年报;本周技术高光时刻 | ShowMeAI每周通讯 #003-12.24
- 用魔法打败魔法!这件毛衣让摄像头看不到你;两款酷炫的AI写作软件;快如闪电的B站下载工具;基于扩散模型的蛋白质设计 | ShowMeAI资讯日报