伯克利『全栈深度学习』2022最新课程;谷歌『基于Transformers的通用超参数优化』经验分享;动图编辑器;前沿论文 | ShowMeAI资讯日报

语言: CN / TW / HK

我报名参加金石计划1期挑战——瓜分10万奖池,这是我的第X篇文章,点击查看活动详情

👀日报合辑 | 📆电子月刊 | 🔔公众号下载资料 | 🍩@韩信子

工具&框架

🚧 『PyDeepFakeDet』Deepfake 换脸检测库

https://github.com/wangjk666/PyDeepFakeDet

PyDeepFakeDet 是由复旦大学视觉与学习实验室开发的一个集成的、可扩展的 Deepfake 检测工具。

其目标是提供最先进的 Deepfake 检测模型,以及在常用的 Deepfake 数据集上训练和评估新模型的接口。

🚧 『EasyCV』PyTorch 一站式计算机视觉工具箱

https://github.com/alibaba/EasyCV

EasyCV 是一个涵盖多个领域的基于 Pytorch 的计算机视觉工具箱,聚焦自监督学习和视觉transformer关键技术,覆盖主流的视觉建模任务例如图像分类,度量学习,目标检测,关键点检测等。

🚧 『Motionity』Web 界面的动图编辑器

https://github.com/alyssaxuu/motionity

Motionity 是一个免费和开源的网络动画编辑器。它是 After Effects 和 Canva 的混合体,具有强大的功能,如关键帧、遮盖、过滤等,并集成了浏览内容的功能,轻松拖入你的视频即可处理。

🚧 『Jumanji』用 JAX 写的行业驱动的硬件加速强化学习环境

https://github.com/instadeepai/jumanji

https://instadeepai.github.io/jumanji/

Jumanji 是一套用 JAX 编写的强化学习(RL)环境,为行业驱动的研究提供干净、硬件加速的环境。 Jumanji 的高速环境能够实现更快的迭代和更大规模的实验,同时降低复杂性。Jumanji 起源于 InstaDeep 的研究团队。

🚧 『OCRmyPDF』为扫描 PDF 增加 OCR 功能

https://github.com/ocrmypdf/OCRmyPDF

http://ocrmypdf.readthedocs.io/

PDF 是存储和交换扫描文件的最佳格式,但是难以修改。 OCRmyPDF 工具将图像处理和 OCR 文字识别功能应用于 PDF 编辑,轻松地为扫描的 PDF 文件添加 OCR 文本层,使其能够被搜索或复制粘贴。

博文&分享

👍 『Full Stack Deep Learning』伯克利·全栈深度学习·(2022 免费课程)

https://fullstackdeeplearning.com/course/2022/

https://www.youtube.com/playlist?list=PL1T8fO7ArWleMMI8KPJ_5D5XSlovTW_Ur

FSDL是一个学习社区,将人们聚集在一起,学习和分享全栈最佳实践:从问题选择、数据管理和选择 GPU 到 Web 部署、监控和再培训。这是2022年最新版『全栈深度学习课程』,内容包括:

  • ① 深度学习技术(包括CNN, RNN, Transformers等)
  • ② AI伦理内容(介绍responsible AI/Ethics的一些研究内容)
  • ③ 测试跟模型解释(其中对测试部分的归纳非常系统)、AI部署和监控

课程安排如下

  • 第1讲:课程愿景和何时使用 ML
  • 第2讲:开发基础设施和工具
  • 第3讲:故障排除和测试
  • 第4讲:数据管理
  • 第5讲:数据管理
  • 第6讲:持续学习

实验安排如下

  • 实验1-3:CNN、Transformers、PyTorch Lightning
  • 实验4:实验管理
  • 实验5:故障排除和测试
  • 实验6:数据注释
  • 实验7:Web 部署
  • 实验8:Web 部署

👍 『OptFormer: Towards Universal Hyperparameter Optimization with Transformers』基于 Transformers 的通用超参数优化

https://ai.googleblog.com/2022/08/optformer-towards-universal.html

超参数优化对机器学习非常重要,对于机器学习模型的性能具有决定性的作用。在 Google 公司内部,Google Vizier 作为默认使用的机器学习部署过程的超参数优化平台,在过去 5 年中被调用超 1000 万次。

这篇 Google 的博客分享了 OptFormer 这一基于 Transformer 的超参数调整框架,使用灵活的、基于文本的表示,从Google Vizier 追踪到的大规模优化数据中学习。

数据&资源

🔥 『Representation Learning for Reinforcement Learning』面向强化学习的表示学习相关文献列表

https://github.com/fuyw/RepL4RL

🔥 『Awesome Stable-Diffusion』Stable Diffusion 模型相关资源大列表

https://github.com/awesome-stable-diffusion/awesome-stable-diffusion

研究&论文

公众号后台回复关键字 日报,免费获取整理好的论文合辑。

科研进展

  • 2022.08.04 『看图说话』 Prompt Tuning for Generative Multimodal Pretrained Models
  • 2022.09.02 『看图说话』 LiteDepth: Digging into Fast and Accurate Depth Estimation on Mobile Devices
  • 2022.08.31 『计算机视觉』 Dual-Space NeRF: Learning Animatable Avatars and Scene Lighting in Separate Spaces

⚡ 论文:Prompt Tuning for Generative Multimodal Pretrained Models

论文时间:4 Aug 2022

领域任务:Image Captioning, Visual Entailment, 看图说话

论文地址:https://arxiv.org/abs/2208.02532

代码实现:https://github.com/ofa-sys/ofa

论文作者:Hao Yang, Junyang Lin, An Yang, Peng Wang, Chang Zhou, Hongxia Yang

论文简介:Prompt tuning has become a new paradigm for model tuning and it has demonstrated success in natural language pretraining and even vision pretraining./调优prompt已成为模型调优的新范式,它已在自然语言预训练甚至视觉预训练中显示出成功。

论文摘要:调优prompt已成为模型调优的新范式,它在自然语言预训练甚至视觉预训练中都表现出了成功。在这项工作中,我们探索了提示调谐向多模态预训练的转移,重点是生成性多模态预训练模型,而不是对比性模型。具体来说,我们在统一的序列到序列的预训练模型上实施提示调谐,以适应理解和生成任务。实验结果表明,轻量级的提示调谐可以达到与微调相当的性能,并且超过了其他轻量级的调谐方法。此外,与微调模型相比,提示性调谐模型对对抗性攻击表现出更好的鲁棒性。我们进一步发现,包括提示长度、提示深度和重新参数化在内的实验因素对模型性能有很大的影响,因此我们从经验上对提示调谐的设置提出了建议。尽管观察到了这些优点,我们仍然发现了提示调谐的一些局限性,并相应地指出了未来研究的方向。代码可在 https://github.com/OFA-Sys/OFA 获取。

⚡ 论文:LiteDepth: Digging into Fast and Accurate Depth Estimation on Mobile Devices

论文时间:2 Sep 2022

领域任务:Data Augmentation, Monocular Depth Estimation,数据增强

论文地址:https://arxiv.org/abs/2209.00961

代码实现:https://github.com/zhyever/litedepth

论文作者:Zhenyu Li, Zehui Chen, Jialei Xu, Xianming Liu, Junjun Jiang

论文简介:Notably, our solution named LiteDepth ranks 2nd in the MAI&AIM2022 Monocular Depth Estimation Challenge}, with a si-RMSE of 0. 311, an RMSE of 3. 79, and the inference time is 37$ms$ tested on the Raspberry Pi 4./值得注意的是,我们名为LiteDepth的解决方案在MAI&AIM2022单眼深度估计挑战赛}中排名第二,在Raspberry Pi 4上测试的si-RMSE为0.311,RMSE为3.79,推理时间为37ms。

论文摘要:单眼深度估计是计算机视觉界的一项重要任务。虽然很多成功的方法都取得了很好的效果,但它们中的大多数都是计算昂贵的,而且不适用于实时的设备推断。在本文中,我们的目标是解决单眼深度估计的更多实际应用,其中的解决方案不仅要考虑精度,还要考虑移动设备上的推理时间。为此,我们首先开发了一个基于端到端学习的模型,其权重大小很小(1.4MB),推理时间很短(在Raspberry Pi 4上为27FPS)。然后,我们提出了一个简单而有效的数据扩充策略,称为R2 crop,以提高模型的性能。此外,我们观察到,只用一个单一损失项训练的简单轻量级模型将遭受性能瓶颈。为了缓解这个问题,我们采用了多个损失项来在训练阶段提供足够的约束。此外,通过一个简单的动态再加权策略,我们可以避免耗时的损失项的超参数选择。最后,我们采用了结构感知的蒸馏法来进一步提高模型的性能。值得注意的是,我们名为LiteDepth的解决方案在MAI&AIM2022单眼深度估计挑战赛}中排名第二,si-RMSE为0.311,RMSE为3.79,在Raspberry Pi 4上测试的推理时间为37ms。值得注意的是,我们提供了该挑战的最快解决方案。代码和模型将在 https://github.com/zhyever/LiteDepth 上发布。

⚡ 论文:Dual-Space NeRF: Learning Animatable Avatars and Scene Lighting in Separate Spaces

论文时间:31 Aug 2022

领域任务计算机视觉

论文地址:https://arxiv.org/abs/2208.14851

代码实现:https://github.com/zyhbili/Dual-Space-NeRF

论文作者:YiHao Zhi, Shenhan Qian, Xinhao Yan, Shenghua Gao

论文简介:Previous methods alleviate the inconsistency of lighting by learning a per-frame embedding, but this operation does not generalize to unseen poses./以前的方法通过学习每一帧的嵌入来缓解照明的不一致性,但这种操作并不能推广到未见过的姿势。

论文摘要:在一个典型的空间中对人体进行建模是捕捉和动画的一种常见做法。但当涉及到神经辐射场(NeRF)时,在典范空间中学习静态的NeRF是不够的,因为即使场景照明是恒定的,当人移动时,身体的照明也会发生变化。以前的方法通过学习每一帧的嵌入来缓解光照的不一致性,但这种操作并不能推广到未见过的姿势。鉴于照明条件在世界空间中是静态的,而人体在典型空间中是一致的,我们提出了一个双空间的NeRF,用两个MLPs在两个独立的空间中模拟场景照明和人体。为了连接这两个空间,以前的方法大多依靠线性混合蒙皮(LBS)算法。然而,动态神经场的LBS的混合权重是难以解决的,因此通常用另一个MLP来记忆,这对新的姿势没有通用性。虽然可以借用参数化网格的混合权重,如SMPL,但插值操作会引入更多的伪影。在本文中,我们建议使用巴里中心映射,它可以直接泛化到未见过的姿势,并且令人惊讶地取得了比使用神经混合权重的LBS更好的结果。在Human3.6M和ZJU-MoCap数据集上的定量和定性结果表明了我们方法的有效性。

我们是 ShowMeAI,致力于传播AI优质内容,分享行业解决方案,用知识加速每一次技术成长!

◉ 点击 日报合辑,在公众号内订阅话题 #ShowMeAI资讯日报,可接收每日最新推送。

◉ 点击 电子月刊,快速浏览月度合辑。

「其他文章」