谷歌工程师『代码补全』工具;『Transformers NLP』随书代码;FastAPI开发模板;PyTorch模型加速工具;前沿论文 | ShowMeAI资讯

语言: CN / TW / HK

携手创作,共同成长!这是我参与「掘金日新计划 · 8 月更文挑战」的第3天,点击查看活动详情

ShowMeAI日报系列全新升级!覆盖AI人工智能 工具&框架 | 项目&代码 | 博文&分享 | 数据&资源 | 研究&论文 等方向。点击查看 历史文章列表,在公众号内订阅话题 #ShowMeAI资讯日报,可接收每日最新推送。点击 专题合辑&电子月刊 快速浏览各专题全集。

工具&框架

🚧 『FastAPI template』FastAPI 开发模板

https://github.com/s3rius/FastAPI-template

🚧 『Robustar』鲁棒视觉分类交互式工具箱

https://github.com/HaohanWang/Robustar

Robustar 是一个交互式工具箱,用于精确数据注释(Pricise Data Annotation)和 鲁棒视觉学习(and Robust Vision Learning)。

🚧 『TensorNVME』在 CPU 和 NVMe 之间传输 PyTorch 张量的工具库

https://github.com/hpcaitech/TensorNVMe

🚧 『LiteFS』分布式 SQLite 复制系统

https://github.com/superfly/litefs

LiteFS 是一个基于 FUSE 的文件系统,用于跨机器集群复制 SQLite 数据库。它作为一个直通式文件系统(passthrough file system),拦截对 SQLite 数据库的写入,以检测事务边界并在 LTX 文件中记录每个事务级(per-transaction leve)的变化。

🚧 『HedgeDoc』写作与分享 Markdown 的最佳平台

https://github.com/hedgedoc/hedgedoc

https://hedgedoc.org/

🚧 『Sparsebit』PyTorch 模型压缩/加速工具包

https://github.com/megvii-research/Sparsebit

Sparsebit 是旷视 MEGVII 开源的工具包,具备prune、quantization两个功能的,协助研究人员在已有的 PyTorch 工程代码中通过少量的代码修改实现网络的压缩与加速。可以在B站(BV13a411p7PC)查看更多视频介绍。

博文&分享

👍 用机器学习增强的『代码补全』功能提高开发人员工作效率

https://ai.googleblog.com/2022/07/ml-enhanced-code-completion-improves.html

这是一篇来自谷歌 AI 博客的博文——ML-Enhanced Code Completion Improves Developer Productivity,分享了一种结合 ML 和 SE 技术开发的『基于混合语义的机器学习代码补全』Transformer,现在可供 Google 内部开发人员使用。

👍 『Transformers 自然语言处理(第二版)』随书代码

http://github.com/Denis2054/Transformers-for-NLP-2nd-Edition

《Transformers自然语言处理(第二版)》随书代码,内容覆盖各种前沿主流模型 Transformers、GPT-3、DeBERTa、vision models 等,也覆盖 Hugging Face、OpenAI API、Trax 和 AllenNLP 等 NLP 平台。

数据&资源

🔥 『Awesome RCE techniques』

https://github.com/p0dalirius/Awesome-RCE-techniques

https://podalirius.net/en/

Awesome RCE techniques 项目提供了一个开源知识数据库,包含在各种应用程序上实现远程代码执行 (RCE) 的所有技术。

研究&论文

公众号回复关键字日报,免费获取整理好的论文合辑。

科研进展

  • 2022.07.21 『计算机视觉』AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance Fields
  • 2022.07.20 『计算机视觉』3D Clothed Human Reconstruction in the Wild
  • CVPR 2022『计算机视觉』 RePaint: Inpainting using Denoising Diffusion Probabilistic Models
  • 2022.07.20 『计算机视觉』NUWA-Infinity: Autoregressive over Autoregressive Generation for Infinite Visual Synthesis

⚡ 论文:AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance Fields

论文时间:21 Jul 2022

所属领域计算机视觉

对应任务:Novel View Synthesis,新视角的合成

论文地址:https://arxiv.org/abs/2207.10312

代码实现:https://github.com/thomasneff/AdaNeRF

论文作者:Andreas Kurz, Thomas Neff, Zhaoyang Lv, Michael Zollhöfer, Markus Steinberger

论文简介:However, rendering images with this new paradigm is slow due to the fact that an accurate quadrature of the volume rendering equation requires a large number of samples for each ray./然而,用这种新模式渲染图像的速度很慢,因为体积渲染方程的精确正交需要对每条射线进行大量的采样。

论文摘要:最近,通过直接从稀疏观测中学习神经辐射场,新视角合成已经发生了革命性的变化。然而,用这种新模式渲染图像的速度很慢,因为体积渲染方程的精确正交需要每条射线的大量样本。以前的工作主要集中在加快与每个样本点相关的网络评估,例如,通过将辐射度值缓存到明确的空间数据结构中,但这是以牺牲模型的紧凑性为代价的。在本文中,我们提出了一个新颖的双网络结构,通过学习如何最好地减少所需样本点的数量,采取了一个正交的方向。为此,我们将我们的网络分成采样和阴影网络,共同进行训练。我们的训练方案沿每条射线采用固定的采样位置,并在整个训练过程中逐步引入稀疏性,以便在低采样数时也能达到高质量。在对目标样本数进行微调后,所得到的紧凑的神经表征可以被实时渲染。我们的实验表明,我们的方法在质量和帧率方面优于紧凑神经表征,并且与高效的混合表征表现相当。代码和补充材料可在https://thomasneff.github.io/adanerf获取。

⚡ 论文:3D Clothed Human Reconstruction in the Wild

论文时间:20 Jul 2022

所属领域计算机视觉

对应任务:3D重建

论文地址:https://arxiv.org/abs/2207.10053

代码实现:https://github.com/hygenie1228/clothwild_release

论文作者:Gyeongsik Moon, Hyeongjin Nam, Takaaki Shiratori, Kyoung Mu Lee

论文简介:Although much progress has been made in 3D clothed human reconstruction, most of the existing methods fail to produce robust results from in-the-wild images, which contain diverse human poses and appearances./虽然在三维衣着人体重建方面取得了很大进展,但现有的大多数方法无法从包含不同人体姿势和外观的野外图像中产生稳健的结果。

论文摘要:尽管在三维衣着人体重建方面已经取得了很大的进展,但现有的大多数方法都不能从包含不同人体姿势和外观的野外图像中产生稳健的结果。这主要是由于训练数据集和野外数据集之间存在很大的领域(分布)差距。训练数据集通常是合成数据集,其中包含来自GT三维扫描的渲染图像。然而,与真实的野外数据集相比,这些数据集包含简单的人体姿势和不太自然的图像外观,这使得将其推广到野外图像中具有极大的挑战性。为了解决这个问题,在这项工作中,我们提出了ClothWild,一个三维衣着人体重建框架,首先解决了野外图像的鲁棒性问题。首先,对于领域差距的鲁棒性,我们提出了一个弱监督的管道,可以用野外数据集的2D监督目标进行训练。其次,我们设计了一个基于DensePose的损失函数来减少弱监督的模糊性。在几个公开的野外数据集上进行的广泛的经验测试表明,我们提出的ClothWild比最先进的方法产生了更准确和稳健的结果。这些代码可在这里获取:https://github.com/hygenie1228/ClothWild_RELEASE。

⚡ 论文:RePaint: Inpainting using Denoising Diffusion Probabilistic Models

论文时间:CVPR 2022

所属领域计算机视觉

对应任务:Denoising,Image Inpainting,图像降噪,图像重绘

论文地址:https://arxiv.org/abs/2201.09865

代码实现:https://github.com/andreas128/RePaint,https://github.com/lucidrains/DALLE2-pytorch

论文作者:Andreas Lugmayr, Martin Danelljan, Andres Romero, Fisher Yu, Radu Timofte, Luc van Gool

论文简介:In this work, we propose RePaint: A Denoising Diffusion Probabilistic Model (DDPM) based inpainting approach that is applicable to even extreme masks./在这项工作中,我们提出了RePaint。一种基于去噪扩散概率模型(DDPM)的绘画方法,它甚至适用于极端的掩码。

论文摘要:自由形式的绘画是在任意二进制遮蔽指定的区域内向图像添加新内容的任务。大多数现有的方法都是针对面具的某种分布进行训练,这限制了它们对未见过的面具类型的概括能力。此外,用像素级和感知损失进行训练往往会导致对缺失区域的简单纹理扩展,而不是有语义的生成。在这项工作中,我们提出了RePaint。一种基于去噪扩散概率模型(DDPM)的绘画方法,甚至适用于极端的遮罩。我们采用预训练的无条件DDPM作为生成的先验。为了调节生成过程,我们只通过使用给定的图像信息对未遮盖的区域进行采样来改变反向扩散迭代。由于这种技术并不修改或调节原始DDPM网络本身,该模型对于任何绘画形式都能产生高质量和多样化的输出图像。我们对我们的方法进行了验证,它既适用于人脸,也适用于使用标准和极端遮罩的通用图像涂抹。RePaint在六种面具分布中至少有五种的表现优于最先进的自回归和GAN方法。Github地址:git.io/RePaint

⚡ 论文:NUWA-Infinity: Autoregressive over Autoregressive Generation for Infinite Visual Synthesis

论文时间:20 Jul 2022

所属领域计算机视觉

对应任务:Video Generation,视频生成

论文地址:https://arxiv.org/abs/2207.09814

代码实现:https://github.com/microsoft/nuwa

论文作者:Chenfei Wu, Jian Liang, Xiaowei Hu, Zhe Gan, JianFeng Wang, Lijuan Wang, Zicheng Liu, Yuejian Fang, Nan Duan

论文简介:In this paper, we present NUWA-Infinity, a generative model for infinite visual synthesis, which is defined as the task of generating arbitrarily-sized high-resolution images or long-duration videos./在本文中,我们提出了NUWA-Infinity,一个用于无限视觉合成的生成模型,它被定义为生成任意大小的高分辨率图像或长时间的视频的任务。

论文摘要:在本文中,我们提出了NUWA-Infinity,这是一个用于无限视觉合成的生成模型,它被定义为生成任意大小的高分辨率图像或长时间的视频的任务。我们提出了一个自回归大于自回归的生成机制来处理这个可变大小的生成任务,其中一个全局补丁级的自回归模型考虑了补丁之间的依赖关系,而一个局部标记级的自回归模型考虑了每个补丁内视觉标记之间的依赖关系。在不牺牲补丁级依赖性模型的前提下,引入了一个邻近上下文池(NCP)来缓存已经生成的相关补丁作为当前正在生成的补丁的上下文,这可以大大节省计算成本。任意方向控制器(ADC)用于为不同的视觉合成任务决定合适的生成顺序,并学习顺序意识到的位置嵌入。与DALL-E、Imagen和Parti相比,NUWA-Infinity可以生成具有任意大小的高分辨率图像,并额外支持长时间的视频生成。与同样涵盖图像和视频的NUWA相比,NUWA-Infinity在分辨率和可变尺寸生成方面具有更优越的视觉合成能力。GitHub的链接是https://github.com/microsoft/NUWA。主页的链接是https://nuwa-infinity.microsoft.com。

我们是 ShowMeAI,致力于传播AI优质内容,分享行业解决方案,用知识加速每一次技术成长!点击查看 历史文章列表,在公众号内订阅话题 #ShowMeAI资讯日报,可接收每日最新推送。点击 专题合辑&电子月刊 快速浏览各专题全集。

「其他文章」