我報名參加金石計劃1期挑戰——瓜分10萬獎池，這是我的第30篇文章，點選檢視活動詳情

👀日報合輯 | 📆電子月刊 | 🔔公眾號下載資料 | 🍩@韓信子

工具&框架

🚧 『S3PRL』自監督語音預訓練和表徵學習工具包

https://github.com/s3prl/s3prl

https://s3prl.github.io/s3prl/

s3prl是一個語音開源工具包，它的名字來自於Self-Supervised Speech Pre-training and Representation Learning的縮寫。這個工具庫構建好了自監督的語音預訓練模型這個上游任務，可以遷移應用於各種下游任務。

🚧 『giget』Git庫命令列下載工具

https://github.com/unjs/giget

giget 是一個 git 庫命令列下載工具，具備如下特性：

• 支援流行的各種git平臺（GitHub、GitLab、Bitbucket、Sourcehut）開箱即用
• 內建和自定義模板登錄檔
• 使用tarball gzip快速下載，無需依賴本地git和tar
• 支援磁碟快取的線上和離線工作
• 支援使用子目錄下載
• 支援下載私人模板的授權

🚧 『Leetcode Anki card generator』把LeetCode題目生成卡片的刷題神器

https://github.com/prius/leetcode-anki

刷題神器，通過執行這個專案的指令碼，可以自動生成帶有所有leetcode問題的 Anki 卡片，方便刷題和學習。

🚧 『redframes』用於機器學習和視覺化的資料操縱庫

https://github.com/maxhumber/redframes

redframes（rectangular data frames）是一個用於機器學習和視覺化的資料操作工具庫。它與pandas完全互通，與scikit-learn相容，並且相容matplotlib工具庫。

redframes有著非常精簡的語法，讓大家專注於核心工作而無需一直檢視工具庫使用方法。

🚧 『PyPOTS』用於對部分觀測時間序列進行資料探勘 Python 工具箱/庫

https://github.com/WenjieDu/PyPOTS

PyPOTS 是一個用於時間序列資料探勘的 Python 工具庫，支援對具有缺失值的不完整多變數時間序列進行預測/計算/分類/聚類的任務。

博文&分享

👍 『Mathematics of Data Science』ETH Zurich · 資料科學數學基礎 · 課程課件下載

https://people.math.ethz.ch/~abandeira/

pdf下載：https://people.math.ethz.ch/~abandeira/BandeiraSingerStrohmer-MDS-draft.pdf

• Notes on this Draft and Current Status / 草稿與現狀說明
• Curses in High Dimensions / 維數災難
• Singular Value Decomposition and Principal Component Analysis / 奇異值分解和主成分分析
• Graphs, Networks, and Clustering / 圖、網路和聚類
• Nonlinear Dimension Reduction and Diffusion Maps / 非線性降維和擴散對映
• Concentration of Measure and Matrix Inequalities / 度量集中和矩陣不等式
• Max Cut, Lifting, and Approximation Algorithms / 最大切割、提升和逼近演算法
• Community Detection and the Power of Convex Relaxations / 社團檢測和凸鬆弛
• Linear Dimension Reduction via Random Projections / 隨機投影的線性降維
• Compressive Sensing and Sparsity / 壓縮感知和稀疏性

👍 『Self-Supervised Representation Learning for Speech Processing』(Interspeech 2022 Tutorial)面向語音處理的自監督表示學習

https://docs.google.com/presentation/d/12W-L8EPQ3SfCPmgNcSm4B-_Psksqmvw_O6YD8CULelY/edit?resourcekey=0-ZBTF2RG_dHWNqq9q_w-eeg#slide=id.p

教程包含以下主題：

• Historical Context of Representation Learning / 表徵學習的歷史背景
• Speech Representation Learning Paradigms / 語音表示學習正規化
• Multi-modal SSL / 多模式 SSL
• Benchmarks for Self-Supervised Learning Approaches / 自我監督學習方法的基準
• Analysis of Self-Supervised Representations / 自我監督表示的分析
• From Representation Learning to Zero Resources / 從表徵學習到零資源
• Topics beyond Accuracy / 超越準確性的主題
• Toolkits for Self-Supervised Speech Representation Learning / 自我監督語音表徵學習工具包

資料&資源

🔥 『Deep Learning Examples』深度學習例項集

https://github.com/LambdaLabsML/examples

集合收集了幾個不錯的深度學習例項，包含比較完整的專案說明和程式碼。

• Finetune Stable Diffusion text-to-image model / Stable Diffusion文字生成影象模型的微調
• YoloV5 - object detection example using YoloV5 / Yolov5：使用 Yolov5 的目標檢測示例
• GPTNeoX - Large Language Model Multi-Node Distributed Training / GPTNEOX：大語言模型多節點分散式訓練
• Experiment Tracking / 實驗跟蹤
• PyTorch DDP - Multi node training with PyTorch DDP, torch.distributed.launch, torchrun and mpirun / Pytorch DDP：使用Pytorch DDP、Torch.distributed.Launch、Torchrun和Mpirun進行多節點訓練

研究&論文

公眾號後臺回覆關鍵字 日報，免費獲取整理好的論文合輯。

科研進展

• 2022.09.06 『影象生成』 A Survey on Generative Diffusion Model
• 2022.09.14 『對比學習』 SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding
• 2022.09.08 『人臉合成』 Text-Free Learning of a Natural Language Interface for Pretrained Face Generators

⚡ 論文：A Survey on Generative Diffusion Model

論文時間：6 Sep 2022

領域任務：影象生成

論文地址：https://arxiv.org/abs/2209.02646

程式碼實現：https://github.com/chq1155/A-Survey-on-Generative-Diffusion-Model

論文作者：Hanqun Cao, Cheng Tan, Zhangyang Gao, Guangyong Chen, Pheng-Ann Heng, Stan Z. Li

論文簡介：This survey makes a summary of the field of the diffusion model./這份調查報告對擴散模型的領域做了一個總結。

論文摘要：得益於深度潛伏表徵，深度學習在生成任務中顯示出巨大潛力。生成模型是一類能夠隨機生成與某些隱含引數有關的觀察結果的模型。最近，擴散模型憑藉其強大的生成能力，成為生成模型的一個提升類別。如今，已經取得了巨大的成就。除了計算機視覺、語音生成、生物資訊學和自然語言處理之外，更多的應用將在這一領域得到探索。然而，擴散模型有其天然的缺點，即生成過程緩慢，導致了許多增強的工作。本調查對擴散模型的領域進行了總結。我們首先通過兩個里程碑式的工作--DDPM和DSM來說明主要問題。然後，我們提出了多種加快擴散模型的先進技術--訓練計劃、無訓練抽樣、混合建模和分數與擴散統一。關於現有模型，我們還根據具體的NFE提供了FID得分、IS和NLL的基準。此外，我們還介紹了擴散模型的應用，包括計算機視覺、序列建模、音訊和人工智慧的科學。最後，我們對這一領域進行了總結，並提出了限制和進一步的方向。

⚡ 論文：SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding

論文時間：14 Sep 2022

領域任務：Contrastive Learning，對比學習

論文地址：https://arxiv.org/abs/2209.06638

程式碼實現：https://github.com/alibabaresearch/damo-convai

論文作者：Wanwei He, Yinpei Dai, Binyuan Hui, Min Yang, Zheng Cao, Jianbo Dong, Fei Huang, Luo Si, Yongbin Li

論文簡介：Pre-training methods with contrastive learning objectives have shown remarkable success in dialog understanding tasks./具有對比性學習目標的預訓練方法在對話理解任務中顯示出了明顯的成功。

論文摘要：具有對比性學習目標的預訓練方法在對話理解任務中顯示出明顯的成功。然而，目前的對比性學習僅將自我增強的對話樣本視為積極的樣本，而將所有其他的對話樣本視為消極的樣本，這使得即使是語義相關的對話也有不同的表徵。在本文中，我們提出了SPACE-2，一個樹狀結構的預訓練對話模型，它通過半監督的對比性預訓練，從有限的已標記的對話和大規模的未標記的對話體中學習對話表徵。具體來說，我們首先定義了一個通用的語義樹結構（STS）來統一不同對話資料集的不一致的註釋模式，這樣就可以利用所有標記資料中儲存的豐富結構資訊。然後，我們提出了一個新穎的多檢視得分函式，以提高所有可能的對話的相關性，這些對話共享相似的STS，並且在監督對比預訓練期間只推開其他完全不同的對話。為了充分利用未標記的對話，還增加了一個基本的自監督對比損失，以完善所學的表徵。實驗表明，我們的方法可以在由七個資料集和四個流行的對話理解任務組成的DialoGLUE基準上取得最先進的結果。為了保證可重複性，我們將程式碼和資料釋出在 https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/space-2

⚡ 論文：Text-Free Learning of a Natural Language Interface for Pretrained Face Generators

論文時間：8 Sep 2022

領域任務：Face Generation，人臉合成

論文地址：https://arxiv.org/abs/2209.03953

程式碼實現：https://github.com/duxiaodan/fast_text2stylegan

論文作者：Xiaodan Du, Raymond A. Yeh, Nicholas Kolkin, Eli Shechtman, Greg Shakhnarovich

論文簡介：We propose Fast text2StyleGAN, a natural language interface that adapts pre-trained GANs for text-guided human face synthesis./我們提出了Fast text2StyleGAN，這是一個自然語言介面，可以將預先訓練好的GANs用於文字指導的人臉合成。

論文摘要：我們提出了Fast text2StyleGAN，這是一個自然語言介面，可以將預先訓練好的GANs適應於文字指導的人臉合成。利用對比性語言-影象預訓練（CLIP）的最新進展，在訓練期間不需要文字資料。Fast text2StyleGAN被表述為一個條件變異自動編碼器（CVAE），在測試時為生成的影象提供額外的控制和多樣性。我們的模型在遇到新的文字提示時不需要重新訓練或微調GANs或CLIP。與之前的工作相比，我們不依賴於測試時的優化，使我們的方法比之前的工作快了好幾個數量級。根據經驗，在FFHQ資料集上，與之前的工作相比，我們的方法能更快、更準確地從具有不同細節水平的自然語言描述中生成影象。

我們是 ShowMeAI，致力於傳播AI優質內容，分享行業解決方案，用知識加速每一次技術成長！

◉ 點選 日報合輯，在公眾號內訂閱話題 #ShowMeAI資訊日報，可接收每日最新推送。

◉ 點選 電子月刊，快速瀏覽月度合輯。