好耶!谷歌推出AI醫學成像套件;『深度學習數學工程』電子書;適用MacOS的Linux子系統;根據文字提示補全影象;前沿論文 | ShowMeAI資訊日報

語言: CN / TW / HK

持續創作,加速成長!這是我參與「掘金日新計劃 · 10 月更文挑戰」的第4天,點選檢視活動詳情

👀日報合輯 | 📆電子月刊 | 🔔公眾號下載資料 | 🍩@韓信子

📢 Google Cloud 推出醫學成像套件,使基於人工智慧的診斷更容易實現

https://cloud.google.com/medical-imaging

Google Cloud 近日推出了新的人工智慧醫學成像套件(Medical Imaging Suite),使用人工智慧演算法掃描醫學影象,提供更快、更準確的診斷結果。這能緩解許多醫院放射科醫生和其他醫護的巨大工作量,提高運轉效率吧,同時也能改善醫療服務水平和患者的護理結果。

Medical Imaging Suite 的元件包括:Imaging Storage、Imaging Lab、Imaging Datasets & Dashboards、Imaging AI Pipelines。Google表示,醫學成像套件旨在解決人工智慧和機器學習模型開發時面臨的常見痛點。

醫學影像是醫院用於診斷病人的最關鍵工具之一,每年有數十億張影象被臨床醫生用來輔助診斷病因,佔所有醫療資料的90%左右。視覺人工智慧有望在醫療保健領域產生巨大的影響,而 Google 的醫學影像套件展示了科技公司與醫療保健公司攜手前進的可能性。

工具&框架

🚧 『macOS Subsystem for Linux』適用 macOS 的 Linux 子系統

https://github.com/macbian-linux/macos-subsystem-for-linux

macOS Subsystem for Linux 是一個用 Qemu 建立的適用 macOS 的 Linux 子系統,用於學習。

🚧 『stable-diffusion-prompt-inpainting』基於 Stable Diffusion 的提示影象補全

https://github.com/amrrs/stable-diffusion-prompt-inpainting

stable diffusion prompt inpainting 實現了基於 Stable Diffusion 的提示影象補全,你無需在影象上塗抹和遮蔽,只需要通過文字提示,就可以讓AI幫你完成影象編輯和塗抹補全,它基於 Stable Diffusion 和 Clipseg 實現。

🚧 『Testing ML』通過程式碼、資料、模型的測試建立可靠的機器學習模型

https://github.com/GokuMohandas/testing-ml

https://madewithml.com/courses/mlops/testing/

Repo 是 MLOps課程 Testing(測試板塊)的一部分,包含了互動式 notebook。課程覆蓋了大部分概念,並關聯了構建ML系統的軟體工程最佳實踐知識。

🚧 『gitui』Rust 寫的 git 命令列圖形介面

https://github.com/extrawurst/gitui

GitUI 是一個 Rust 寫的 git 命令列圖形介面,提供了舒適的終端 git GUI,它具備以下特性:

  • 快速而直觀的鍵盤控制
  • 基於上下文的幫助
  • 檢查、提交和修改
  • stage、取消stage、恢復和重置檔案、塊和行
  • 向/從遠端推送/fetch
  • 分支列表
  • 瀏覽提交日誌,對已提交的修改進行比較

🚧 『JSeg』基於 MMSegmentation 和 Jittor 的語義分割工具包

https://github.com/Jittor/JSeg

JSeg 是一個基於 MMSegmentation、Jittor 和 JDet 的語義分割工具箱。

博文&分享

👍 『The Mathematical Engineering of Deep Learning』深度學習數學工程 · 電子書

https://deeplearningmath.org/

本書對深度學習的數學工程進行了完整而簡潔的概述,並覆蓋了卷積神經網路、迴圈神經網路、transformers、生成對抗網路、強化學習等要點,當然書籍的重點是深度學習模型、演算法和基本數學描述。

深度學習很容易通過數學語言在許多專業人士都能理解的水平上進行描述,因此文稿也很少涉及程式碼,而專注於通過數學講解現代深度學習演算法、模型和技術的精髓。所以,訊號處理、統計學、物理學、純數學、計量經濟學、運籌學、量化管理、應用機器學習或應用深度學習領域的讀者,具備紮實的數學基礎,可以迅速深入瞭解關鍵數學工程組成部分。

  • Introduction(簡介
  • Principles of Machine Learning(機器學習原理
  • Simple Neural Networks(簡單神經網路
  • Optimization Algorithms(優化演算法
  • Feed-Forward Deep Networks(前饋深度網路
  • Convolutional Neural Networks(卷積神經網路
  • Sequence Models(序列模型
  • Tricks of the Trade(交易技巧
  • Generative Adversarial Networks(生成對抗網路
  • Deep Reinforcement Learning(深度強化學習

資料&資源

🔥 『Contrastive Learning for Natural Language Processing』對比學習自然語言處理 · 資源大列表

https://github.com/ryanzhumich/Contrastive-Learning-NLP-Papers

對比學習是一種學習嵌入空間的技術,這樣相似的資料樣本具有接近的表示,而不同的樣本彼此遠離。可用於使用不同損失函式的有監督或無監督設定,以生成特定於任務或通用目的的表示。

雖然對比學習最初在視覺任務上取得了成功,但近年來在對比 NLP 方面的出版物越來越多。當前的 NLP 模型嚴重依賴於有效的表示學習演算法。清單包含以下主題:

  • Tutorial and Survey(教程和調查)
  • Talk, Presentation, and Blog(演講、演示和部落格)
  • Foundation of Contrastive Learning(對比學習基礎)
  • Contrastive Learning Objective(對比學習目標)
  • Sampling Strategy for Contrastive Learning(對比學習的抽樣策略)
  • Most Notable Applications of Contrastive Learning(對比學習最顯著的應用)
  • Analysis of Contrastive Learning(對比學習分析)
  • Graph Contrastive Learning(圖對比學習)
  • Contrastive Learning for NLP(NLP對比學習)
  • Contrastive Data Augmentation for NLP(NLP的對比資料增強)
  • Text Classification(文字分類)
  • Sentence Embeddings and Phrase Embeddings(句子嵌入和短語嵌入)
  • Information Extraction(資訊提取)
  • Sequence Labeling(序列標註)
  • Machine Translation(機器翻譯)
  • Question Answering(問答)
  • Summarization(總結)
  • Text Generation(文字生成)
  • Data-Efficient Learning(資料高效學習)
  • Contrastive Pretraining(對比預訓練)
  • Interpretability and Explainability(可解釋性和可解釋性)
  • Commonsense Knowledge and Reasoning(常識知識與推理)
  • Vision-and-Language(視覺與語言)
  • Others(其他)

研究&論文

公眾號後臺回覆關鍵字 日報,免費獲取整理好的論文合輯。

科研進展

  • 2022.09.22 『風格遷移』 VToonify: Controllable High-Resolution Portrait Video Style Transfer
  • 2022.09.22 『影象生成』 Poisson Flow Generative Models
  • 2022.07.19 『異常檢測』 ADBench: Anomaly Detection Benchmark

⚡ 論文:VToonify: Controllable High-Resolution Portrait Video Style Transfer

論文時間:22 Sep 2022

領域任務:Face Alignment, Style Transfer, 風格遷移

論文地址:https://arxiv.org/abs/2209.11224

程式碼實現:https://github.com/williamyang1991/vtoonify

論文作者:Shuai Yang, Liming Jiang, Ziwei Liu, Chen Change Loy

論文簡介:Although a series of successful portrait image toonification models built upon the powerful StyleGAN have been proposed, these image-oriented methods have obvious limitations when applied to videos, such as the fixed frame size, the requirement of face alignment, missing non-facial details and temporal inconsistency./儘管已經提出了一系列建立在強大的StyleGAN基礎上的成功的人像影象去聲模型,但這些面向影象的方法在應用於影片時有明顯的侷限性,例如固定的幀大小、臉部對齊的要求、非臉部細節的缺失和時間上的不一致。

論文摘要:生成高質量的藝術人像影片是計算機圖形學和視覺領域的一項重要而理想的任務。儘管已經提出了一系列建立在強大的StyleGAN基礎上的成功的肖像影象化模型,但這些面向影象的方法在應用於影片時有明顯的侷限性,如固定的幀大小、臉部對齊的要求、非臉部細節的缺失和時間上的不一致。在這項工作中,我們通過引入一個新穎的VToonify框架來研究具有挑戰性的可控高解析度人像影片風格轉移。具體來說,VToonify利用StyleGAN的中解析度和高解析度層,根據編碼器提取的多尺度內容特徵渲染高質量的藝術肖像,以更好地保留幀的細節。由此產生的全卷積架構接受可變大小的影片中的非對齊人臉作為輸入,有助於在輸出中形成具有自然運動的完整人臉區域。我們的框架與現有的基於StyleGAN的影象卡通化模型相容,將其擴充套件到影片卡通化,並繼承了這些模型的吸引人的特點,對顏色和強度進行靈活的風格控制。這項工作提出了建立在Toonify和DualStyleGAN基礎上的VToonify的兩個例項,分別用於基於集合和基於示範的肖像影片風格轉移。廣泛的實驗結果表明,我們提出的VToonify框架在生成具有靈活風格控制的高質量和時間連貫的藝術肖像影片方面比現有的方法更有效。

⚡ 論文:Poisson Flow Generative Models

論文時間:22 Sep 2022

領域任務:Image Generation,影象生成

論文地址:https://arxiv.org/abs/2209.11178

程式碼實現:https://github.com/newbeeer/poisson_flow

論文作者:Yilun Xu, Ziming Liu, Max Tegmark, Tommi Jaakkola

論文簡介:We interpret the data points as electrical charges on the z=0 hyperplane in a space augmented with an additional dimension z, generating a high-dimensional electric field (the gradient of the solution to Poisson equation)./我們將資料點解釋為空間中z=0超平面上的電荷,用一個額外的維度z增強,產生一個高維電場(泊松方程的解的梯度)。

論文摘要:我們提出了一個新的 "泊松流 "生成模型(PFGM),將高維半球上的均勻分佈對映為任何資料分佈。我們將資料點解釋為空間中z=0超平面上的電荷,用一個額外的維度z增強,產生一個高維電場(泊松方程的解的梯度)。我們證明,如果這些電荷沿著電場線向上流動,它們在z=0平面上的初始分佈會轉化為半徑為r的半球上的分佈,在r→∞的極限中變得均勻。為了學習雙射轉換,我們估計了擴增空間中的歸一化場。對於取樣,我們設計了一個由有物理意義的額外維度固定的後向ODE:當Z達到零時,樣本會擊中未增強的資料流形。通過實驗,PFGM在CIFAR-10的歸一化流模型中達到了目前最先進的效能,Inception評分為9.68,FID評分為2.48。它的表現也與最先進的SDE方法相當,同時在影象生成任務上提供10倍到20倍的加速。此外,PFGM在較弱的網路結構上對估計錯誤的容忍度更高,對尤拉方法中的步長也更強。程式碼可在 https://github.com/Newbeeer/poisson_flow 獲取。

⚡ 論文:ADBench: Anomaly Detection Benchmark

論文時間:19 Jun 2022

領域任務:Anomaly Detection, Outlier Detection,異常檢測

論文地址:https://arxiv.org/abs/2206.09426

程式碼實現:https://github.com/minqi824/adbench

論文作者:Songqiao Han, Xiyang Hu, Hailiang Huang, Mingqi Jiang, Yue Zhao

論文簡介:Given a long list of anomaly detection algorithms developed in the last few decades, how do they perform with regard to (i) varying levels of supervision, (ii) different types of anomalies, and (iii) noisy and corrupted data?/鑑於過去幾十年來開發的一長串異常檢測演算法,它們在(i)不同的監督水平,(ii)不同型別的異常,以及(iii)噪聲和損壞的資料方面表現如何?

論文摘要:鑑於過去幾十年來開發的一長串異常檢測演算法,它們在(i)不同的監督水平,(ii)不同型別的異常,以及(iii)噪聲和損壞的資料方面表現如何?在這項工作中,我們通過在57個基準資料集上用30種演算法進行(據我們所知)最全面的異常檢測基準,即ADBench來回答這些關鍵問題。我們廣泛的實驗(共98,436次)確定了對監督和異常型別的作用的有意義的見解,併為研究人員在演算法選擇和設計方面解鎖了未來的方向。通過ADBench,研究人員可以輕鬆地在資料集上對新提出的方法(包括我們從自然語言和計算機視覺領域貢獻的方法)與現有的基線進行全面和公平的評估。為了促進可及性和可重複性,我們將ADBench和相應的結果完全開源。

我們是 ShowMeAI,致力於傳播AI優質內容,分享行業解決方案,用知識加速每一次技術成長!

◉ 點選 日報合輯,在公眾號內訂閱話題 #ShowMeAI資訊日報,可接收每日最新推送。

◉ 點選 電子月刊,快速瀏覽月度合輯。

「其他文章」