元宇宙人均月入過萬?智聯報告大揭祕(附下載);華盛頓大學·線性代數進階課程;電子書·深度神經網路應用(Keras);前沿論文 | ShowMeAI資訊日報

語言: CN / TW / HK

我報名參加金石計劃1期挑戰——瓜分10萬獎池,這是我的第26篇文章,點選檢視活動詳情

👀日報合輯 | 📆電子月刊 | 🔔公眾號下載資料 | 🍩@韓信子

📢 人均『月入過萬』?元宇宙領域就業現狀究竟如何

自2021年元宇宙元年之後,大批元宇宙相關崗位如雨後春筍湧現在市場上。從耳熟能詳的元宇宙社交、虛擬人、區塊鏈,到大部分人極少接觸的底層技術搭建,如何快速瞭解元宇宙行業?相關領域的發展前景如何?人才供需、薪資待遇、人才要求又有什麼獨特之處?智聯招聘釋出《2022元宇宙行業人才發展報告》,深入淺出解析元宇宙領域職場現狀。

公眾號回覆『日報』獲取完整版報告。

元宇宙技術在各行各業的應用情況

  • 2022年1-7月元宇宙相關招聘崗位同比增長16.6%
  • 元宇宙人才招聘高度集中在資訊科技產業,向教培、傳媒、製造等領域逐步滲透
  • 一線城市元宇宙人才需求佔全國一半,新一線城市增長快
  • 政策發力下,武漢、杭州元宇宙人才需求增速亮眼
  • 研發與設計崗是元宇宙主力軍,U3D人才最吃香
  • C語言、JAVA等底層技術是硬通貨,3D建模、特效設計技能至關重要

元宇宙崗位薪資水平

  • 2022元宇宙相關崗位平均薪資18515元/月
  • 深度學習崗平均月薪39971元,位居榜首
  • 人工智慧技術“錢景光明”,複合型人才薪酬更高

工具&框架

🚧 『uie pytorch』通用資訊抽取 UIE 的 PyTorch版

https://github.com/heiheiyoyo/uie_pytorch

Yaojie Lu 等人在 ACL-2022 中提出了通用資訊抽取統一框架 UIE(Universal Information Extraction)。該框架實現了實體抽取、關係抽取、事件抽取、情感分析等任務的統一建模,並使得不同任務間具備良好的遷移和泛化能力。

為了方便大家使用 UIE 的強大能力,PaddleNLP 借鑑該論文的方法,基於 ERNIE 3.0 知識增強預訓練模型,訓練並開源了首箇中文通用資訊抽取模型 UIE。

該模型可以支援不限定行業領域和抽取目標的關鍵資訊抽取,實現零樣本快速冷啟動,並具備優秀的小樣本微調能力,快速適配特定的抽取目標。本程式碼庫是UIE的pytorch版本實現。

🚧 『MPSX』基於 MPSGraph 的 ONNX 推理引擎

https://github.com/prisma-ai/MPSX

https://prisma-ai.com/

MPSX 是一個基於 MPSGraph 的 ONNX 推理引擎,通過簡單的幾個步驟,你就可以用 MPSX 跑 ONNX 模型推理,不過大家需要熟悉 Metal API。

🚧 『GEEML』Google Earth Engine 機器學習包

https://github.com/Geethen/geeml

https://geethen.github.io/geeml/

GEEML 是一個 Python 工具包,它使得你可以方便使用並行處理和谷歌地球引擎的大容量終端,從谷歌地球引擎提取衛星資料。它支援以 csv 的形式提取傳統機器學習的資料(表格資料)和提取 GeoTiff 影象補丁用於深度神經網路。它有以下特性:

  • 支援並行匯出影象或稀疏影象(例如,GEDI)
  • 支援匯出點或多邊形的柵格值(ee.FeatureCollection)
  • 支援歸納多邊形內的柵格資料(ee.FeatureCollections)
  • 支援提取表格式和深度神經網路(DNN)型別的資料集

🚧 『Diffusion Bee』M1/M2晶片蘋果電腦上的開源Stable Diffusion圖形介面應用

https://github.com/divamgupta/diffusionbee-stable-diffusion-ui

https://diffusionbee.com/

Diffusion Bee 提供了最簡單的方式在 M1 Mac 上本地執行 Stable Diffusion 模型用於 AI 創作,它配有一鍵式安裝程式,不需要依賴性或技術知識。且模型完全在本地執行,沒有資料被髮送到雲端。

🚧 『Selective』白盒特徵選擇庫

https://github.com/fidelity/selective

Selective 是一個白盒特徵選擇庫,支援分類和迴歸任務的無監督和有監督的選擇方法。具備以下特點:

  • 支援簡單到複雜的選擇方法:方差法、相關法、統計法、線性法、基於樹的法、或自定義法。
  • 自動的任務檢測。不需要指定特徵選擇方法適。
  • 內建並行化的交叉驗證對多個選擇器測試。
  • 檢查結果和特徵的重要性。

博文&分享

👍 『MATH 318 A: Advanced Linear Algebra Tools and Applications』華盛頓大學 · 線性代數進階工具與應用 · 課程

https://sites.math.washington.edu/~m318/

https://www.youtube.com/watch?v=R3IJWhzLzds&list=PLoxJTbDttvt4p6zPSy_0zURsJV1kDCqw1

Math 318 是一門線性代數進階課程,講解『矩陣』這一運算子和資料組織形式,重點是矩陣的結構、幾何含義與應用。 注意!學習本課程前。需要掌握基礎的線性代數知識。

課程前半部分的核心內容是特徵值和特徵向量,後半部分的核心內容是奇異值和一般矩陣的奇異值分解 (SVD)。除此之外,課程還講解了一些新型的向量空間,如多項式向量空間(vector spaces of polynomials,應用於插值和求解多項式方程)、有限域上的向量空間(vector spaces over finite fields,應用於糾錯碼)和復向量空間(complex vector spaces,應用於傅立葉分析)。

  • Eigenvalues and Diagonalization / 特徵值和對角化
  • Permutations and Determinant / 排列和行列式
  • Difference Equations / 差分方程
  • Nonnegative, Positive and Markov matrices / 非負、正和馬爾可夫矩陣
  • Orthogonality / 正交性
  • Projections / 預測
  • Symmetric matrices and Quadratic Forms / 對稱矩陣和二次形式
  • Positive Semidefinite Matrices / 半正定矩陣
  • Polynomial Vector Spaces / 多項式向量空間
  • Singular Value Decomposition / 奇異值分解
  • Vector spaces over finite fields / 有限域上的向量空間
  • Complex Vector Spaces / 復向量空間

👍 『Applications of Deep Neural Networks with Keras』深度神經網路應用(Keras)·可下載書籍

https://github.com/jeffheaton/t81_558_deep_learning

書籍PDFhttps://arxiv.org/pdf/2009.05673.pdf

作者 Jeff Heaton 自 2016 年開始,在聖路易斯華盛頓大學教授 T81-558 深度學習課程,並將課件與作業等資料放在GitHub上,並整理為此書。作者使用 Tensorflow 建立了最開始版本的內容,後續遷移到了 Keras,並在部分章節使用了 PyTorch 等更多庫。內容章節如下:

  • Python Preliminaries / Python預備課程
  • Python for Machine Learning / Python機器學習
  • Introduction to TensorFlow / TensorFlow 簡介
  • Training for Tabular Data / 表格資料訓練
  • Regularization and Dropout / 正則化與Dropout
  • Convolutional Neural Networks (CNN) for Computer Vision / 計算機視覺的卷積神經網路 (CNN)
  • Generative Adversarial Networks / 生成對抗網路
  • Kaggle Data Sets / Kaggle 資料集
  • Transfer Learning / 遷移學習
  • Time Series in Keras / Keras 中的時間序列
  • Natural Language Processing with Hugging Face / Hugging Face與自然語言處理
  • Reinforcement Learning / 強化學習
  • Advanced/Other Topics / 高階/其他主題
  • Other Neural Network Techniques / 其他神經網路技術

資料&資源

🔥 『System Design Resources』系統設計資源集

https://github.com/InterviewReady/system-design-resources

系統設計資源集,這裡列寫部分內容主題,更多內容可點選上方連結檢視:

  • Video Processing / 影片處理
  • Cluster and Workflow Management / 叢集和工作流管理
  • Service Mesh / 服務網格
  • Practical System Design / 實用系統設計
  • Distributed File System / 分散式檔案系統
  • Time Series Databases / 時間序列資料庫
  • Network Protocols / 網路協議
  • Subscription Management System / 訂閱管理系統
  • NoSQL Database Internals / NoSQL 資料庫內部結構
  • NoSQL Database Algorithms / NoSQL 資料庫演算法
  • Database Replication / 資料庫複製
  • Containers and Docker / 容器和 Docker
  • Capacity Estimation / 容量估算
  • Microservices / 微服務
  • Load Balancing / 負載均衡
  • Alerts and Anomaly Detection / 警報和異常檢測
  • Distributed Logging / 分散式日誌記錄
  • Batch Processing / 批量處理
  • Real Time Stream Processing / 實時流處理

研究&論文

公眾號後臺回覆關鍵字 日報,免費獲取整理好的論文合輯。

科研進展

  • 2022.09.11 『神經網路』 Git Re-Basin: Merging Models modulo Permutation Symmetries
  • 2022.09.09 『運動合成』 TEACH: Temporal Action Composition for 3D Humans
  • 2022.08.25 『影象生成』 DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

⚡ 論文:Git Re-Basin: Merging Models modulo Permutation Symmetries

論文時間:11 Sep 2022

領域任務神經網路

論文地址:https://arxiv.org/abs/2209.04836

程式碼實現:https://github.com/samuela/git-re-basin

論文作者:Samuel K. Ainsworth, Jonathan Hayase, Siddhartha Srinivasa

論文簡介:Experimentally, we demonstrate the single basin phenomenon across a variety of model architectures and datasets, including the first (to our knowledge) demonstration of zero-barrier linear mode connectivity between independently trained ResNet models on CIFAR-10 and CIFAR-100./通過實驗,我們在各種模型架構和資料集上證明了單盆現象,包括在CIFAR-10和CIFAR-100上首次(據我們所知)證明了獨立訓練的ResNet模型之間的零障礙線性模式連線。

論文摘要:深度學習的成功得益於我們能夠相對容易地解決某些大規模的非凸優化問題。儘管非凸優化是NP-hard,但簡單的演算法--通常是隨機梯度下降的變種--在實踐中對大型神經網路的擬合表現出驚人的有效性。我們認為,在考慮了隱藏單元的所有可能的排列對稱性之後,神經網路損失景觀包含(幾乎)一個單一的盆地。我們介紹了三種演算法,對一個模型的單元進行排列,使其與參考模型的單元保持一致。這種轉換產生了一組功能等同的權重,這些權重位於參考模型附近的一個近似於凸的盆地中。通過實驗,我們在各種模型結構和資料集上證明了單盆地現象,包括在CIFAR-10和CIFAR-100上獨立訓練的ResNet模型之間首次(據我們所知)證明了零障礙線性模式連線。此外,我們還發現了有趣的現象,即在各種模型和資料集上,模型的寬度和訓練時間與模式連線有關。最後,我們討論了單一盆地理論的缺點,包括對線性模式連線假設的反例。

⚡ 論文:TEACH: Temporal Action Composition for 3D Humans

論文時間:9 Sep 2022

領域任務:Motion Synthesis, 運動合成

論文地址:https://arxiv.org/abs/2209.04066

程式碼實現:https://github.com/athn-nik/teach

論文作者:Nikos Athanasiou, Mathis Petrovich, Michael J. Black, Gül Varol

論文簡介:In particular, our goal is to enable the synthesis of a series of actions, which we refer to as temporal action composition./我們的目標是實現一系列動作的合成,我們稱之為時間性動作合成。

論文摘要:給定一系列自然語言描述,我們的任務是生成三維人類動作,這些動作在語義上與文字對應,並遵循指令的時間順序。特別是,我們的目標是實現一系列動作的合成,我們稱之為時間性動作合成。目前,文字條件下的動作合成技術只將單個動作或單個句子作為輸入。這部分是由於缺乏合適的包含動作序列的訓練資料,但也是由於其非自迴歸模型表述的計算複雜性,它不能很好地擴充套件到長序列。在這項工作中,我們解決了這兩個問題。首先,我們利用了最近的BABEL動作文字集,它有廣泛的標記動作,其中許多是在一個序列中出現的,並在它們之間有過渡。接下作的口述動作組合",為各種各樣的動作和語言描述的時間組合產生現實的人類動作。為了鼓勵這項新任務的工作,我們在我們的網站上提供了我們的程式碼供研究之用。

⚡ 論文:DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

論文時間:25 Aug 2022

領域任務:Image Generation,影象生成

論文地址:https://arxiv.org/abs/2208.12242

程式碼實現:https://github.com/XavierXiao/Dreambooth-Stable-Diffusion

論文作者:Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Yael Pritch, Michael Rubinstein, Kfir Aberman

論文簡介:Once the subject is embedded in the output domain of the model, the unique identifier can then be used to synthesize fully-novel photorealistic images of the subject contextualized in different scenes./一旦主體被嵌入到模型的輸出域中,唯一的識別符號就可以用來合成主體在不同場景中的完全創新的逼真影象。

論文摘要:大型文字-影象模型在人工智慧的發展中實現了一個顯著的飛躍,能夠從給定的文字提示中合成高質量和多樣化的影象。然而,這些模型缺乏模仿給定參考集中的主體外觀和合成不同背景下的新穎演繹的能力。在這項工作中,我們提出了一種 "個性化 "的文字-影象擴散模型的新方法(根據使用者的需要對其進行專業化處理)。只需輸入一些主題的影象,我們就可以對預訓練的文字-影象模型(Imagen,儘管我們的方法並不侷限於一個特定的模型)進行微調,使其學會將一個獨特的識別符號與該特定主題繫結。一旦主題被嵌入到模型的輸出域中,唯一的識別符號就可以被用來合成該主題在不同場景中的全創新逼真影象。通過利用嵌入在模型中的語義先驗和新的自體類先驗儲存損失,我們的技術能夠在不同的場景、姿勢、視角和照明條件下合成參考影象中沒有出現的主體。我們將我們的技術應用於幾個以前無法完成的任務,包括主體重構、文字指導的檢視合成、外觀修改和藝術渲染(同時保留主體的關鍵特徵)。專案頁面:https://dreambooth.github.io/

我們是 ShowMeAI,致力於傳播AI優質內容,分享行業解決方案,用知識加速每一次技術成長!

◉ 點選 日報合輯,在公眾號內訂閱話題 #ShowMeAI資訊日報,可接收每日最新推送。

◉ 點選 電子月刊,快速瀏覽月度合輯。

「其他文章」