速來!人社部發布100個最缺工職業;人均梵高的自畫像工具;YSDA深度視覺與圖形課程;機器學習系統VS機器學習模型;前沿論文 | ShowMeAI資訊日報

語言: CN / TW / HK

我報名參加金石計劃1期挑戰——瓜分10萬獎池,這是我的第28篇文章,點選檢視活動詳情

👀日報合輯 | 📆電子月刊 | 🔔公眾號下載資料 | 🍩@韓信子

📢 人社部:2022年第二季度全國招聘大於求職『最缺工』的100個職業排行

http://www.mohrss.gov.cn/SYrlzyhshbzb/dongtaixinwen/buneiyaowen/rsxw/202207/t20220722_478921.html

7月份釋出了2022年Q2人力資源市場供求關係較為緊張的招聘、求職崗位資訊,形成了這份『最缺工』的100個職業排行。本期資料來源於全國102個定點監測城市公共就業服務機構填報的人力資源市場招聘、求職資料。

從排行可以看出,製造業缺工狀況持續,電子資訊產業缺工情況較為突出,更多新職業被收集進入排行榜。其中,積體電路工程技術人員、工業機器人系統操作員、半導體晶片製造工、 人工智慧工程技術人員、電子儀器與電子測量工程技術人員等職業進入排行,說明存在用工缺口。

工具&框架

🚧 『rs-code-visualizer』虛擬碼生成大幅視覺化圖

https://github.com/sloganking/codevis

codevis 將一個資料夾中的所有原始碼 / UTF-8 編碼的檔案,渲染成一個大影象,並且它會進行語法高亮顯示。大家可以把這些影象視作縮圖,它幫助你瞭解程式碼檔案的形狀和大小,但不顯示檔案內的確切字元。

🚧 『Visual Taste Approximator (VTA)』自畫像工具,繪製像又不完全像的自己

https://github.com/SelfishGene/visual_taste_approximator

Visual Taste Approximator(VTA)是一個非常簡單的工具,它可以幫助任何人建立一個自己的照片形象,一個可以近似他們自己但又包含獨特視覺品味的人物形象。它可以通過標記一些影象,然後訓練一個機器學習模型來模仿完成這個任務。

這個工具被開發並廣泛用於建立合成臉部高質量資料集(Synthetic Faces High Quality (SFHQ))。對應的示例還展示了它是如何被用作為stable diffusion模型(文字提示到影象生成)構建大量影象語料庫的。

🚧 『tsai』基於Pytorch & fastai的深度學習時序處理庫

https://github.com/timeseriesAI/tsai

https://timeseriesai.github.io/tsai/

tsai 是一個由 timeseriesAI 構建,建立在 Pytorch 和 fastai 之上的開源深度學習包,專注於最先進的時間序列任務的技術,如分類、迴歸、預測、歸因等,更多高階功能正在積極開發中。

🚧 『Stable Diffusion WebUI Docker』基於Docker帶Web介面方便部署的Stable Diffusion

https://github.com/AbdBarho/stable-diffusion-webui-docker

Stable Diffusion WebUI Docker 提供了多個漂亮的使用者介面,讓你在電腦上穩定執行 Stable Diffusion 模,基於提示創作非常多的 AI 藝術繪畫。

🚧 『Scholar』構建在Nx基礎上的機器學習工具

https://github.com/elixir-nx/scholar

Scholar是一個構建在Nx基礎上的機器學習工具。

博文&分享

👍 『Deep Vision and Graphics』深度視覺與圖形·課程資料

https://github.com/yandexdataschool/deep_vision_and_graphics

這是一門由 YSDA 和 Skoltech 共同開發的2022年度深度學習課程,聚焦計算機視覺和圖形。其中,YSDA 全稱 Yandex School of Data Analysis,是一個數據技能學習平臺。

課程資料在 GitHub 子資料夾中,各內容主題為:

  • 簡介、神經網路基礎知識回顧、優化、反向傳播、生物網路
  • 影象、線性過濾、卷積網路、batchnorms、增強
  • ConvNet網路架構、3D稀疏卷積、影片卷積網路、遷移學習
  • 密集預測:語義分割、超解析度/影象合成、感知損失
  • 非卷積架構:transformer、混合器、FFT 卷積
  • 視覺化和理解深層架構、對抗性示例
  • 物件檢測、例項/全景分割、2D/3D人體姿態估計
  • 表示學習:人臉識別、驗證任務、自我監督學習、影象字幕
  • 生成對抗網路
  • 潛在模型(GLO、AEs、VQ-VAE、生成變壓器)
  • 流動模型、擴散模型、生成變壓器, CLIP, DALL-E
  • 形狀和運動估計:空間變換器、光流、立體、單深度、點雲生成
  • 新檢視合成:多平面圖像、神經輻射場、NVS 的基於網格和基於點的表示、神經渲染器

👍 『Machine Learning Systems versus Machine Learning Models』機器學習系統與機器學習模型

https://towardsdatascience.com/machine-learning-systems-versus-machine-learning-models-3955d038ea1f

一個正常執行的 AI 產品,除機器學習模型外,還有大量的其他部分,所有這些統稱為機器學習系統。但時我們往往過於關注我們的模型,而忽略了其他部分。我們不應孤立地思考機器學習模型,而是將其視為動態機器學習系統的一部分。

作者將重視機器學習模型而忽略了系統生態的行為,命名為『Model-centric bias(以模型為中心的偏見)』,並闡述了這種偏見帶來的負面影響。

  • Machine Learning System(機器學習系統)
  • A Generic Value Stream Map of Machine Learning System(機器學習系統的通用價值流圖)

Complexity map of Machine Learning Systems(機器學習系統的複雜圖)

  • An example of a Machine Learning System for an early-stage PoC project(用於早期 PoC 專案的機器學習系統示例)
  • An example of a Machine Learning System utilizing the Active Learning approach(利用主動學習方法的機器學習系統示例)

資料&資源

🔥 『The DBLP Discovery Dataset (D3)』DBLP 電腦科學學術文獻與作者資料集

https://github.com/jpwahle/d3-dataset

Repo 為使用 cs-insights-crawler 爬取的 DBLP 論文元資料(> 590萬篇文章,> 380萬作者)。此語料庫每月更新,並提供完整 DBLP 集合的綜合儲存庫。匯出路徑如下:

🔥 『Diffusion Models』擴散模型相關文獻資源列表

https://github.com/YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy

Repo 是用於收集和分類有關擴散模型的論文,包含以下主題:

Algorithm Taxonomy / 演算法分類

  • Sampling-Acceleration Enhancement / 取樣加速增強
  • Likelihood-Maximization Enhancement / 似然最大化增強
  • Data-Generalization Enhancement / 資料泛化增強

Application Taxonomy / 應用分類

Connections with Other Generative Models / 與其他生成模型的連線

研究&論文

公眾號後臺回覆關鍵字 日報,免費獲取整理好的論文合輯。

科研進展

  • 2022.09.12 『機器人控制』 GenLoco: Generalized Locomotion Controllers for Quadrupedal Robots
  • CVPR 2022 『3D目標檢測』 Surface Representation for Point Clouds
  • CVPR 2022 『神經渲染』 Zero-Shot Text-Guided Object Generation with Dream Fields

⚡ 論文:GenLoco: Generalized Locomotion Controllers for Quadrupedal Robots

論文時間:12 Sep 2022

領域任務機器人控制

論文地址:https://arxiv.org/abs/2209.05309

程式碼實現:https://github.com/HybridRobotics/GenLoco

論文作者:Gilbert Feng, Hongbo Zhang, Zhongyu Li, Xue Bin Peng, Bhuvan Basireddy, Linzhu Yue, Zhitao Song, Lizhi Yang, Yunhui Liu, Koushil Sreenath, Sergey Levine

論文簡介:In this work, we introduce a framework for training generalized locomotion (GenLoco) controllers for quadrupedal robots./在這項工作中,我們介紹了一個用於訓練四足機器人通用運動(GenLoco)控制器的框架。

論文摘要:近年來,市場上可獲得的、價格合理的四足機器人數量激增,其中許多平臺被積極用於研究和工業。隨著腿部機器人可用性的增加,對能夠使這些機器人發揮有用技能的控制器的需求也在增加。然而,大多數基於學習的控制器開發框架都集中在訓練機器人特定的控制器上,這個過程需要對每個新的機器人重複進行。在這項工作中,我們介紹了一個用於訓練四足機器人的通用運動(GenLoco)控制器的框架。我們的框架合成了通用的運動控制器,可以部署在具有類似形態的各種四足機器人上。我們提出了一種簡單而有效的形態隨機化方法,該方法按程式生成了一組不同的模擬機器人用於訓練。我們表明,通過在這一大組模擬機器人上訓練控制器,我們的模型獲得了更多的通用控制策略,可以直接轉移到具有不同形態的新型模擬機器人和真實世界的機器人上,而這些機器人在訓練過程中是沒有觀察到的。

⚡ 論文:Surface Representation for Point Clouds

論文時間:CVPR 2022

領域任務:3D Object Detection, 3D Point Cloud Classification, 3D目標檢測3D點雲分類

論文地址:https://arxiv.org/abs/2205.05740

程式碼實現:https://github.com/hancyran/RepSurf

論文作者:Haoxi Ran, Jun Liu, Chengjie Wang

論文簡介:Based on a simple baseline of PointNet++ (SSG version), Umbrella RepSurf surpasses the previous state-of-the-art by a large margin for classification, segmentation and detection on various benchmarks in terms of performance and efficiency./基於PointNet++(SSG版本)的簡單基線,Umbrella RepSurf在各種基準的分類、分割和檢測方面的效能和效率都大大超過了之前的最先進水平。

論文摘要:大多數先前的工作通過座標表示點雲的形狀。然而,這不足以直接描述區域性的幾何形狀。在本文中,我們提出了RepSurf(代表面),這是一種新型的點雲表示方法,明確地描述了非常區域性的結構。我們探索了RepSurf的兩個變體,即三角形RepSurf和傘形RepSurf,其靈感來自於計算機圖形中的三角形網格和傘形曲率。我們在表面重建後通過預定義的幾何先驗來計算RepSurf的表示。由於RepSurf與不規則點的自由協作,它可以成為大多數點雲模型的一個即插即用的模組。基於PointNet++(SSG版本)的簡單基線,Umbrella RepSurf在各種基準上的分類、分割和檢測方面的效能和效率都大大超過了之前的最先進水平。在增加了大約0.008M的引數數、0.04G的FLOPs和1.12ms的推理時間的情況下,我們的方法在ModelNet40上實現了94.7%(+0.5%),在ScanObjectNN上實現了84.6%(+1.8%)的分類,而在S3DIS 6倍上實現了74.3%(+0.8%)的mIoU,在ScanNet上實現了70.0%(+1.6%)mIoU的分割。在檢測方面,以前最先進的檢測器與我們的RepSurf在ScanNetV2上獲得71.2%(+2.1%)mAP25,54.8%(+2.0%)mAP50,而在SUN RGB-D上獲得64.9%(+1.9%)mAP25,47.7%(+2.5%)mAP50。我們的輕量級Triangular RepSurf在這些基準上也表現得很出色。程式碼可在https://github.com/hancyran/RepSurf獲取。

⚡ 論文:Zero-Shot Text-Guided Object Generation with Dream Fields

論文時間:CVPR 2022

領域任務:Neural Rendering,神經渲染

論文地址:https://arxiv.org/abs/2112.01455

程式碼實現:https://github.com/google-research/google-research/tree/master/dreamfields , https://github.com/ashawkey/torch-ngp , https://github.com/autodeskailab/clip-forge , https://github.com/shengyu-meng/dreamfields-3D

論文作者:Ajay Jain, Ben Mildenhall, Jonathan T. Barron, Pieter Abbeel, Ben Poole

論文簡介:Our method, Dream Fields, can generate the geometry and color of a wide range of objects without 3D supervision./我們的方法 "夢境 "可以在沒有3D監督的情況下生成各種物體的幾何形狀和顏色。

論文摘要:我們將神經渲染與多模態影象和文字表示相結合,僅從自然語言描述中合成各種三維物體。我們的方法,即 "夢境",可以在沒有3D監督的情況下生成廣泛的物體的幾何和顏色。由於缺乏多樣的、有說明的三維資料,先前的方法只能從少數幾個類別中生成物體,如ShapeNet。相反,我們用影象-文字模型指導生成,這些模型是在網路上的大型標題影象資料集上預先訓練過的。我們的方法優化了來自許多相機視角的神經輻射場,這樣,根據預先訓練的CLIP模型,渲染的影象在目標標題下得分很高。為了提高保真度和視覺質量,我們引入了簡單的幾何先驗,包括疏散誘導的透射率正則化、場景界限和新的MLP架構。在實驗中,"夢田 "從各種自然語言的標題中產生了現實的、多檢視一致的物體幾何和顏色。

我們是 ShowMeAI,致力於傳播AI優質內容,分享行業解決方案,用知識加速每一次技術成長!

◉ 點選 日報合輯,在公眾號內訂閱話題 #ShowMeAI資訊日報,可接收每日最新推送。

◉ 點選 電子月刊,快速瀏覽月度合輯。

「其他文章」