清華博士導師整理:Tensorflow 和 Pytorch 的筆記(包含經典專案實戰)

語言: CN / TW / HK

作為一名 AI 工程師, 掌握一門深度學習框架是必備的生存技能之一

自 TensorFlow 從 Google 中脫穎而出以來,它在研究和商業領域成為最受歡迎的開源深度學習框架,緊接著 從 Facebook 誕生的 PyTorch 由於社群推動的易用性改進和越來越廣泛的用例部署,而迅速趕上TensorFlow。

兩個框架在當年一度備受爭議,TensorFlow 和 PyTorch 誰更好?

從去年校招開始到現在負責部門的面試,從我手上流走的簡歷多多少少也有上百封了。

面試了很多候選人,當問他們常用的深度學習框架時,發現他們清一色的選擇了: PyTorch。

從各個方面可以看出,經過這些年的發展, PyTorch 在學術圈的「壟斷」地位基本已經站穩

誠然,比起 TensorFlow,大多數研究人員更偏愛 PyTorch 的 API,PyTorch 設計更科學, 而 TensorFlow 自推出 2.0 版本後 ,與 TF 1.x 的 API 差異實在不小, 導致 doc 的閱讀成本和版本適配成本都相當高。

如果是初學者,無腦 Pytorch 就對了。社群資源多、開原始碼多、上手也很簡單,各大廠商對 Pytorch 的支援也多(TensorRT、ONNX)。

其實框架的作用就是我們無需造輪子可以 直接使用 ,並且 節省工作量 ,對於 Pytorch 來說對 研究 友好、對 訓練 友好、對 白嫖大佬的開原始碼 也友好,對 模型部署 也友好,可以 節省大把時間 去做其他有意義的事情,沒有理由不使用 Pytorch。

如果是工作了,就看公司在用什麼吧, 因為公司是面向需求的

在業界,無論演算法效能有多好,總歸還是要上線的,選擇框架的時候便會考慮以下這些問題, 是否方便部署到線上,支援多語言,並且有較好的系統穩定性以及有非常多線上應用例項。

TF 1.x 系列面世較早, 在學術界、工業界都有很深的積澱, 工業界由於專案更重,牽一髮而動全身,因此目前很多專案仍然停留在 TF 1.x(1.1x)上面。

像業界大多數支撐搜廣推場景的模型,還是用 Tensorflow, TensorFlow 適合大規模部署,特別是需要跨平臺和嵌入式部署時。

至於延伸到 選擇哪個 的問題:

顯而易見,小孩子才做選擇,而我們都要學,基本都要會用, 這樣才能自己選擇工具,而不是工具挑選你。

然而,我們通過調研發現,8 0% 的 0-3 歲網際網路人 沒有系統的學習過 Tensorflow、PyTorch 方向, 缺乏專案實戰,處於比較淺層面的對比。

網上解讀 Tensorflow、PyTorch 文章非常多但知識點零散,學習起來抓不住重點。

最近整理一套 深度學習框架必備 的學習資料,這套資料內容非常詳盡全面,課程通過講解和實戰操作, 帶你從零開始訓練網路,做到獨立搭建和設計卷積神經網路 (包括主流分類和檢測網路),並進行神經網路的訓練和推理(涉及 PyTorch、Tensorflow、Caffe、Mxnet 等多個主流框架), 通過實戰讓你掌握各種深度學習開源框架。 (資料已經全部整理好)

資料內容過多,不一一展開,僅擷取框架學習部分目錄大家感受下。

深度學習與神經網路

  • 深度學習簡介

  • 基本的深度學習架構

  • 神經元

  • 啟用函式詳解(sigmoid、tanh、relu 等)

  • 感性認識隱藏層

  • 如何定義網路層

  • 損失函式

推理和訓練

  • 神經網路的推理和訓練

  • bp 演算法詳解

  • 歸一化

  • Batch Normalization 詳解

  • 解決過擬合

  • dropout

  • softmax

  • 手推神經網路的訓練過程

從零開始訓練神經網路

  • 使用 python 從零開始實現神經網路訓練

  • 構建神經網路的經驗總結

深度學習開源框架

  • pytorch

  • tensorflow

  • caffe

  • mxnet

  • keras

  • 優化器詳解(GD,SGD,RMSprop 等

上次已經給大家推薦過一次,但微信有限制每天只能加 100 個人,很多人反饋沒有領到,這次又申請到了 100 個名額, 速度領取,手慢無!

由於工作需要,這份教程我本人也在學習中,雖然已經從事這個行業多年,再看這份教程的時候,仍然能查漏補缺,收穫滿滿,我相信 不管是 AI 入門,還是已經具備了一定的工作經驗 ,這份學習資料,都值得你去認真學習研究。

:point_down:長按下方二維碼 2 秒

立即領取

(新增小助理人數較多,請耐心等待)

該視訊出品人是王小天, 目前就職於 BAT 之一 ,AI 演算法高階技術專家,法國 TOP3 高校雙碩(電腦科學和數學應用雙碩士)畢業。

工作期間主要負責 人工智慧業務線 CV 與 NLP 相關演算法 工作,推進人機混合智慧、語義分割、機器翻譯、虹膜識別等模組的核心演算法研究與優化。

對影象分類、物體檢測、目標跟蹤、自動駕駛、計算機體系結構等有深入的研究。

所有以上相關的的內容全部都已經打包好了,彙總成了一份百度雲的連結,小貼心之處是怕有的兄弟沒有買百度雲會員的朋友, 能用 2MB+/S 的速度下載,還特地給大家準備了下載工具。