OpenVINO課程回顧之上集:基礎課程 | 解鎖更多使用技巧
"一年之計在於春,不負韶華不負己。“近期,多位英特爾技術專家聯袂帶來了三期乾貨分享,帶小夥伴們進一步學習了OpenVINO™使用技巧,探索瞭如何基於OpenVINO™進行高效能深度學習推理。
本篇是分享的上集,OpenVINO™基礎課程回顧。看看OpenVINO™滿級師兄師姐們給我們帶來了哪些乾貨?想要快速上手的小夥伴們快看過來哦。
說到OpenVINO™大家應該肯定都不陌生,它是英特爾基於自身現有的硬體平臺開發的一種可以加快高效能運算機視覺和深度學習視覺應用開發速度的工具套件,支援各種英特爾平臺的硬體加速器上進行深度學習,並且允許直接異構執行。
目前,OpenVINO™已經可以支援市面上所有主流的深度學習框架所訓練出來的深度學習模型,並且可以幫助大家部署在英特爾的CPU、gpu、VPU、FPGA等多個硬體模型上。
此外,據武卓博士介紹,為了更方便開發者小夥伴們使用,OpenVINO™為大家建立了簡便的開發者旅程,這段旅程分為三步:
建立:我們已經在Open Model Zoo裡面為大家提供了近300個經過驗證、優化的開源深度學習模型,方便大家直接拿去使用。
優化:在優化這個關鍵步驟上,提供了Model Optimizer(MO)、Neural Network Compression Framework(NNCF)、Post-Training Optimization Tool(POT)等多個優化工具。
部署:只需要簡單幾行程式碼,就可以得到AI推理結果。除此之外,也為大家提供了多種可以部署在多個硬體平臺的工具,最值得一提的是2022.2版本推出的虛擬裝置外掛Auto Device,它可以為大家自動化的選擇和發現最為適合去進行推理的裝置,然後將推理執行在裝置上。
感興趣的小夥伴們,可以掃碼觀看回放,瞭解更多這段開發者旅程哦。
第二節分享則是英特爾高階AI工程師楊亦誠老師為大家帶來的Open Model Zoo概覽。
Open Model Zoo是英特爾官方的預訓練模型庫,是由預訓練模型、Demo應用、模型工具庫三個核心元件元件組成。
為大家提供了近300個預訓練+優化後的模型,這些模型由英特爾訓練的模型和來自公開的開源模型庫組成。
在預訓練模型的專屬頁面中,找到所適配的Demo應用連結,編譯完成相應Demo並執行,就能看到該模型最終呈現效果以及精度情況。
模型下載器(Model Downloader)
精度檢測器(Accuracy Checker)
效能評估工具(Benchmark App)
緊接著,楊亦誠老師解析了模型在離線優化方面使用的一些方法和技巧。
如上圖所示,模型優化的優點有目共睹,那這就不得不提到MO、NNCF和POT工具這三大模型優化工具了。
MO工具除了可以完成模型格式轉化之外,還可以通過線性操作融合、步長優化、分組卷積融合幫助模型進行深度優化。NNCF工具和POT工具,都屬於量化工具,可以進一步幫助大家壓縮模型提及的工具和元件。NNCF工具是在在訓練過程中,完成精度感知量化;POT工具則是在訓練完成後,再針對這個模型進行進一步壓縮和量化。
模型量化是指通過壓縮相關引數,提升推理速度,進一步降低記憶體佔用。如下圖,通過量化,模型效能得到極大提升。
想必你也很好奇,OpenVINO™在模型量化階段如何完成一系列操作?那就掃進回放學起來吧!
針對推理引擎與執行時的優化,楊亦誠老師先帶我們熟悉了OpenVINO™ Runtime的呼叫步驟,並分析了在OpenVINO™ API呼叫過程中比較關鍵的可配置引數Thread、Stream與Infer Request。
此外,楊亦誠老師還介紹了執行時優化的三種策略,並剖析了這三種策略的使用技巧與注意事項:
General Optimizations
Optimizing for Latency and Throughput
Advanced Throughput Options
在2022.2版本中,它還可以通過跨 CPU、GPU 等的裝置發現、負載均衡和推理並行來進行自動優化哦。
看到這
小夥伴們是否也收穫滿滿?
快蓄力啟航,
開啟OpenVINO™
共赴這場精彩的複習之旅吧~
你也許想了解(點選藍字檢視)⬇️
➡️ 開發者實戰 | 基於C#和OpenVINO™部署飛槳PP-Human 上篇
➡️ “開源專案貢獻”經驗分享 | 百度黑客鬆大賽獲獎者樑嘉銘
➡️
“開源專案貢獻”經驗分享 | 百度黑客鬆大賽獲獎者邰秀瑢
➡️
如何給開源專案做貢獻? | 開發者節日福利
➡️
幾行程式碼輕鬆實現對於PaddleOCR的實時推理,快來get!
➡️
使用OpenVINO 在“端—邊—雲”快速實現高效能人工智慧推理
➡️
圖片提取文字很神奇?試試三步實現OCR!
➡️
【Notebook系列第六期】基於Pytorch預訓練模型,實現語義分割任務
掃描下方二維碼立即體驗
OpenVINO™ 工具套件 2022.3
本文分享自微信公眾號 - OpenVINO 中文社群(openvinodev)。
如有侵權,請聯絡 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。
- 經典多目標跟蹤演算法DeepSORT的基本原理和實現
- 以 AI 作畫,祝她節日快樂;簡單三步,OpenVINO™ 助你輕鬆體驗 AIGC
- 即刻報名!飛槳黑客馬拉松第四期如約而至,等你挑戰
- OpenVINO課程回顧之上集:基礎課程 | 解鎖更多使用技巧
- 正式開啟報名!2023全球女性開發者峰會
- 大賽報名|來自飛槳黑客鬆的邀請函
- 活動回顧 | 2021微軟X英特爾黑客鬆大賽精彩回顧 01
- 賽事推薦 | 中文臨床醫學文字分詞與命名實體挑戰賽開啟報名
- 活動預告 | 使用 OpenVINO 部署加速飛漿預訓練模型
- OpenVINO 中文社群一週年特別活動:助力開發者,共建社群2.0
- 2月23日直播回顧 | 基於 Intel 架構的車聯網智慧邊緣計算
- 早餐 | 第二十八期 · Graph Transformation(一)
- 明晚20:30-21:30直播獎品
- 2月24日直播預告 | 基於Intel架構的車聯網智慧邊緣計算
- OpenVINO 學習資源
- ESH OpenVINO 相關資源連結
- 早餐|第二十二期 · 轉換Tensorflow 模型
- 早餐|第二十一期 · Model Optimizer 引數介紹 (三)
- openvinotoolkit-prc的相關工具包介紹(中文版)
- 答疑解惑|你們想知道的「社群提問三方式」來了!