OpenVINO課程回顧之上集:基礎課程 | 解鎖更多使用技巧

語言: CN / TW / HK

"一年之計在於春,不負韶華不負己。“近期,多位英特爾技術專家聯袂帶來了三期乾貨分享,帶小夥伴們進一步學習了OpenVINO™使用技巧,探索瞭如何基於OpenVINO™進行高效能深度學習推理。

本篇是分享的上集OpenVINO™基礎課程回顧看看OpenVINO™滿級師兄師姐們給我們帶來了哪些乾貨?想要快速上手的小夥伴們快看過來哦。

0 1


OpenVINO™概覽


說到OpenVINO™大家應該肯定都不陌生,它是英特爾基於自身現有的硬體平臺開發的一種可以加快高效能運算機視覺和深度學習視覺應用開發速度的工具套件,支援各種英特爾平臺的硬體加速器上進行深度學習,並且允許直接異構執行

目前,OpenVINO™已經可以支援市面上所有主流的深度學習框架所訓練出來的深度學習模型,並且可以幫助大家部署在英特爾的CPU、gpu、VPU、FPGA等多個硬體模型上。


此外,據武卓博士介紹,為了更方便開發者小夥伴們使用,OpenVINO™為大家建立了簡便的開發者旅程,這段旅程分為三步:


  • 建立我們已經在Open Model Zoo裡面為大家提供了近300個經過驗證、優化的開源深度學習模型,方便大家直接拿去使用。

  • 優化在優化這個關鍵步驟上,提供了Model Optimizer(MO)、Neural Network Compression Framework(NNCF)、Post-Training Optimization Tool(POT)等多個優化工具。

  • 部署只需要簡單幾行程式碼,就可以得到AI推理結果。除此之外,也為大家提供了多種可以部署在多個硬體平臺的工具,最值得一提的是2022.2版本推出的虛擬裝置外掛Auto Device,它可以為大家自動化的選擇和發現最為適合去進行推理的裝置,然後將推理執行在裝置上。

感興趣的小夥伴們,可以掃碼觀看回放,瞭解更多這段開發者旅程哦

0 2


Open Model Zoo


第二節分享則是英特爾高階AI工程師楊亦誠老師為大家帶來的Open Model Zoo概覽

Open Model Zoo是英特爾官方的預訓練模型庫,是由預訓練模型Demo應用模型工具庫三個核心元件元件組成。


預訓練模型

為大家提供了近300個預訓練+優化後的模型,這些模型由英特爾訓練的模型和來自公開的開源模型庫組成。


Demo應用

在預訓練模型的專屬頁面中,找到所適配的Demo應用連結,編譯完成相應Demo並執行,就能看到該模型最終呈現效果以及精度情況。


模型工具庫
  • 模型下載器(Model Downloader)

  • 精度檢測器(Accuracy Checker)

  • 效能評估工具(Benchmark App)

0 3


模型優化工具與優化技巧


緊接著,楊亦誠老師解析了模型在離線優化方面使用的一些方法和技巧。

如上圖所示,模型優化的優點有目共睹,那這就不得不提到MO、NNCF和POT工具這三大模型優化工具了。

MO工具除了可以完成模型格式轉化之外,還可以通過線性操作融合、步長優化、分組卷積融合幫助模型進行深度優化。NNCF工具POT工具,都屬於量化工具,可以進一步幫助大家壓縮模型提及的工具和元件。NNCF工具是在在訓練過程中,完成精度感知量化;POT工具則是在訓練完成後,再針對這個模型進行進一步壓縮和量化。

模型量化是指通過壓縮相關引數,提升推理速度,進一步降低記憶體佔用。如下圖,通過量化,模型效能得到極大提升。

想必你也很好奇,OpenVINO™在模型量化階段如何完成一系列操作?那就掃進回放學起來吧!

0 4


推理引擎與執行時優化技巧


針對推理引擎與執行時的優化,楊亦誠老師先帶我們熟悉了OpenVINO™ Runtime的呼叫步驟,並分析了在OpenVINO™ API呼叫過程中比較關鍵的可配置引數Thread、Stream與Infer Request。


此外,楊亦誠老師還介紹了執行時優化的三種策略,並剖析了這三種策略的使用技巧與注意事項:

  • General Optimizations

  • Optimizing for Latency and Throughput 

  • Advanced Throughput Options

在2022.2版本中,它還可以通過跨 CPU、GPU 等的裝置發現、負載均衡和推理並行來進行自動優化哦。

END

看到這

小夥伴們是否也收穫滿滿?

快蓄力啟航,

開啟OpenVINO™

共赴這場精彩的複習之旅吧~



             
             
             
你也許想了解(點選藍字檢視)⬇️
➡️ 開發者實戰 | 基於C#和OpenVINO™部署飛槳PP-Human 上篇
➡️ “開源專案貢獻”經驗分享 | 百度黑客鬆大賽獲獎者樑嘉銘
➡️  “開源專案貢獻”經驗分享 | 百度黑客鬆大賽獲獎者邰秀瑢
➡️  如何給開源專案做貢獻? | 開發者節日福利
➡️   幾行程式碼輕鬆實現對於PaddleOCR的實時推理,快來get!
➡️   使用OpenVINO 在“端—邊—雲”快速實現高效能人工智慧推理
➡️  圖片提取文字很神奇?試試三步實現OCR!
➡️ 【Notebook系列第六期】基於Pytorch預訓練模型,實現語義分割任務


👇歡迎在留言區與我們互動哦,
點選小程式 留言區 即可參與

留言區

            
            
            


掃描下方二維碼立即體驗 

OpenVINO™ 工具套件 2022.3





點選 閱讀原文 立即體驗OpenVINO 
文章這麼精彩,你有沒有“在看”

本文分享自微信公眾號 - OpenVINO 中文社群(openvinodev)。
如有侵權,請聯絡 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。