OpenVINO課程回顧之上集：基礎課程 | 解鎖更多使用技巧

語言: CN / TW / HK
時間 2023-03-04 04:01:54

"一年之計在於春，不負韶華不負己。“近期，多位英特爾技術專家聯袂帶來了三期乾貨分享，帶小夥伴們進一步學習了OpenVINO™使用技巧，探索瞭如何基於OpenVINO™進行高性能深度學習推理。

本篇是分享的上集，OpenVINO™基礎課程回顧。看看OpenVINO™滿級師兄師姐們給我們帶來了哪些乾貨？想要快速上手的小夥伴們快看過來哦。

0 1


OpenVINO™概覽


説到OpenVINO™大家應該肯定都不陌生，它是英特爾基於自身現有的硬件平台開發的一種可以加快高性能計算機視覺和深度學習視覺應用開發速度的工具套件，支持各種英特爾平台的硬件加速器上進行深度學習，並且允許直接異構執行。

目前，OpenVINO™已經可以支持市面上所有主流的深度學習框架所訓練出來的深度學習模型，並且可以幫助大家部署在英特爾的CPU、gpu、VPU、FPGA等多個硬件模型上。


此外，據武卓博士介紹，為了更方便開發者小夥伴們使用，OpenVINO™為大家創建了簡便的開發者旅程，這段旅程分為三步：


  • 創建：我們已經在Open Model Zoo裏面為大家提供了近300個經過驗證、優化的開源深度學習模型，方便大家直接拿去使用。

  • 優化：在優化這個關鍵步驟上，提供了Model Optimizer（MO）、Neural Network Compression Framework（NNCF）、Post-Training Optimization Tool（POT）等多個優化工具。

  • 部署：只需要簡單幾行代碼，就可以得到AI推理結果。除此之外，也為大家提供了多種可以部署在多個硬件平台的工具，最值得一提的是2022.2版本推出的虛擬設備插件Auto Device，它可以為大家自動化的選擇和發現最為適合去進行推理的設備，然後將推理運行在設備上。

感興趣的小夥伴們，可以掃碼觀看回放，瞭解更多這段開發者旅程哦。

0 2


Open Model Zoo


第二節分享則是英特爾高級AI工程師楊亦誠老師為大家帶來的Open Model Zoo概覽。

Open Model Zoo是英特爾官方的預訓練模型庫，是由預訓練模型、Demo應用、模型工具庫三個核心組件組件組成。


預訓練模型

為大家提供了近300個預訓練+優化後的模型，這些模型由英特爾訓練的模型和來自公開的開源模型庫組成。


Demo應用

在預訓練模型的專屬頁面中，找到所適配的Demo應用鏈接，編譯完成相應Demo並執行，就能看到該模型最終呈現效果以及精度情況。


模型工具庫

  • 模型下載器（Model Downloader）

  • 精度檢測器（Accuracy Checker）

  • 性能評估工具（Benchmark App）

0 3


模型優化工具與優化技巧


緊接着，楊亦誠老師解析了模型在離線優化方面使用的一些方法和技巧。

如上圖所示，模型優化的優點有目共睹，那這就不得不提到MO、NNCF和POT工具這三大模型優化工具了。

MO工具除了可以完成模型格式轉化之外，還可以通過線性操作融合、步長優化、分組卷積融合幫助模型進行深度優化。NNCF工具和POT工具，都屬於量化工具，可以進一步幫助大家壓縮模型提及的工具和組件。NNCF工具是在在訓練過程中，完成精度感知量化；POT工具則是在訓練完成後，再針對這個模型進行進一步壓縮和量化。

模型量化是指通過壓縮相關參數，提升推理速度，進一步降低內存佔用。如下圖，通過量化，模型性能得到極大提升。

想必你也很好奇，OpenVINO™在模型量化階段如何完成一系列操作？那就掃進回放學起來吧！

0 4


推理引擎與運行時優化技巧


針對推理引擎與運行時的優化，楊亦誠老師先帶我們熟悉了OpenVINO™ Runtime的調用步驟，並分析了在OpenVINO™ API調用過程中比較關鍵的可配置參數Thread、Stream與Infer Request。


此外，楊亦誠老師還介紹了運行時優化的三種策略，並剖析了這三種策略的使用技巧與注意事項：

  • General Optimizations

  • Optimizing for Latency and Throughput 

  • Advanced Throughput Options

在2022.2版本中，它還可以通過跨 CPU、GPU 等的設備發現、負載均衡和推理並行來進行自動優化哦。

END

看到這

小夥伴們是否也收穫滿滿？

快蓄力啟航，

打開OpenVINO™

共赴這場精彩的複習之旅吧~



             
             
             

 
              
              
              

  
               
               
               你也許想了解(點擊藍字查看)⬇️
 
              
              
              

 
              
              
              

  
               
               
               ➡️ 開發者實戰 | 基於C#和OpenVINO™部署飛槳PP-Human 上篇
 
              
              
              

 
              
              
              

  
               
               
               ➡️ “開源項目貢獻”經驗分享 | 百度黑客鬆大賽獲獎者樑嘉銘
  
               
               
               
 
              
              
              


             
             
             


             
             
             

 
              
              
              

  
               
               
               ➡️
  
               
               
                “開源項目貢獻”經驗分享 | 百度黑客鬆大賽獲獎者邰秀瑢
 
              
              
              

 
              
              
              

  
               
               
               ➡️
  
               
               
                如何給開源項目做貢獻? | 開發者節日福利
 
              
              
              

 
              
              
              

  
               
               
               ➡️
  
               
               
                
  
               
               
               幾行代碼輕鬆實現對於PaddleOCR的實時推理，快來get！
 
              
              
              

 
              
              
              

  
               
               
               ➡️
  
               
               
                
  
               
               
               使用OpenVINO 在“端—邊—雲”快速實現高性能人工智能推理
 
              
              
              

 
              
              
              

  
               
               
               ➡️ 
  
               
               
               圖片提取文字很神奇？試試三步實現OCR！
 
              
              
              

 
              
              
              

  
               
               
               ➡️
  
               
               
               【Notebook系列第六期】基於Pytorch預訓練模型，實現語義分割任務

👇歡迎在留言區與我們互動哦，
點擊小程序 留言區 即可參與

留言區 

            
            
            

 
             
             
             

  
              
              
              

   
               
               
               

    
                
                
                
 
                 
 
                  
 
                   
 
                    
 
                     
 
                      
 
                       
 
                        
 
                         
 
                          
 
                           
 
                            
 
                             
 
                              
 
                               
 
                                

 
                                
掃描下方二維碼立即體驗 
 
                                
OpenVINO™ 工具套件 2022.3
點擊 閲讀原文 立即體驗OpenVINO 
文章這麼精彩，你有沒有“在看”

本文分享自微信公眾號 - OpenVINO 中文社區（openvinodev）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閲讀的你也加入，一起分享。

「」
「」