搞AI開發,你不得不會的PyCharm技術

語言: CN / TW / HK
摘要:PyCharm在AI專案開發提供了優秀的程式碼編輯、除錯、遠端連線和同步能力,在開發者中廣受歡迎。

使用PyCharm外掛配合ModelArts:

  • 一鍵幫助使用者配置遠端ModelArts Notebook,免去使用者手工配置
  • 按需使用Notebook資源,啟動停止,隨心所欲
  • 原生代碼提交至ModelArts訓練任務,沉浸式AI開發體驗

ModelArts是華為雲一站式AI開發平臺,“一站式”是指AI開發的各個環節,包括資料處理、演算法開發、模型訓練、模型部署都可以在ModelArts上完成。從技術上看,ModelArts底層支援各種異構計算資源,開發者可以根據需要靈活選擇使用,而不需要關心底層的技術。同時,ModelArts支援Tensorflow、PyTorch、MindSpore等主流開源的AI開發框架,也支援開發者使用自研的演算法框架,匹配您的使用習慣。

AI模型開發的過程,稱之為Modeling,一般包含兩個階段:

  • 開發階段:準備並配置環境,除錯程式碼,使程式碼能夠開始進行深度學習訓練,推薦在ModelArts開發環境中除錯。
  • 實驗階段:調整資料集、調整超參等,通過多輪實驗,訓練出理想的模型,推薦在ModelArts訓練中進行實驗。

兩個過程可以相互轉換。如開發階段程式碼穩定後,則會進入實驗階段,通過不斷嘗試調整超參來迭代模型;或在實驗階段,有一個可以優化訓練的效能的想法,則會回到開發階段,重新優化程式碼

1. 實操體驗 How to Use

1.1 外掛安裝和登入

1.1.1 外掛安裝

選擇File>Settings>Plugins,在Marketplace裡搜尋“ModelArts”,點選Install即可完成安裝。

1.1.2 外掛登入

安裝完外掛後,會在IDE選單欄出現ModelArts,點選後選擇Edit Credential,出現如下頁面

點選外掛的How to get AK/SK,跳轉到華為雲文件去按照指導獲取AK/SK,把AK/SK填入登入框中,點選OK,即可完成登入。

1.2 訓練程式碼和資料準備

在本部落格中,通過附件進行下載獲取。

獲取完程式碼和資料中,需要把訓練資料上傳至OBS中,為下一步提交訓練作業做好準備。

進入到OBS控制檯中,如果沒有OBS桶,需要建立一個,如果已有桶,在該桶下新建一個data資料夾,把已下載好的訓練資料上傳至該OBS資料夾中。

和data資料夾同級,建立一個job資料夾,用來存放提交的訓練作業。

首先獲取OBS桶地址,在網頁端進行點選獲取,地址類似為obs://3xdata

通過拼接獲取到data和job資料夾OBS地址分別為:

data:obs://3xdata/data/

job:obs://3xdata/job/

1.3 提交訓練作業

通過PyCharm把下載好的訓練檔案開啟,點選外掛的Training Job進行訓練作業提交

在開啟的頁面中,選擇和填入如下引數:

  • Engine必須選擇tensorflow_2.1.0
  • 啟動檔案和目錄必須位於當前開啟專案
  • OBS Path為上一步獲得地址
  • Specifications可以選擇免費規格或者CPU/GPU規格

填寫無誤後,點選Apply and Run, 等待訓練作業執行完成即可看到如下圖日誌輸出

點選日誌中的網站連結地址,可以在網頁端看當訓練作業相關詳情,完成網頁端資訊截圖即可

恭喜大家,至此,我們的在ModelArts上進行模型開發的體驗就順利完成了。

2. 更多探索 Learn More

如果擁有PyCharm專業版,還可以體驗更多豐富功能,使用Notebook進行開發除錯後,再進行訓練作業提交,可以參考https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0016.html

本文作者小馬老師將在10月11日直播詳細介紹【試駕PyCharm“混動”AI開發初體驗】,歡迎各位點選此處參與。

 

點選關注,第一時間瞭解華為雲新鮮技術~