帶你掌握如何使用CANN 算子ST測試工具msopst

摘要：本期帶您瞭解如何使用msopst工具。

本文分享自華為雲社區《​ ​【CANN文檔速遞13期】算子ST測試工具【msopst】​ ​》，作者： 昇騰CANN 。

如何獲取msopst工具

msopst工具存儲在Ascend-cann-toolkit安裝目錄的“toolkit/python/site-packages/bin”路徑下。支持對TBE算子以及AI CPU算子進行ST測試。

CANN軟件安裝完成並生效環境變量配置腳本後，即可直接使用此工具，您可以在任意路徑下執行如下命令查看工具相關參數：

總體使用流程

自定義算子部署到OPP算子庫後，開發者可使用msopst工具驗證算子在昇騰AI處理器上執行的正確性，總體流程較簡單，如下所示：

下面我們分別介紹以上每一個步驟是幹什麼的？該如何做？

生成測試用例定義文件

測試用例定義文件，顧名思義，就是用來生成測試用例的，其內容包含了測試用例所需的基本信息，例如：測試用例名稱，所要測試的算子類型，算子的輸入輸出描述信息（形狀、數據類型、數據排布格式等）、算子屬性相關信息（包含屬性名稱、類型、屬性值）、數據生成算法等。以Add算子為例，通過msopst工具生成測試用例定義文件的命令如下：

上述命令執行完成後，會在當前路徑的output目錄下生成Add算子的測試用例定義文件：Add_case_{timestamp}.json。

當然，您也可以不使用msopst create命令，直接拷貝已有算子的測試用例定義文件進行修改亦可，使用算子信息庫生成的優勢是會自動填充測試用例定義文件中的相關字段，例如case_name，op，input_desc與output_desc中的name、format、type等。OpType_case_xxx.json文件的模板如下：

配置測試用例定義文件

測試用例定義文件的配置為整個ST測試流程的核心，直接決定了生成的測試用例個數、數據生成算法、測試覆蓋率等，下面描述測試用例定義文件的參數含義及配置方法。

輸入輸出描述配置

輸入輸出描述信息包含的關鍵配置如下表所示：

測試用例採用將以上配置進行正交組合的方式生成，如下圖所示，format取值為[“ND”,“NCHW”, “NHWC”]；type的取值為[“int32”,“float32”]；shape的取值範圍為[32,16]；data_distribute的取值為[“uniform”]，value_range的取值為[0.1, 1.0]，則生成的測試用例個數為 3 * 2 * 1 * 1 * 1 = 6。

算子屬性配置

若算子包含屬性，還需要配置如下表所示參數：

大批量生成測試用例

若開發者需要生成大量測試用例，可利用fuzz測試參數生成腳本輔助生成，並在測試用例定義文件（ *.json ）中配置fuzz腳本路徑、所需生成的測試用例數目，同時輸入輸出描述中相關參數的取值配置為“fuzz”。操作步驟示例如下：

1、配置fuzz測試參數生成腳本，假設腳本命名“fuzz_shape.py”，實現如下所示：

2、配置測試用例定義文件；

3、在測試用例定義文件（*.json）中配置fuzz測試參數生成腳本的路徑，所需生成的測試用例個數，並將需要自動生成的字段配置為固定值“fuzz”，如下所示：

定義期望數據生成函數

若用户需要得到實際輸出與期望輸出的比對結果，可使用Python語言自定義實現期望數據生成函數，並在ST測試用例定義文件中增加此函數入口。例如，Add算子的期望數據生成函數為“/home/test/test_add.py”，實現如下所示：

然後在ST測試用例定義文件中增加“calc_expect_func_file”參數，配置為“期望數據生成函數的文件:函數名”，如下所示：

生成並執行測試用例

配置完相關環境變量後，您就可以通過如下命令執行ST測試用例：

查看執行結果

ST測試用例執行完後，您可以通過打屏信息查看用例執行結果，若下所示，共運行9個用例，9個用例全部執行成功。

開發者也可以查看生成的報表“st_report.json”，此報表中記錄了測試結果及各階段的運行情況，ST測試用例運行異常時，可以基於此信息進行問題定位。

至此，ST測試工具“msopst”的使用全流程已介紹完畢，您是否對此工具有了初步的認知呢？若您需要進行自定義算子的開發，別忘了使用此工具進行算子的ST測試噢~關於此工具的更多使用樣例，可參見昇騰社區中的《TBE自定義算子開發指南》或《AI CPU自定義算子開發指南》。 （  ​ ​http://www.hiascend.com/document?tag=community-developer​ ​ ​ ）

昇騰CANN文檔中心致力於為開發者提供更優質的內容和更便捷的開發體驗，助力CANN開發者共建AI生態。任何意見和建議都可以在昇騰社區反饋，您的每一份關注都是我們前進的動力。

​ ​ 點擊關注，第一時間瞭解華為雲新鮮技術~ ​ ​