2022 年的 AI 開發工具和大模型演進丨XDC 2022

GPT-3 的出世引發了 AI 大模型的熱潮，兩年過去了，產業界是否馴服了大模型？大模型又是否具備了成為 AI 基礎設施和商業模式的潛力？事實上，GPT-3系統的流暢程度對很多人來說是一個巨大的飛躍，但它仍然存在一些問題，它可以編寫與人類極度相似的文字，寫一部引人入勝的超現實主義小說，但卻無法保證語言的準確性——它的輸出符合語法，卻讓人無法理解。

大模型在近兩年來已經應用到了許多場景，它可以提供計算服務，進行寫作、創新點子、面試題、商標等多個內容的輔助生成，在中低速應用場景中也有不錯的表現。但是，在高速、高併發的應用場景中，大模型還有許多技術難點需要突破。

當我們將視野轉向底層的AI開發工具，會發現那些備受關注的深度學習框架也有很多進展。transformer高速發展，在視覺任務領域的適用性已經被證明，在音訊文字序列任務也基本革了RNN的命，成為了NLP、CV、ASR等領域的主流模型。由各廠商優化的工具、開源 AI 框架等也將端與端的高效能AI應用進一步優化。未來，不論是AI開發工具還是大模型還會進一步發展，應用到更多場景，實現更多突破。

在7月22、23日即將舉辦的2022稀土開發者大會上，由北京一流科技有限公司創始人袁進輝（老師木）作為出品人的《AI開發工具和大模型推進》專場，將邀請產業界的 AI 專家，破疑解惑，尋找真正的技術價值。本屆開發者大會免費報名中，點選連結或識別海報二維碼即可與各位牛人分享交流。

演講主題：如何利用 Intel 加速工具構建端到端的高效能應用

介紹 Intel AI 方案及軟體生態，並分享如何利用 Intel 優化的 Python 工具、開源 AI 框架等優化端到端的高效能 AI 應用。

演講大綱：

• Intel 的 AI 加速計算平臺

• 面向 AI 開發者的 Intel AI 軟體工具加速資料、模型和部署

• 高效能應用的端到端 AI 應用例項

演講嘉賓：

夏磊 英特爾人工智慧首席工程師、首席架構師

現負責支援中國資料中心客戶，在 IA 架構上利用 Intel 最新硬體加速方案進行 AI 領域的技術合作。長期支援各行業，利用人工智慧、視覺計算、感測器等領域技術進行應用創新。

演講主題：Transformer 系列模型量化訓練與推理

Transformer 系列模型已經成為了 NLP、CV、ASR 等領域的主流模型，因此如何更快地訓練和推理 Transformer 模型成為業界研究的一個重要問題。低精度量化技術通過降低資料的位寬來大大加速計算和通訊過程，因此成為了訓練推理加速的一個重要手段。但與此同時，量化會造成精度和效果上的損失，需要通過量化感知訓練等手段來減輕損失。業界目前還沒有一款工具，可以同時實現 Transformer 模型的量化訓練、量化推理和精度無損。因此 LightSeq 針對這些重難點進行了研究，首次在業界實現了全套功能。 具體實踐上，LightSeq 通過 int8 GEMM 實現了真量化訓練過程，而不是業界廣泛使用的偽量化方法，因此訓練速度提升了 10 倍以上。而通過 PACT 等量化策略，可以將量化訓練的損失減小到最低。在將量化模型匯出為 LightSeq 支援的格式之後，可以進一步使用 LightSeq 量化推理引擎實現快速推理，在 T4 顯示卡上提速最高 70%。LightSeq 開箱即用，支援 Transformer、BERT、GPT 等多種模型的量化全流程，提供了豐富、多層級的 API 和使用示例。

演講大綱：

• Transformer 和量化背景介紹

• 量化感知訓練技術

• 量化位置

• 訓練策略

• 視訊記憶體管理

• 量化推理技術

• 運算元融合

• 視訊記憶體管理

• 效能分析

• 系統架構及使用示例

演講嘉賓：

韋陽 位元組跳動 AI Lab NLP 演算法工程師

主要研究機器翻譯、模型優化方向，是模型訓練推理加速專案 LightSeq 的核心開發者之一。

演講主題：源1.0大模型及開源開放進展

將從業界現狀、源1.0大模型創新與實踐、應用落地等角度，講述源1.0大模型及開源開放的進展。在資料上，將結合“源1.0”海量資料處理平臺，講述如何對 2017 至 2021 年間 866TB 網際網路海量資料進行清洗並獲得 5TB 大規模高質量中文資料集。在演算法上，將結合“源1.0”講述大模型演算法實踐的技巧，及如何在 2128 顆 GPU 叢集上取得業界領先的訓練效能。在應用上，將結合“源1.0”大模型的開源開放計劃，講述源1.0在寫作、對話、虛擬人等領域的應用情況，探討大模型的落地。

演講大綱：

• 業界現狀分析

• 源1.0創新及實踐

• 源1.0應用落地

演講嘉賓：

吳韶華 浪潮資訊 AI 軟體研發總監

研究方向為人工智慧與分散式計算，帶領團隊研發了 2457 億引數的“源1.0”大模型。當前致力於認知理論及方法、大規模分散式訓練等方向研究。

演講主題：Vertex AI 助力大模型搜尋和訓練

預訓練大模型已經成為 AI 應用落地的新正規化，但大模型對資料、算力和演算法都提出了新的挑戰。Google 在應用、算力、演算法及 AI 開發工具上大手筆動作不斷：基於多模態的圖文搜尋 MultiSearch，基於 TPUv4 超強算力世界最大的 ML Hub，幫助搜尋更好模型的 Vertex NAS ，一站式的 AI 訓練和推理工具集 Vertex AI 等等。

演講大綱：

• AI 前沿新正規化: 萬億引數級預訓練大模型

• Vertex NAS 搜尋下一個 SOTA 網路結構

• 9 ExaFlops 世界最大公開可用 ML Hub

• Google Cloud TPU/GPU 分散式訓練實踐

演講嘉賓：

王順 Google Cloud AI/ML 專家

協助和賦能中國出海企業客戶在 Google Cloud 上進行 AI/ML 相關業務的實踐，包括在 TPU/GPU 上進行超大規模深度學習模型的分散式訓練；部署端到端的一站式機器學習訓練平臺和 MLOps 最新實踐；CV、NLP、Speech、多模態模型生產部署，A/B 測試和效能優化；定製化解決方案的協作開發，比如電商推薦系統、基於圖文等多模態模型訓練等。在加入 Google Cloud 之前曾在人工智慧初創公司曠視負責及參與多項 AI 技術在企業落地，包括人臉識別、證件 OCR、淘咖啡無人店等專案。

演講主題：PPL：高效能推理在車載智慧場景下的應用與實踐

推理引擎作為連線演算法模型與產品落地的部署平臺核心元件，是 AI 大裝置賦能百業的重要一環。商湯 PPL 是國內最早的自研推理引擎之一，目前服務於安防、金融、手機、娛樂網際網路、智慧硬體和智慧駕駛等多個 AI 重點賦能領域。本次演講將分享商湯 HPC 團隊對於推理部署的技術思考和效能優化經驗，並以車載智慧案例為例，講述如何協同業務團隊，在不同硬體平臺上進行適配，並完成端到端的推理優化提升。最後，本次演講也將分享 PPL 的進一步開源計劃，與開發者共同探討 AI 部署的挑戰與未來，助力國產 AI 生態的繁榮。

• 商湯自研高效能推理引擎 PPL 的發展與演進

• PPL 效能優化經驗分享

• 硬體架構特性分析

• 基於 Arithmetic Intensity，探索優化方向

• 基於微架構的指令集調優

• PPL 落地實踐

• 絕影智慧車艙

• 車載智慧部署的難點與思考

• 基於 PPL 的高效能車載解決方案

• 硬體適配，通用平臺全場景加速

• 社群開源計劃：OpenPPL

• PPL 的挑戰與未來規劃

演講嘉賓：

許志耿 商湯科技高階系統研究員

商湯科技高階系統研究員，推理引擎 PPL CPU 與加速器方向負責人。本碩畢業於上海交通大學計算機系，研究方向為高效能運算。曾參與神威·太湖之光超級計算機上的科學計算核心深度優化；建立了 AI 加速器上的商湯自研推理引擎。在 PARCO、IPDPS、ICPP 等國際會議和期刊上發表過多篇論文。目前在商湯科技高效能運算與推理部門負責 CPU、DSP 和 NPU 等架構方向的推理引擎研發與業務落地。

本屆大會策劃的專題除AI開發工具與大模型演進以外，還包括了開源和商業化探索、大前端、低程式碼、業務背後的架構演進、微服務和Serverless、雲原生技術架構和變革等十數個技術專場，由來自位元組、阿里、騰訊、快手等公司具備技術影響力與洞察力的行業專家負責議題把控，目前大會出品人已全部集齊，講師陣容即將確認完畢。除了為期兩天的沉浸式內容體驗，稀土開發者大會還為萬千開發者朋友們準備了豐厚的獎品，報名參會的開發者將有機會參與抽獎，贏取豐厚大獎，敬請期待。