深度報告:大模型驅動 AI 全面提速!黃金十年開啟 | 智東西內參

語言: CN / TW / HK

經歷過去 70 年的“三起兩落”,伴隨底層晶片、算力、資料等基礎設施的完善&進步,全球 AI 產業正逐步從運算智慧走向感知智慧、認知智慧,並相應形成“晶片、算力設施、AI 框架&演算法模型、應用場景”的產業分工、協作體系。2019年以來,AI 大模型帶來問題泛化求解能力大幅提升,“大模型+小模型”逐步成為產業主流技術路線,驅動全球 AI 產業發展全面加速,並形成“晶片+算力基礎設施+AI 框架&演算法庫+應用場景”的穩定產業價值鏈結構。

本期的智慧內參,我們推薦中信證券的報告《大模型驅動 AI 全面提速,產業黃金十年投資週期開啟》,解讀人工智慧產業現狀和產業發展核心問題。

來源 中信證券

原標題:

《大模型驅動 AI 全面提速,產業黃金十年投資週期開啟

作者:陳俊雲 許英博 廖原 劉銳 賈凱方

一、人工智慧的“三起三落”

自 1956 年“人工智慧”概念&理論首次被提出,AI 產業&技術發展主要經歷三大發展階段。

1 20 世紀 50 年代 ~20 世紀 70 年代:受制於算力效能、資料量等,更多停留在理論 層面。 1956 年達特茅斯會議推動了全球第一次人工智慧浪潮的出現,當時樂觀的氣氛瀰漫著整個學界,在演算法方面出現了很多世界級的發明,其中包括一種叫做增強學習的雛形,增強學習就是谷歌 AlphaGo 演算法核心思想內容。而 70 年代初,AI 遭遇了瓶頸:人們發現邏輯證明器、感知器、增強學習等只能做很簡單、用途狹隘的任務,稍微超出範圍就無法應對。當時的計算機有限的記憶體和處理速度不足以解決任何實際的 AI 問題。這些計算複雜度以指數程度增加,成為了不可能完成的計算任務。

2 20 世紀 80 年代 ~20 世紀 90 年代:專家系統是人工智慧的第一次商業化嘗試,高 昂的硬體成本、有限的適用場景限制了市場的進一步向前發展。 在 80 年代,專家系統 AI程式開始為全世界的公司所採納,而“知識處理”成為了主流 AI 研究的焦點。專家系統的能力來自於它們儲存的專業知識,知識庫系統和知識工程成為了 80 年代 AI 研究的主要方向。但是專家系統的實用性僅僅侷限於某些特定情景,不久後人們對專家系統的狂熱追捧轉向巨大的失望。另一方面,1987 年到 1993 年現代 PC 的出現,其費用遠遠低於專家系統所使用的 Symbolics 和 Lisp 等機器。相比於現代 PC,專家系統被認為古老陳舊而非常難以維護。於是,政府經費開始下降,寒冬又一次來臨。

3 2015 年至今:逐步形成完整的產業鏈分工、協作體系。 人工智慧第三起的標誌性事件發生在 2016 年 3 月,谷歌 DeepMind 研發的 AlphaGo 在圍棋人機大戰中擊敗韓國職業九段棋手李世石。隨後,大眾開始熟知人工智慧,各個領域的熱情都被調動起來。這次事件確立了以 DNN 神經網路演算法為基礎的統計分類深度學習模型,這類模型相比於過往更加泛化,通過不同的特徵值提取可以適用於不同的應用場景中。同時,2010 年-2015 年移動網際網路的普及也為深度學習演算法帶來了前所未有的資料養料。得益於資料量的上漲、運算力的提升和機器學習新演算法的出現,人工智慧開始大調整。人工智慧的研究領域也在不斷擴大,包括專家系統、機器學習、進化計算、模糊邏輯、計算機視覺、自然語言處理、推薦系統等。深度學習的發展,讓人工智慧進入新的發展高潮。

人工智慧發展的三次浪潮

人工智慧第三次浪潮帶給我們一批能給商業化落地的場景,DNN 演算法的出色表現讓語音識別與影象識別在安防、教育領域貢獻了第一批成功的商業案例。而近年來基於神經網路演算法之上的 Transformer 等演算法的開發讓 NLP(自然語言處理)的商業化也提上了日程,有望在未來 3-5 年看到成熟的商業化場景。

人工智慧技術產業化所需年數

二、分工逐步完整,落地場景不斷拓展

經歷過去 5~6 年的發展,全球 AI 產業正逐步形成分工協作、完整的產業鏈結構,並開始在部分領域形成典型應用場景。

1、AI 晶片:從 GPU FPGA ASIC 等,效能不斷提升

晶片是 AI 產業的制高點 。本輪人工智慧產業繁榮,緣於大幅提升的 AI 算力,使得深度學習和多層神經網路演算法成為可能。 工智慧在各個行業迅速滲透,資料隨之海量增長,這導致演算法模型極其複雜,處理物件異構,計算效能要求高。因此人工智慧深度學習需要異常強大的並行處理能力,與 CPU 相比,AI 晶片擁有更多邏輯運算單元(ALU)用於資料處理,適合對密集型資料進行並行處理,主要型別包括圖形處理器(GPU)、現場可程式設計門陣列(FPGA)、專用積體電路(ASIC)等。

從使用場景來看,相關硬體包括:雲側推理晶片、雲側測試晶片、終端處理晶片、IP 核心等。在雲端的“訓練”或“學習”環節,英偉達 GPU 具備較強競爭優勢,谷歌 TPU 亦在積極拓展市場和應用。在終端的“推理”應用領域 FPGA 和 ASIC 可能具備優勢。美國在 GPU 和 FPGA 領域具有較強優勢,擁有英偉達、賽靈思、AMD 等優勢企業,谷歌、亞馬遜亦在積極開發 AI 晶片。

晶片在不同 AI 環節的應用

人工智慧神經網路演算法模型複雜度

晶片廠商佈局

在高效能運算市場,藉助 AI 晶片的並行運算能力實現對複雜問題的求解是目前的主流方案。據 Tractica 資料顯示,2019 年全球 AI HPC市場規模約 13.6 億美元,預計到 2025 年市場規模達 111.9 億美元,7 年 CAGR 為 35.1%。AI HPC 市場規模佔比由 2019 年的 13.2%提高至 2025 年的 35.5%。同時 Tractica 資料顯示,2019 年全球 AI 晶片市場規模為 64 億美元,預計到 2023 年市場規模達 510 億美元,市場空間增長近 10 倍。

邊緣計算晶片出貨量(百萬,按終端裝置)

全球人工智慧晶片市場規模(億美元)

近兩年內,國內湧現了大量自研的晶片類公司,以自研 GPU 的摩爾執行緒、自研自動駕駛晶片的寒武紀等為代表。摩爾執行緒於 2022 年 3 月釋出了 MUSA 統一系統架構及第一代晶片“蘇堤”,摩爾執行緒的新架構支援英偉達的 cuda 架構。根據 IDC 資料,在 2021 年上半年中國人工智慧晶片中,GPU 一直是市場首選,佔有 90%以上的市場份額,但隨其他晶片的穩步發展,預計到 2025 年 GPU 佔比將逐步降低至 80%。

GPU 晶片主要玩家及技術路線情況

2、 算力設施:藉助雲端計算、自建等方式,算力規模、單位成本等指標不斷改善

過去算力發展有效緩解了人工智慧的發展瓶頸。 人工智慧作為一個年代久遠的概念,過去的發展一直受限於算力不足,其算力需求的主要來源於兩個方面:1)人工智慧最大挑戰之一是識別度與準確度不高,而要提高準確度就需要提高模型的規模和精確度,這就需要更強的算力支撐。2)隨著人工智慧的應用場景逐漸落地,影象、語音、機器視覺和遊戲等領域的資料呈現爆發性增長,也對算力提出了更高的要求,使得計算技術進入新一輪高速創新期。而過去十幾年算力的發展有效緩解了人工智慧的發展瓶頸,未來智慧計算將呈現出需求更大、效能要求更高、需求隨時隨地且多樣化的特點。

由於接近物理極限,算力增長的摩爾定律逐步失效,算力行業正處於多要素綜合創新 階段。 過去算力供應提升主要通過工藝製程微縮,即在同一晶片內增加電晶體堆疊的數量來提高計算效能。但隨著工藝製程不斷逼近物理極限,成本不斷提高,使得摩爾定律逐漸失效,算力產業進入後摩爾時代,算力供應需要通過多要素綜合創新提高。當前算力供給有四個層面:單晶片算力、整機算力、資料中心算力和網路化算力,分別通過不同技術進行持續演進升級,以滿足智慧時代多樣化算力的供給需求。此外,通過軟硬體系統的深度融合與演算法優化提升計算系統整體效能,也是算力產業演進的重要方向。

算力規模: 根據中國信通院 2021 年釋出的《中國算力發展指數白皮書》,2020 年全球算力總規模依舊保持增長態勢,總規模達 429EFlops,同比增長 39%,其中基礎算力規模 313EFlops、智慧算力規模 107EFlops、超算算力規模 9EFlops,智慧算力佔比有所提高。我國算力發展節奏與全球相似,2020 年我國算力總規模達到 135EFlops,佔全球算力規模的 39%,實現 55%的高位增長,並實現連續三年增速保持 40%以上。

全球算力規模變化

算力結構 :我國與全球發展情況相似,智慧算力增長迅速,佔比從 2016 年的 3%提升至 2020 年的 41%。而基礎算力佔比由 2016 年的 95%下降至 2020 年的 57%,在下游需求驅動下,以智慧計算中心為代表的人工智慧算力基礎設施發展迅猛。同時在未來需求方面,根據華為 2020 年釋出的《泛在算力:智慧社會的基石》報告,隨著人工智慧的普及,預計到 2030 年,人工智慧算力的需求將相當於 1600 億顆高通驍龍 855 內建 AI 晶片,相當於 2018 年的約 390 倍、2020 年的約 120 倍。

預計 2030 年人工智慧算力需求(EFlops)

資料儲存:非關係型資料庫以及用於儲存、治理非結構資料的資料湖迎來需求爆發。 近年來全球資料量呈現爆發式增長,據 IDC 統計,2019 年全球產生的資料量為 41ZB,過去十年的 CAGR 接近 50%,預計到 2025 年全球資料量或高達 175ZB,2019-2025 年仍將維持近 30%的複合增速,其中超過 80%的資料都將是處理難度較大的文字、影象、音影片等非結構化資料。資料量(尤其是非結構化資料)的激增使得關係型資料庫的弱點愈加凸顯,面對幾何指數增長的資料,傳統為結構型資料設計的關係型資料庫縱向疊加的資料延展模式難以滿足。非關係型資料庫以及用於儲存、治理非結構資料的資料湖,因其靈活性以及易延展性逐漸佔據市場中越來越多的份額。根據 IDC,2020 年全球 Nosql 資料庫的市場規模為 56 億美元,預計 2025 年將增長至 190 億美元,2020-2025 年複合增速為 27.6%。同時,根據 IDC,2020 年全球資料湖市場規模為 62 億美元,2020 年市場規模增速為 34.4%。

全球資料量及同比增速(ZB,%)

3、AI 框架:相對趨於成熟,少數巨頭主導

Tensorflow (產業界)、 PyTorch (學術界)逐步實現主導。 谷歌推出的 Tensorflow為主流與其他開源模組如 Keras(Tensorflow2 集成了 Keras 模組)、Facebook 開源的PyTorch 等一起構成了目前 AI 學習的主流框架。Google Brain 自 2011 年成立起開展了面向科學研究和谷歌產品開發的大規模深度學習應用研究,其早期工作即是 TensorFlow 的前身 DistBelief。DistBelief 在谷歌和 Alphabet 旗下其他公司的產品開發中被改進和廣泛使用。2015 年 11 月,在 DistBelief 的基礎上,谷歌大腦完成了對“第二代機器學習系統”TensorFlow 的開發並對程式碼開源。相比於前作,TensorFlow 在效能上有顯著改進、構架靈活性和可移植性也得到增強。

Tensorflow 與 Pytorch 雖然本身是開源模組,但因為深度學習框架龐大的模型與複雜度導致其修改與更新基本完全是由谷歌完成,從而谷歌與 Facebook 也通過對 Tensorflow與 PyTorch 的更新方向直接主導了產業界對人工智慧的開發模式。

全球商用人工智慧框架市場份額結構(2021)

Microsoft 在 2020 年以 10 億美元注資 OpenAI,獲得 GPT-3 語言模型的獨家許可。GPT-3 是目前在自然語言生成中最為成功的應用,不僅可以用於寫“論文”,也可以應用於“自動生成程式碼”,自今年 7 月釋出後,也被業界視為最強大的人工智慧語言模型。而Facebook 早在 2013 年創立了 AI 研究院,FAIR 本身並沒有像 AlphaGo 和 GPT-3 那樣著名的模型和應用,但是它的團隊已經在 Facebook 本身感興趣的領域發表了學術論文,包括計算機視覺、自然語言處理和對話型 AI 等。2021 年,谷歌有 177 篇論文被 NeurIPS(目前人工智慧演算法的最高期刊)接收並發表,Microsoft 有 116 篇,DeepMind 有 81 篇,Facebook 有 78 篇,IBM 有 36 篇,而亞馬遜只有 35 篇。

4、 演算法模型:神經網路演算法為主要理論基礎

深度學習正在向深度神經網路過渡。 機器學習是通過多層非線性的特徵學習和分層特徵提取,對影象、聲音等資料進行預測的計算機演算法。深度學習為一種進階的機器學習,又稱深度神經網路(DNN:Deep Neural Networks )。針對不同場景(資訊)進行的訓練和推斷,建立不同的神經網路與訓練方式,而訓練即是通過海量資料推演,優化每個神經元的權重與傳遞方向的過程。而卷積神經網路,能考慮單一畫素與周邊環境變數,並簡化資料提取數量,進一步提高神經網路演算法的效率。

神經網路演算法成為大資料處理核心。 AI 通過海量標籤資料進行深度學習,優化神經網路與模型,並匯入推理決策的應用環節。90 年代是機器學習、神經網路演算法快速崛起的時期,演算法在算力支援下得到商用。90 年代以後,AI 技術的實際應用領域包括了資料探勘、工業機器人、物流、語音識別、銀行業軟體、醫療診斷和搜尋引擎等。相關演算法的框架成為科技巨頭的佈局重點。

主要科技巨頭演算法平臺框架

技術方向上,計算機視覺與機器學習為主要的技術研發方向。 根據 ARXIV 資料,從理論研究的角度看,計算機視覺和機器學習兩個領域在 2015-2020 年發展迅速,其次是機器人領域。2020 年,ARXIV 上 AI 相關出版物中,計算機視覺領域出版物數量超過 11000,位於 AI 相關出版物數量之首。

2015-2020 年 ARXIV 上 AI 相關出版物數量

在過去五年,我們觀察到以 CNN 與 DNN 為主的神經網路演算法是近年來發展最快的機器學習演算法,因其在計算機視覺、自然語言處理等領域中的優異表現,大幅加快了人工智慧應用的落地速度,是計算機視覺、決策智慧迅速邁向成熟的關鍵因素。從側檢視可以看出,在語音識別任務上,標準的 DNN 方法相較於傳統的 KNN、SVM 與隨機森林等方法都有著明顯的優勢。

卷積演算法突破了傳統影象處理的準確度瓶頸,首次實現工業化可用

訓練成本上看,神經網路演算法訓練人工智慧的成本明顯降低。 ImageNet 是一個包含超過 1400 萬張影象的資料集,用於訓練人工智慧演算法。根據斯坦福 DAWNBench 團隊的測試,2020 年訓練一個現代的影象識別系統僅需約 7.5 美元,比 2017 年的 1100 美元下降了 99%以上,這主要受益於演算法設計的優化、算力成本的下降,以及大規模人工智慧訓練基礎設施的進步。訓練系統的速度越快,評估並用新資料更新系統的速度就越快,這將進一步加快 ImageNet 系統的訓練速度,提高開發和部署人工智慧系統的生產力。

訓練時間分佈上看,神經網路演算法訓練所需時間全面降低。 通過分析每個時期的訓練時間分佈,發現在過去幾年中,訓練時間大大縮短,且訓練時間的分佈更加集中,這主要受益於加速器晶片的廣泛使用。

ImageNet 訓練時間分佈(分鐘)

在卷積神經網路的推動下,計算機視覺準確率測試成績明顯提升,正處於產業化階段。 計算機視覺準確率在過去的十年中取得了巨大的進步,這主要歸功於機器學習技術的應用。Top-1 準確度測試人工智慧系統為影象分配正確標籤的能力越強,那麼其預測結果(在所有可能的標籤中)與目標標籤越相同。在有額外的訓練資料(例如來自社交媒體的照片)的情況下,2021 年 1 月在 Top-1 準確度測試上每 10 次嘗試中會出現 1 次錯誤,而 2012年 12 月每 10 次嘗試中會出現 4 次錯誤。而另一項精確率測試 Top-5 會讓計算機回答目標標籤是否在分類器的前五個預測中,其準確率從 2013 年的 85%提高到 2021 年的 99%,超過了代表人類水平的成績 94.9%。

TOP-1 準確率變化

TOP-5準確率變化

在神經網路演算法發展的過程中, Transformer 模型在過去五年裡成為了主流,整合了 過去各種零散的小模型。 Transformer 模型是谷歌在 2017 年推出的 NLP 經典模型(Bert就是用的 Transformer)。模型的核心部分通常由兩大部分組成,分別是編碼器與解碼器。編/解碼器主要由兩個模組組合成:前饋神經網路(圖中藍色的部分)和注意力機制(圖中玫紅色的部分),解碼器通常多一個(交叉)注意力機制。編碼器和解碼器通過模仿神經網路對資料進行分類與再次聚焦,在機器翻譯任務上模型表現超過了 RNN 和 CNN,只需要編/解碼器就能達到很好的效果,可以高效地並行化。

AI 大模型化是過去兩年內興起的新潮流,自監督學習 + 預訓練模型微調適配方案逐漸 成為主流, AI 模型走向大資料支撐下的泛化成為可能。 傳統的小模型用特定領域有標註的資料訓練,通用性差,換到另外一個應用場景中往往不適用,需要重新訓練。而 AI 大模型通常是在大規模無標註資料上進行訓練,將大模型進行微調就可以滿足多種應用任務的需要。以 OpenAI、谷歌、微軟、Facebook、NVIDIA 等機構為代表,佈局大規模智慧模型已成為全球引領性趨勢,並形成了 GPT-3、Switch Transformer 等大引數量的基礎模型。

2021 年底英偉達與微軟聯合開發的 Megatron-LM 擁有 83 億條引數,而 Facebook 開發的Megatron 擁有 110 億條引數。這些引數大多來自於 reddit、wikipedia、新聞網站等,對大量資料儲存及分析所需的資料湖等工具將會是下一步研發的焦點之一。

5、應用場景: 逐步在安防、網際網路、零售等領域實現落地

目前在應用端最成熟的技術是語音識別、影象識別等,圍繞這些領域,國內、美國都 有大量的企業上市,並形成一定的產業叢集。 在語音識別領域,比較成熟的上市企業包括科大訊飛與此前被微軟以 290 億美元收購的 Nuance。

智慧醫療: AI+ 醫療多應用於醫療輔助場景。 在醫療健康領域的 AI 產品涉及智慧問診、病史採集、語音電子病歷、醫療語音錄入、醫學影像診斷、智慧隨訪、醫療雲平臺等多類應用場景。從醫院就醫流程來看,診前產品多為語音助理產品,如導診、病史採集等,診中產品多為語音電子病例、影像輔助診斷,診後產品以隨訪跟蹤類為主。綜合整個就診流程中的不同產品,當前 AI+醫療的主要應用領域仍以輔助場景為主,取代醫生的體力及重複性勞動。AI+醫療的海外龍頭企業是 Nuance,公司 50%的業務來自智慧醫療解決方案,而病歷等臨床醫療文獻轉寫方案是醫療業務的主要收入來源。

智慧城市:大城市病和新型城鎮化給城市治理帶來新挑戰,刺激 AI+ 城市治理的需求。 大中型城市隨著人口和機動車數量的增加,城市擁堵等問題比較突出。隨著新型城鎮化的推進,智慧城市將會成為中國城市的主要發展模式。而智慧城市涉及的 AI+安防、AI+交通治理將會成為 G 端的主要落地方案。2016 年杭州首次進行城市資料大腦改造,高峰擁堵指數下降至 1.7 以下。目前以阿里為代表的城市資料大腦已經進行了超過 15 億元的投資,主要集中在智慧安防、智慧交通等領域。我國智慧城市產業規模持續擴大,前瞻產業研究院預計 2022 年可達 25 萬億元,2014 年至 2022 年的年均複合增長率為 55.27%。

2014-2022 年智慧城市市場規模及預測(單位:萬億元)

智慧物流 2020 年市場規模高達 5710 億元,智慧倉儲迎來千億市場。 物流行業成本居高不下及數字化轉型的背景下,倉儲物流及產品製造環節面臨著自動化、數字化、智慧化轉型的迫切需求,以提升製造和流通效率。根據中國物流與採購聯合會的資料,2020年中國智慧物流市場高達5710億元,2013-2020年的年均複合增長率為21.61%。物聯網、大資料、雲端計算、人工智慧等新一代資訊科技既促進了智慧物流行業的發展,又對智慧物流行業提出了更高的服務要求,智慧物流市場規模有望持續擴大。據 GGII 測算,2019 年中國智慧倉儲市場規模近 900 億元,而前瞻研究院預計這一數字將在 2025 年達到 1500億以上。

2013-2020 年中國智慧物流市場規模及增速

新零售:人工智慧將帶來人力成本的縮減與運營效率的提升。 Amazon Go 為亞馬遜提出的無人商店概念,無人商店於 2018 年 1 月 22 日在美國西雅圖正式對外營運。AmazonGo 結合了雲端計算和機器學習,應用拿了就走技術(Just Walk Out Technology)和智慧識別技術(Amazon Rekognition)。店內的相機、感應監測器以及背後的機器演算法會辨識消費者拿走的商品品項,並且在顧客走出店時將自動結賬,是零售商業領域的全新變革。

雲化的人工智慧模組元件是各大網際網路巨頭目前在人工智慧商業化的主要發力方向, 將人工智慧技術整合在公有云服務中進行出售。 Google Cloud Platform 的 AI 技術一直走在行業的最前沿,並致力於將先進的 AI 技術融入雲端計算服務中心。近年來,谷歌收購多家AI 公司,併發布 AI 專用晶片 TPU、雲服務 Cloud AutoML 等產品完善佈局。目前谷歌的AI 能力已經覆蓋認知服務、機器學習、機器人、資料分析&協作等領域。區別於部分雲廠商在 AI 領域相對分散的產品,谷歌在 AI 產品的運營上更加完整和體系化,將垂直應用整合為 AI 基礎元件,將 Tensorflow 與 TPU 運算整合為基礎設施,形成了一個完整的 AI 平臺服務。

百度是中國 AI 能力最強的公有云廠商,百度 AI 的核心戰略是開放賦能。 百度搭建以DuerOS、Apollo 為代表的 AI 平臺,開放生態,形成資料與場景的正向迭代。基於百度網際網路搜尋的資料基礎,自然語言處理、知識圖譜和使用者畫像技術逐步成熟。在平臺以及生態層,百度雲是很大的計算平臺,開放給所有的合作伙伴,變成基礎的支撐平臺,上面有百度大腦的各種能力。同時還有一些垂直的解決方案,比如基於自然語言的人機互動的新一代作業系統,以及與智慧駕駛相關的 Apollo。整車廠商可以呼叫其中他們需要的能力,汽車電子廠商也可以呼叫他們需要的相應能力,共建整個平臺和生態。

三、 產業變化: AI 大模型逐步成為主流,產業發展有望全 面提速

最近幾年來,AI 產業的技術演進路線主要呈現如下特徵:底層模組效能的不斷提升,注重模型的泛化能力,從而幫助 AI 演算法的通用性優化,並反哺資料收集。AI 技術的持續發展依靠底層演算法的突破,這同時需要以算力為核心的基礎能力建設以及有大資料支撐進行知識和經驗學習的環境。大模型在產業內的快速流行,大模型+小模型的運作模式,以及晶片、算力基礎設施等底層環節能力的不斷改善,以及由此帶來的應用場景類別、場景深度的持續提升,並最終帶來產業基礎能力、應用場景之間的不斷相互促進,並在正向迴圈邏輯下,驅動全球 AI 產業發展不斷提速。

大模型帶來較強的通用問題求解能力。 當前大部分人工智慧正處於“手工作坊式”,面對各類行業的下游應用,AI 逐漸展現出碎片化、多樣化的特點,模型通用性不高。為提高通用求解能力,大模型提供了一種可行方案,即“預訓練大模型+下游任務微調”。該方案指從大量標記和未標記的資料中捕獲知識,通過將知識儲存到大量的引數中並對特定任務進行微調,提高模型泛化能力。

大模型有望進一步突破現有模型結構的精度侷限,結合巢狀小模型訓練,進一步提升 特定場景下的模型效率。 過去十年中,模型精度提升主要依賴網路在結構上的變革,但隨著神經網路結構設計技術逐漸成熟並趨於收斂,精度提升達到瓶頸,而大模型的應用有望突破這一瓶頸。以谷歌的視覺遷移模型 Big Transfer,BiT 為例,使用 ILSVRC-2012(128萬張圖片,1000 個類別)和 JFT-300M(3 億張圖片,18291 個類別)兩個資料集來訓練ResNet50,精度分別是 77%和 79%,大模型的使用使得處於瓶頸的精度進一步提高。另外使用 JFT-300M 訓練 ResNet152x4,精度可以上升到 87.5%,相比 ILSVRC-2012+ResNet50 結構提升了 10.5%。

大模型 + 小模型 :泛化大模型人工智慧的推廣並結合特定場景下的資料優化將成為中期人工智慧產業商業化的關鍵。原先針對特定場景重新提取資料訓練的模式,已經被實踐證明難以盈利,重新訓練模型的成本過高,而獲得的模型泛用性低下,難以重複利用。而在晶片算力效能不斷提高的大背景下,大模型巢狀小模型的嘗試提供給了廠商另一個思路,通過分析海量資料獲得泛用模型,再通過巢狀特定小模型的方式為不同場景進行優化,節省了大量成本。阿里雲、華為雲、騰訊雲等公有云廠商都在積極開發自研的大模型平臺,提升模型的通用型。

以英偉達為代表的 AI 晶片巨頭,在新一代晶片中針對產業中常用的 AI 模型,特別設 計了新引擎以大幅提升計算能力。 英偉達的 Hopper 架構引入了 Transformer 引擎,大幅加速了 AI 訓練。Transformer 引擎採用軟體和自定義 NVIDIA Hopper Tensor Core 技術,該技術旨在加速訓練基於常見 AI 模型構建模組(即 Transformer)構建的模型。這些Tensor Core 能夠應用 FP8 和 FP16 混合精度,以大幅加速 Transformer 模型的 AI計算。採用 FP8 的 Tensor Core 運算在吞吐量方面是 16 位運算的兩倍。Transformer引擎利用定製的、經 NVIDIA 調優的啟發式演算法來解決上述挑戰,該演算法可在 FP8 與FP16 計算之間動態選擇,並自動處理每層中這些精度之間的重新投射和縮放。根據英偉達提供的資料,Hopper 架構在訓練 Transformer 模型時,效率可以達到安培模型的 9 倍。

在大模型技術趨勢下,雲廠商正在逐步成為算力市場中的核心玩家,在人工智慧技術框架通過大模型往泛用化發展後,雲廠商也能夠藉助 PaaS 能力把底層 IaaS 能力與 PaaS結合,為市場提供通用性解決方案。我們看到隨著大模型的出現,人工智慧需要處理與分析的資料量日漸上升,同時這部分資料從過去的專業性資料集轉化為通用型大資料。雲端計算巨頭可以通過本身強大的 PaaS 能力與底層 IaaS 基礎相結合,為人工智慧廠商提供一站式的資料處理,這也幫助雲端計算巨頭成為本輪人工智慧浪潮的主要受益者之一。

國內雲端計算市場規模

目前 AWS、Azure 等國際主流雲廠商與阿里雲、騰訊雲、華為雲等國內頭部雲廠商都已開始在資料儲存、資料處理等 PaaS 能力上重點發力。儲存能力方面,NoSQL 型別資料庫與在資料種類日益繁雜的未來會湧現更多機會,如 Google Cloud 就已經在物件類、傳統的關係型資料庫以及 NoSQL 型別資料庫分散佈局。而在資料處理方面,Data Lake與 Data Warehouse 的重要性愈發凸顯,雲端計算巨頭通過完善這部分產品線,構建了一個完整的資料迴圈模式,並結合其底層的 IaaS 基礎能力。完整的產品線與閉合的資料迴圈模式將是未來雲端計算巨頭在 AI 中間層競爭的最大優勢。

伴隨 AI 產業鏈結構的逐步清晰,以及大模型帶來的產業運作效率、技術深度的大幅改善,中期維度,假設 AI技術不發生跳變式躍遷前提下,我們判斷 AI 產業鏈價值有望逐步向兩端靠攏,中間環節價值有望持續減弱,並逐步形成“晶片+算力基礎設施+AI 框架&演算法庫+應用場景”的典型產業鏈結構,同時在這樣的產業結構安排下,我們預計上游的晶片企業、雲基礎設施廠商,以及下游的應用廠商有望逐步成為 AI 產業快速發展的核心受益者。

大模型帶來 AI 底層基礎技術架構的統一,以及對算力的龐大需求等特徵,天然有利於雲端計算公司在此過程中發揮基礎性角色:雲端計算具有全球分佈最為廣泛、最為強大的硬體算力設施,同時 AI 框架、通用演算法最為一種典型 PaaS 能力,亦傾向於被整合到雲廠商的平臺能力當中。因此從技術通用性、實際商業需求等維度,在大模型的推動下,雲端計算巨頭有望逐步成為算力設施+基礎演算法框架環節能力的主要提供商,並不斷侵蝕現有的 AI 演算法平臺商的商業空間。從過去雲廠商各類產品的報價中可以發現,以 AWS 與 Google 產品為例,美國東部地區的 Linus按需使用價格正在階梯式降低。

從圖中可以看到,具有 2 個 vCPU,2 個 ECU 和 7.5GiB的 m1.large 產品價格從 2008 年的約 0.4 美元/小時持續下降到了 2022 年約 0.18 美元/小時。而 Google Cloud 具有 8 個 vCPU 與 30GB 記憶體的 n1-standard-8 產品的按需使用價格也從 2014 年的 0.5 美元/小時下降到 2022 年的 0.38 美元/小時,可見雲端計算價格呈全面下降趨勢。在未來 3-5 年,我們將看到更多的 AI 即服務(AIaaS)產品。此前提到的大模型趨勢,尤其是 GPT-3 的誕生掀起了這個潮流,由於 GPT-3 龐大的引數量,必須要在龐大的公有云算力如 Azure 規模的計算設施上才能執行,於是微軟將它打造成了能夠通過web API 獲取的服務,這也會促使更多的大模型出現。

AWS EC2 歷史標準化價格(美元/小時)

在目前的算力條件與可展望的技術能力支援下,應用端將繼續通過資料獲取實現演算法迭代與優化,完善目前認知智慧當中仍存在的不足(影象識別方向),並嘗試往決策智慧發展。根據目前的技術能力以及硬體算力支援,實現完全決策智慧仍需較長時間;現有場景的繼續深化的基礎上做出區域性性的智慧化將是 3-5 年內的主要方向。目前的 AI 應用層面仍然過於單點化,而完成區域性性的串聯將成為實現決策智慧的第一步。人工智慧的軟體類應用將包括從底層的驅動程式,到上層的應用程式、演算法框架,從面向商業(製造、金融、物流、零售、地產等),到人(元宇宙、醫療、人形機器人等)、自動駕駛等領域。

智東西認為,伴隨 AI 晶片、算力設施、資料等基礎要素的不斷完善,以及大模型帶來的問題泛化求解能力的大幅提升,AI 產業正形成“晶片+算力基礎設施+AI 框架&演算法庫+應用場景”的穩定產業價值鏈結構,AI 晶片廠商、雲端計算廠商(算力設施+演算法框架)、AI+應用場景廠商、平臺型演算法框架廠商等有望持續成為產業核心受益者。

「其他文章」