Meta正在構建世界上最快的人工智慧超級計算機,以實現其元宇宙雄心

語言: CN / TW / HK

Meta的AI超級計算機已完成第一階段建設,每秒可進行50億次運算

作者: Claire

編輯:tuya

出品:財經塗鴉(ID:caijingtuya)

1月24日,Meta釋出博文介紹正在建設的AI超級計算機AI Research SuperCluster(RSC)。Meta表示,這是目前世界上最快的AI超級計算機之一,每秒可進行50億次運算,它將加速Meta的AI研究並幫助Meta構建元宇宙。

RSC目前已完成第一階段建設,開始運用於訓練具有數十億引數的大型AI模型。RSC可以幫助Meta的AI研究人員構建更好的AI模型,可以從數萬億個示例中學習;跨數百種不同語言工作;無縫分析文字、影象和影片;開發新的增強現實工具等。藉助RSC,Meta可以更快地訓練使用多模態訊號的模型來確定動作、聲音或影象是有害還是良性。 這項研究 將為 M e ta 的元宇宙計劃 奠定基礎

人工智慧超級計算機是通過將多個GPU組合成計算節點來構建的,然後通過高效能網路結構連線這些節點,以實現這些GPU之間的快速通訊。 目前 ,RSC共有760個NVIDIA DGX A100系統作為其計算節點,總共有6,080個GPU 。Meta聲稱這應該可以與勞倫斯伯克利國家實驗室的Perlmutter競爭。根據排名網站Top 500的資料,Perlmutter是目前執行中的第五強大的超級計算機。目前排名第一的是日本的Fugaku。隨著Meta繼續構建和升級系統, RSC的威力預計將提高三倍左右,理論上這將使RSC可以在未來爭奪排名第三。

 

Meta長期以來一直是人工智慧研究領域的雄心勃勃的參與者。該公司認為人工智慧在元宇宙的發展中發揮著重要作用。“我們希望RSC能夠幫助我們構建全新的AI系統,例如,可以為一大群人提供實時語音翻譯,每個人都說不同的語言,這樣他們就可以在研究專案上無縫協作或玩AR遊戲一起,”Meta AI研究人員Kevin Lee和Shubho Sengupta在一篇博文中寫道。“最終,RSC所做的工作將為構建下一個主要計算平臺的技術鋪平道路——元宇宙,人工智慧驅動的應用程式和產品將在其中發揮重要作用。”

Meta的研究人員解釋說,公司最近在自我監督學習(Self-Supervised Learning)領域取得了長足的進步,這是演算法從大量未標記示例中學習的領域。它還引領了基於轉換器的模型(Transformers)的進步,這使得人工智慧可以通過專注於其輸入的某些領域來更有效地推理。Meta總結說,為了實現自我監督學習和基於轉換器的模型的全部好處,它需要訓練越來越複雜和適應性更強的AI模型,這意味著它需要處理大量的資料。例如,要開發更高階的計算機視覺模型,需要以更高的資料取樣率處理更大、更長的影片。

同時,語音識別需要在具有大量背景噪音的最具挑戰性的場景中工作,自然語言處理必須理解不同的語言、口音和方言。所以Meta決定它需要一臺比目前可用的更強大的計算機。

“與Meta的傳統生產和研究基礎設施相比,RSC的早期基準測試表明,它執行計算機視覺工作流程的速度高達20倍,執行Nvidia NCCL Collectives的速度超過9倍,訓練大規模NLP模型快三倍,”Meta AI的研究人員說。“ 這意味著一個擁有數百億引數的模型可以在三週內完成訓練,而之前是九周 。”

 

除了專注於速度和功率之外,RSC的構建還考慮到了安全性。“RSC的設計從一開始就考慮到了隱私和安全性,因此Meta的研究人員可以使用加密的使用者生成資料安全地訓練模型,這些資料直到訓練前才被解密,”Lee和Sengupta寫道。這些保護措施包括確保RSC與公共網際網路隔離,沒有直接的入站或出站連線。同時,從 Meta 的儲存系統到GPU的整個路徑都是加密的,只有在使用之前,在GPU端點,記憶體中的資料才被解密。

Meta透露,RSC的第二階段建設將在2022年底之前完成,效能將有大幅的提升。RSC將成為世界上最快的AI超級計算機,其混合精度計算效能接近5 exaflops。 到2022年,GPU的數量 從6,080個增加到16,000個,這將使AI訓練效能提高2.5倍以上 。InfiniBand結構將擴充套件為支援16,000個埠,採用兩層拓撲結構,不會出現超額訂閱。該儲存系統將具16TB/s的目標交付頻寬和EB級容量,以滿足不斷增長的需求。

Meta表示,“我們預計計算能力的這種階躍函式變化不僅使我們能夠為我們現有的服務建立更準確的人工智慧模型,而且還能夠實現全新的使用者體驗,尤其是在元宇宙中。”“我們在自我監督學習和使用RSC構建下一代AI基礎設施方面的長期投資正在幫助我們建立基礎技術,這些技術將為元界提供動力並推動更廣泛的AI社群發展。”

本文由公眾號財經塗鴉(ID:caijingtuya)原創撰寫,如需轉載請聯絡塗鴉君。


加入【公司情報社群】

參與資本市場討論

獲取一手情報

「其他文章」