騰訊“混元”AI大模型登頂CLUE總榜，彰顯自然語言理解領域強大實力

5月24日，騰訊“混元”AI大模型在CLUE（中文語言理解評測集合）總排行榜、閱讀理解、大規模知識圖譜三個榜單同時登頂，一舉打破三項紀錄。

據瞭解，CLUE總榜由分類任務和閱讀理解任務構成。騰訊“混元”AI大模型在一個月內先後實現分類任務、閱讀理解雙佳績，最終以 84.730的成績取得總榜第一。

作為中文最具權威的自然語言理解榜單之一，CLUE共開設了包含文字相似度、分類、上下文推理、閱讀理解在內的9項子任務，旨在推動NLP（自然語言處理預）訓練模型技術的不斷進步和突破。

NLP（自然語言處理）技術是人工智慧領域的一個核心研究方向，其目的是使得計算機具備人類的聽、說、讀、寫等能力，並利用知識和常識進行推理和決策。目前，越來越多的科技企業和研發機構投入到該領域的研究當中，在CLUE等業界榜單的競爭也十分激烈。

在預訓練階段，除常規公開資料集之外，“混元”大模型還學習了商業領域特有的文字資料集。因此，相較於業界其他AI大模型，“混元”能夠更好地理解各種長度文字資訊，應對搜尋、廣告、新聞、問答等多樣化的場景任務，在閱讀理解、知識圖譜相關的下游任務中也更加具有優勢。

除效能提升之外，“混元”大模型通過藉助資料及模型課程學習、多短句合併掩碼、改進PowerSGD（優化通訊演算法）等方法，有效壓縮低頻寬環境下GPU節點訓練的通訊資料量和通訊耗時，實現訓練效率的大幅提升。

目前，騰訊“混元”AI大模型研發團隊已經將改進的PowerSGD方法貢獻給PyTorch開源社群，將在PyTorch下個版本中正式上線。

得益於“混元”AI大模型在自然語言理解、跨模態檢索領域強大的技術能力，自今年4月以來，該模型已成功斬獲MSR-VTT、MSVD、CLUE等各大權威AI榜單榜首，這意味著，騰訊在人工智慧領域的技術研發已取得突破性進展。

目前，“混元“NLP大模型已經應用於騰訊內部多個業務，並在騰訊廣告的資料探勘任務中帶來超過5%的指標提升，提升廣告推薦的精準度，優化使用者體驗。未來，騰訊混元AI大模型研發團隊將根據具體場景需求持續推進大模型的研究和優化，加速AI技術在各個產業的應用和落地。

雷峰網 (公眾號：雷峰網)

雷峰網版權文章，未經授權禁止轉載。詳情見 轉載須知 。