ChatGPT數據集之謎

語言: CN / TW / HK
時間 2023-02-17 13:02:10

半個月以來，ChatGPT這把火越燒越旺。國內很多大廠相繼聲稱要做中文版ChatGPT，還公佈了上線時間表，不少科技圈已功成名就的大佬也按捺不住，攜巨資下場，要創建“中國版OpenAI“。

不過，看看過去半個月在羣眾眼裏稍顯窘迫的Meta的Galactica，以及Google緊急發佈的Bard，就知道在短期內打造一個比肩甚至超越ChatGPT效果的模型沒那麼簡單。

 

讓很多人不免感到詫異的是，ChatGPT的核心算法Transformer最初是由Google提出的，並且在大模型技術上的積累可以説不弱於OpenAI，當然他們也不缺算力和數據，但為什麼依然會被ChatGPT打的措手不及？

 

Meta首席AI科學家Yann LeCun最近抨擊ChatGPT的名言實際上解釋了背後的門道。他説，ChatGPT“只是巧妙的組合而已”，這句話恰恰道出了一種無形的技術壁壘。

 

簡單來説，即使其他團隊的算法、數據、算力都準備的與OpenAI相差無幾，但就是沒想到以一種精巧的方式把這些元素組裝起來，沒有OpenAI，全行業不知道還需要去趟多少坑。

 

即使OpenAI給出了算法上的一條路徑，後來者想復現ChatGPT，算力、工程、數據，每一個要素都需要非常深的積累。七龍珠之中，算力是自由流通的商品，花錢可以買到，工程上有OneFlow這樣的開源項目和團隊，因此，對互聯網大廠之外的團隊來説，剩下最大的挑戰在於高質量訓練數據集。

 

至今，OpenAI並沒有公開訓練ChatGPT的相關數據集來源和具體細節，一定程度上也暫時卡了追趕者的脖子，更何況，業界公認中文互聯網數據質量堪憂。

 

好在，互聯網上總有熱心的牛人分析技術的細枝末節，從雜亂的資料中串聯起蛛絲馬跡，從而歸納出非常有價值的信息。

 

此前，OneFlow發佈了《ChatGPT背後的經濟賬》，其作者從經濟學視角推導了訓練大型語言模型的成本。本文作者則整理分析了2018年到2022年初從GPT-1到Gopher的相關大型語言模型的所有數據集相關信息，希望幫助有志於開發“類ChatGPT”模型的團隊少走一步彎路。

 

 

作者｜Alan D. Thompson

OneFlow編譯

翻譯｜楊婷、徐佳渝、賈川

 

一些研究人員的報告稱，通用人工智能（AGI）可能是從我們當前的語言模型技術進行演進[1]，預訓練Transformer語言模型為AGI的發展鋪平了道路。雖然模型訓練數據集日漸增大，但缺乏基本指標文檔，包括數據集大小、數據集token數量和具體的內容細節。

 

儘管業內提出了數據集組成和整理文檔的標準[2]，但幾乎所有重點研究實驗室在揭示模型訓練數據集細節這方面都做得不夠。這裏整合的研究涵蓋了2018年到2022年初從GPT-1到Gopher的精選語言模型的所有數據集（包括主要數據集：Wikipedia和Common Crawl）的綜合視圖。

 

 

1

概述

 

圖 1. 主要數據集大小的可視化彙總。未加權大小，以GB為單位。

 

2018年以來，大語言模型的開發和生產使用呈現出爆炸式增長。一些重點研究實驗室報告稱，公眾對大語言模型的使用率達到了驚人高度。2021年3月，OpenAI宣佈[3]其GPT-3語言模型被“超過300個應用程序使用，平均每天能夠生成45億個詞”，也就是説僅單個模型每分鐘就能生成310萬詞的新內容。

 

值得注意的是，這些語言模型甚至還沒有被完全理解，斯坦福大學的研究人員[4]最近坦言，“目前我們對這些模型還缺乏認知，還不太瞭解這些模型的運轉模式、不知道模型何時會失效，更不知道這些模型的突現性（emergent properties）能產生什麼效果”。

 

隨着新型AI技術的快速發展，模型訓練數據集的相關文檔質量有所下降。模型內部到底有什麼祕密？它們又是如何組建的？本文綜合整理並分析了現代大型語言模型的訓練數據集。

 

因為這方面的原始文獻並不對外公開，所以本文蒐集整合了二、三級研究資料，在必要的時候本文會採用假設的方式來推算最終結果。

 

在本文中，我們會將原始論文中已經明確的特定細節（例如token數量或數據集大小）歸類為“公開的（disclosed）”數據，並作加粗處理。

 

多數情況下，適當地參考二、三級文獻，並採用假設的方式來確定最終結果是很有必要的。在這些情況下，token數量和數據集大小等細節是“確定的（determined）”，並以斜體標記。

 

模型數據集可分為六類，分別是：維基百科、書籍、期刊、Reddit鏈接、Common Crawl和其他數據集。

表1. 主要數據集大小彙總。以GB為單位。公開的數據以粗體表示。確定的數據以斜體表示。僅原始訓練數據集大小。

 

1.1. 維基百科

 

維基百科是一個免費的多語言協作在線百科全書，由超過300,000名志願者組成的社區編寫和維護。截至2022年4月，英文版維基百科中有超過640萬篇文章，包含超40億個詞[5]。維基百科中的文本很有價值，因為它被嚴格引用，以説明性文字形式寫成，並且跨越多種語言和領域。一般來説，重點研究實驗室會首先選取它的純英文過濾版作為數據集。

 

1.2. 書籍

 

故事型書籍由小説和非小説兩大類組成，主要用於訓練模型的故事講述能力和反應能力，數據集包括Project Gutenberg和Smashwords (Toronto BookCorpus/BookCorpus)等。

 

1.3. 雜誌期刊

 

預印本和已發表期刊中的論文為數據集提供了堅實而嚴謹的基礎，因為學術寫作通常來説更有條理、理性和細緻。這類數據集包括ArXiv和美國國家衞生研究院等。

 

1.4. Reddit鏈接

 

WebText是一個大型數據集，它的數據是從社交媒體平台Reddit所有出站鏈接網絡中爬取的，每個鏈接至少有三個贊，代表了流行內容的風向標，對輸出優質鏈接和後續文本數據具有指導作用。

 

1.5. Common Crawl

 

Common Crawl是2008年至今的一個網站抓取的大型數據集，數據包含原始網頁、元數據和文本提取，它的文本來自不同語言、不同領域。重點研究實驗室一般會首先選取它的純英文過濾版（C4）作為數據集。

 

1.6. 其他數據集

 

不同於上述類別，這類數據集由GitHub等代碼數據集、StackExchange 等對話論壇和視頻字幕數據集組成。

 

 

2
常用數據集

 

2019年以來，大多數基於Transformer的大型語言模型 (LLM) 都依賴於英文維基百科和Common Crawl的大型數據集。在本節中，我們參考了Jesse Dodge和AllenAI（AI2）[8]團隊的綜合分析，按類別對英文維基百科作了高級概述，並在Common Crawl數據集[7]的基礎上，用谷歌C4[6] (Colossal Clean Crawled Corpus)在Common Crawl中提供了頂級域（domains）。

 

2.1. 維基百科（英文版）分析

 

下面按類別[9]列出了維基百科的詳細信息，涵蓋了2015年抽樣的1001篇隨機文章，研究人員注意到隨時間推移文章傳播的穩定性。假設一個11.4GB、經過清理和過濾的維基百科英文版有30億token，我們就可以確定類別大小和token。

表2. 英文維基百科數據集類別。公開的數據以粗體表示。確定的數據以斜體表示。

 

2.2 Common Crawl分析

 

基於AllenAI (AI2)的C4論文，我們可以確定，過濾後的英文C4數據集的每個域的token數和總體百分比，該數據集為305GB，其中token數為1560億。

表3. C4：前23個域（不包括維基百科）。公開的數據以粗體表示，確定的數據以斜體表示。

 

 

3

GPT-1數據集

 

2018年，OpenAI發佈了1.17億參數的GPT-1。在論文中，OpenAI並沒有公佈模型訓練數據集的來源和內容[10]，另外，論文誤將‘BookCorpus’拼寫成了‘BooksCorpus’。BookCorpus以作家未出版的免費書籍為基礎，這些書籍來自於Smashwords，這是一個自稱為“世界上最大的獨立電子書分銷商” 的電子書網站。這個數據集也被稱為Toronto BookCorpus。經過幾次重構之後，BookCorpus數據集的最終大小確定為4.6GB[11]。

 

2021年，經過全面的回顧性分析，BookCorpus數據集對按流派分組的書籍數量和各類書籍百分比進行了更正[12]。數據集中有關書籍類型的更多詳細信息如下：

 

表4. BookCorpus書籍類型。公開的數據以粗體表示，確定的數據以斜體表示。

 

在隨後的數據集重構中，BookCorpus數據集進一步過濾掉了書籍中的“吸血鬼”類別、降低了言情類書籍的百分比、增加了“歷史”類書籍，增加了收集的書籍數量。

 

3.1. GPT-1數據集總結

 

GPT-1最終的數據集總結分析如下：

表5.GPT-1數據集總結。以GB為單位。公開的數據以粗體表示，確定的數據以斜體表示。

 

 

4

GPT-2數據集

 

2019年，OpenAI發佈了擁有15億參數的語言模型GPT-2。GPT-2論文闡明瞭所用訓練數據集的大小[13]，不過並未説明其內容。而GPT-2模型卡（model card）（在GPT-2 GitHub倉庫中）説明了模型內容[14]。

 

我們可以從GPT-3論文中得到token數量，該論文使用了WebText擴展版本來表示190億token。據推測，2020年推出的WebText擴展版本擁有12個月的額外數據（additional data），因此它可能比2019年推出的GPT-2版本大25%左右[15]。GPT-2最終的token數量確定為150億左右。

 

如GPT-2論文所述，假設模型卡顯示鏈接數時，每個鏈接都可以被4500萬鏈接總數所除，那WebText的內容在數據集中所佔的百分比的詳細信息就可以確定。

 

然後可以使用確定的150億token數量來查找每個域的token數量。請注意，在可用的前1,000個域中，此處僅顯示前50個域。

 

表6. WebText: 前50個域。 公開的數據以粗體表示，確定的數據以斜體表示。

 

4.1. GPT-2數據集總結

 

GPT-2模型最終的數據集總結分析如下：

 

表7. GPT-2數據集總結。 公開的數據以粗體表示，確定的數據以斜體表示。

 

 

5

GPT-3數據集

 

GPT-3模型由OpenAI於2020年發佈。論文闡明瞭所用訓練數據集的token數量[16]，但訓練數據集的內容和大小尚不清楚（Common Crawl的數據集大小除外[17]）

 

表8. GPT-3數據集。 公開的數據以粗體表示，確定的數據以斜體表示。

 

5.1. GPT-3：關於Books1和Books2數據集的分析

 

特別值得關注的是，在OpenAI的GPT-3論文中，並未公開Books1數據集（120億token）和Books2數據集（550億token）的大小和來源。關於這兩個數據集的來源人們提出了幾個假設，包括來自LibGen18和Sci-Hub的類似數據集，不過這兩個數據集常以TB為計，大到無法匹配。

 

5.2. GPT-3：Books1

 

GPT-3使用的Books1數據集不可能與GPT-1使用的BookCorpus數據集相同，原因在於Books1的數據集更大，達120億token。在一篇引用的論文[19]中就提及GPT-1使用的BookCorpus數據集擁有9.848億個詞，但這可能只相當於13億token（984.8字x 1.3字的token乘數）。

 

通過標準化項目古騰堡語料庫（SPGC），Books1有可能與古騰堡項目保持一致性。SPGC是一種開放式科學方法，被用於古騰堡項目完整的PG數據的精選（curated）版本。SPGC包含120億個token[20]，大約為21GB[21]。

 

5.3. GPT-3：Books2

 

Books2（550億token）可能與Bibliotik保持一致，並由EleutherA收集該來源的數據，組成數據集，使其成為The Pile v1的一部分。Bibliotik版本為100.96GB[22]，其確定的token數僅為250億，低於Books2公開的550億。然而，使用SPGC的‘每字節token數’比率（大約為1:1.75），Bibliotik的token數和大小將更接近於Books2。

 

5.4. GPT-3數據集總結

 

附錄A概述了使用Wikipedia + CommonCrawl + WebText數據集的頂級資源列表。GPT-3模型的最終數據集總結分析如下：

 

表9.GPT-3數據集總結。公開的數據以粗體表示，確定的數據以斜體表示。

 

6

The Pile v1（GPT-J和GPT-NeoX-20B）數據集

 

The Pile v1數據集由EleutherAI於2021年發佈，該數據集已被用於訓練包括GPT-J、GPT-NeoX-20B在內的多種模型，並作為包括MT-NLG在內的其他模型的部分數據集。The Pile v1論文闡明瞭所用訓練數據集的來源和大小。隨着token數量的增加，The Pile v1論文應被用作未來數據集文檔的黃金標準。

 

有關token數量的更多詳情，可以使用本文提供的信息來確定，參見表1（大小以GB為單位）和表7（token/每字節）[23]。

 

表10. The Pile v1數據集。公開的數據以粗體表示，確定的數據以斜體表示。

 

6.1. The Pile v1分組數據集（Grouped Datasets）

 

為了確定如‘Books’、‘Journals’和‘CC’這類數據集的大小，筆者對數據集進行了分組，如下表所示。

 

表11. The Pile v1分組數據集（不包括Wikipedia、CC 和 WebText）。公開的數據以粗體表示，確定的以斜體表示。

 

6.2. The Pile v1數據集總結

 

The Pile v1數據集與GPT-J和GPT-NeoX-20B模型的最終數據集總結分析如下：

表 12. Pile v1 數據集總結。 公開的數據以粗體表示，確定的數據以斜體表示。

 

 

7

Megatron-11B和RoBERTa數據集

 

2019年，Meta AI(當時稱之為Facebook AI)和華盛頓大學聯合發佈了擁有1.25億參數的RoBERTa模型。次年，Meta AI發佈了擁有110億參數的Megatron-11B模型。Megatron-11B使用的訓練數據集與RoBERTa相同。RoBERTa[24]論文闡明瞭所用訓練數據集的內容，不過必須參考引用的論文(BERT[25]和toryes[26])來確定最終的數據集大小。

 

BookCorpus ： 確定的數據集為4.6GB，如上面的GPT-1部分所示。

 

維基百科：公開的數據集為“16GB（BookCorpus加上英文維基百科）”。在減去BookCorpus數據集（4.6GB，如上面的GPT-1部分所述）後，維基百科數據集確定為11.4GB。

 

CC-News ：（經過濾後）公開的數據集為76GB。

 

OpenWebText : 公開的數據集為38GB。

 

Stories : 公開的數據集為31GB。請注意，此數據集是“基於常識推理任務問題”的Common Crawl內容，不屬於本文的‘Books’類別。相反，將Stories與CC-News數據集（76GB）相結合，Common Crawl的總數據集則為107GB。

 

7.1. Megatron-11B和RoBERTa的數據集總結

 

Megatron-11B和RoBERTa最終的數據集總結分析如下：

 

表13. Megatron-11B和RoBERTa的數據集總結。 公示的數據以粗體表示，確定的數據以斜體表示。

 

8

MT-NLG數據集

 

 

2021年，英偉達和微軟發佈了擁有5300億參數的語言模型MT-NLG。MT-NLG是微軟Turing NLG（擁有170億參數）和英偉達Megatron-LM（擁有83億參數）的“繼任者”。MT-NLG論文闡明瞭所用訓練數據集的來源和token數量，不過沒有明確指出數據集的大小。

 

如前所述，有關數據集大小的更多詳情，可以使用The Pile v1論文中提供的信息來確定。雖然使用的組件相同，但注意的是，MT-NLG和The Pile v1中報告的組件大小卻各不相同，這是由於來自Eleuther AI (The Pile v1數據集)和Microsoft/NVIDIA (MT-NLG模型)的研究人員採用了不同的數據過濾和去重方法。

 

8.1. MT-NLG中的Common Crawl數據集

 

Pile-CC：公開的數據集為498億token，確定的數據為227.12GB左右，參見上述Pile v1部分。

 

CC-2020-50: 公開的數據集為687億token，假設token的每字節率（per byte rate）為0.25 TpB=274.8GB。

 

CC-2021-04：公開的數據集為826億token，假設token的每字節率為0.25 TpB=330.4GB

 

RealNews（來自RoBERTa/Megatron-11B）：顯示為219億token。根據RealNews論文[27]，數據集確定為120GB。

 

CC-Stories(來自RoBERTa/Megatron-11B)：公開的數據集為53億token，如上述RoBERTa部分所示，數據集確定為31GB。

 

根據以上來源，可確認Common Crawl的總數據量為983.32GB，共計2283億token。

 

8.2. MT-NLG分組數據集（Grouped Datasets）

 

表14. MT-NLG 分組數據集。公開的數據以粗體表示，確定的數據以斜體表示。

 

8.3. MT-NLG數據集總結

 

MT-NLG模型最終的數據集總結分析如下：

 

表15. MT-NLG數據集總結。 公示的數據以粗體表示，確定的數據以斜體表示。

 

 

9

MT-NLG 數據集Gopher數據集

 

Gopher模型由DeepMind於2021年發佈，有2800億參數。該論文清楚地説明了所使用訓練數據集所包含的高級token數量和大小[28]，但沒有説明詳細內容。

 

表16. 公開的Gopher數據集 (MassiveText)。公開的數據以粗體表述，確定的數據以斜體表示。

 

有趣的是，據Gopher論文披露：其Books數據集中包含一些超過500年曆史（1500-2008）的書籍。

 

9.1. MassiveWeb數據集分析

 

DeepMind於2014年被谷歌收購，並在創建MassiveText時獲得了海量數據。雖然Gopher論文中沒有進一步詳細描述MassiveWeb，但第44頁附錄中的表A3b註明了MassiveWeb中出現的前20個域[29]。根據披露的每個域所佔的百分比，我們可以使用MassiveWeb的總token數（5060億token）和總原始大小（1900GB）來確定每個域的token數量和大小。

 

表17. MassiveWeb：前20個域。公開的數據以粗體表示，確定的數據以斜體表示。

 

9.2. Gopher：關於維基百科數據集的分析

 

維基百科數據集的總規模很難確定。在Gopher論文中，研究人員指出維基百科沒有進行數據去重[30]。然而，論文中列出的不同大小數據集（12.5GB MassiveWeb Wikipedia與1GB MassiveText Wikipedia）可能是由於失誤而造成的，誤將“10GB”寫成了“1GB”。無論如何，本文僅使用MassiveWeb數據集版本 (12.5GB)。

 

9.3. Gopher:不包括WebText

 

Gopher數據集的組成部分不包括Reddit外鏈的WebText數據集。為了清楚起見，儘管Reddit是MassiveWeb中的頂級域，但該數據集僅抓取Reddit域內的Reddit鏈接。根據定義，WebText[31]由“所有Reddit的外鏈”組成（即指向Reddit域外的鏈接）。

 

9.4. Gopher分組數據集

 

MassiveWeb被認為是MassiveText的子組件，並被集成到Gopher的數據集彙總中，其分組基於以下列出的可用信息：

 

表18. Gopher分組數據集。公開的數據以粗體表示，確定的數據以斜體表示。

 

9.5. Gopher數據集總結

 

Gopher是本文中最大的數據集，大小為10.5TB。Gopher模型的最終數據集總結分析為：

表19. Gopher數據集總結。公開的數據以粗體表示，確定的數據以斜體表示。

 

10

結論

 

對於訓練當代Transformer大型語言模型的數據集而言，這可能是最全面的整合分析內容（截止2022年初）。在主要數據源不透明的情況下，本次研究主要從二級和三級來源收集數據，並經常需要假定來確定最終估計值。隨着研究人員要處理千萬億個token（1,000萬億）和數千TB的數據（1,000TB），確保詳細披露數據集組成的文檔變得越來越重要。

 

特別值得關注的是，基於大型語言模型的強大AI系統產生的宂長而匿名的輸出正在迅速發展，其中許多數據集的細節內容幾乎沒有文檔説明。

 

強烈建議研究人員使用突出顯示的“數據集的數據表（Datasheet for Datasets）”論文中提供的模板，並在記錄數據集時使用最佳實踐論文（即Pile v1論文，包括token數量）。數據集大小（GB）、token數量（B）、來源、分組和其他詳細信息指標均應完整記錄和發佈。

 

隨着語言模型不斷髮展並更廣泛地滲透到人們的生活中，確保數據集的詳細信息公開透明、所有人都可訪問且易於理解是有用、緊迫和必要的。

 

 

擴展閲讀及腳註（請上下滑動） 

考慮到簡潔和可讀性，本文使用了腳註而非文本/括弧式引文。主要參考文獻如下，或者參見 http://lifearchitect.ai/papers/，獲取大語言模型領域的主要基礎論文。以下論文按本文順序顯示。

 

  1. Datasheets for Datasets Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J., Wallach, H., Daumé III, H., & Crawford, K. (2018). Datasheets for Datasets.  https://arxiv.org/abs/1803.09010

  2. GPT-1 paper Radford, A., & Narasimhan, K. (2018). Improving Language Understanding by Generative Pre-Training. OpenAI.  https://cdn.openai.com/research-covers/language-unsupervised/language_understan  ding_paper.pdf

  3. GPT-2 paper Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI.  https://cdn.openai.com/better-language-models/language_models_are_unsupervised  _multitask_learners.pdf

  4. GPT-3 paper Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., & Dhariwal, P. et al. (2020). OpenAI. Language Models are Few-Shot Learners.  https://arxiv.org/abs/2005.14165

  5. The Pile v1 paper Gao, L., Biderman, S., Black, S., Golding, L., Hoppe, T., & Foster, C. et al. (2021). The Pile: An 800GB Dataset of Diverse Text for Language Modeling.

  6. EleutherAI.  https://arxiv.org/abs/2101.00027

  7. GPT-J announcement Komatsuzak, A., Wang, B. (2021). GPT-J-6B: 6B JAX-Based Transformer.  https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/

  8. GPT-NeoX-20B paper Black, S., Biderman, S., Hallahan, E. et al. (2022). EleutherAI. GPT-NeoX-20B: An Open-Source Autoregressive Language Model.  http://eaidata.bmk.sh/data/GPT_NeoX_20B.pdf

  9. RoBERTa paper Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., & Chen, D. et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. Meta AI.  https://arxiv.org/abs/1907.11692

  10. MT-NLG paper Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., & Casper, J. et al. (2021). Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model. Microsoft/NVIDIA.  https://arxiv.org/abs/2201.11990

  11. Gopher paper Rae, J., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., & Song, F. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. DeepMind.  https://arxiv.org/abs/2112.11446

  12. Appendix A: Top 50 Resources: Wikipedia + CC + WebText (i.e. GPT-3)

 

附錄 A：前50個資源：Wikipedia + CC + WebText（即 GPT-3）

 

基於本文內容，尤其是每個數據集中每個資源的token數量，我們可以對將Wikipedia + Common Crawl + WebText數據集的組合，作為其整體訓練數據集的一部分模型進行資源或域的排序。為清楚起見，這包括以下模型：OpenAI GPT-3、EleutherAI GPT-J、EleutherAI GPT-NeoX-20B、Meta AI Megatron-11B和RoBERTA，以及 Microsoft/NVIDIA MT-NLG等。

 

請注意，展示的排名基於數據集中可用的未加權總token，每個數據集的主觀權重由研究人員在模型預訓練之前計算得出。其中有一些重複（例如，《紐約時報》既出現在有1.11億token的WebText中，也出現在過濾後有1億token的Common Crawl中）。

 

腳註

1. GPT-NeoX-20B paper: pp11, section 6  http://eaidata.bmk.sh/data/GPT_NeoX_20B.pdf

2. Datasheet for Datasets paper:  https://arxiv.org/abs/1803.09010

3. OpenAI blog:  https://openai.com/blog/gpt-3-apps/

4. On the Opportunities and Risks of Foundation Models:  https://arxiv.org/abs/2108.07258

5. Size of Wikipedia:  https://en.wikipedia.org/wiki/Wikipedia:Size_of_Wikipedia

6. C4 dataset:  https://www.tensorflow.org/datasets/catalog/c4

7. Common Crawl website:  https://commoncrawl.org/

8. C4 paper:  https://arxiv.org/abs/2104.08758  pp2, Figure 1 right

9. Wikipedia categories:  https://en.wikipedia.org/wiki/User:Smallbones/1000_random_results : “維基百科涵蓋哪些主題？覆蓋範圍是否隨時間變化？使用2015年12月抽取的1001篇隨機文章對這些問題和類似問題進行了查驗...隨着時間推移，這些比例相當穩定...傳記（27.8%），地理（17.7%），文化和藝術（15.8%），歷史（9.9%），生物學、健康和醫學（7.8%），體育（6.5%），商業（4.8%），其他社會（4.4%），科學與數學（3.5%），教育（1.8%）。”

10. GPT-1 paper: pp4 “We use the BooksCorpus dataset for training the language model.”

11.  https://huggingface.co/datasets/bookcorpus : “Size of the generated dataset: 4629.00 MB”

12. BookCorpus Retrospective Datasheet paper: pp9  https://arxiv.org/abs/2105.05241

13. GPT-2 paper: pp3 “我們從社交媒體平台Reddit中抓取了至少有3個karma的所有出站鏈接。這可以被認為是一個啟發式指標，用於判斷其他用户是否覺得該鏈接有趣、有教育意義或只是有趣……WebText包含這4500萬個鏈接的文本子集……其中不包括2017年12月之後創建的鏈接。經過去重和一些基於啟發式的清理後，其中包含大約超過800萬個文檔，總共40GB文本。我們從WebText中移除了所有維基百科文檔...”

14. GPT-2 model card:  https://github.com/openai/gpt-2/blob/master/model_card.md : “我們已經發布了WebText中出現的前1,000個域及其頻率的列表。WebText中排名前15位的域是：Google、Archive、Blogspot、GitHub、紐約時報、Wordpress、華盛頓郵報、維基亞、BBC、衞報、eBay、Pastebin、CNN、雅虎和赫芬頓郵報。”

15. GPT-3 paper: “WebText2：190億token。[Alan：WebText2是從WebText稍微擴展而來，所以我們可以減去20%，得到150億token]”

16. GPT-2 paper: pp3 “GPT-3: pp9, Table 2.2 “CC: 4100億token. WebText2: 190億token. Books1: 120億token. Books2: 550億token. Wiki: 30億token”

17. GPT-3 paper: pp8

18. BookCorpus repo:  soskek/bookcorpus#27 : “books3.tar.gz似乎類似於OpenAI在他們的論文中引用的神祕“books2”數據集。不幸的是，OpenAI不會提供細節，所以我們對其差異知之甚少。人們懷疑它是“libgen的全部”，但這純粹是猜測。儘管如此，books3仍是“所有的bibliotik”......”

19. BookCorpus paper:  https://arxiv.org/abs/1506.06724 : “# of words: 984,846,357 [Alan: BookCorpus有13億token。我們想要有120-550億token]”

20. Gutenberg paper:  https://arxiv.org/abs/1812.08092 : “我們介紹了標準化項目古騰堡語料庫（SPGC），這是一種開放的科學方法，用於處理完整PG數據的精選版本，其中包含超過50,000本書和3×109word-token[Alan：相當於大約120億BPE token，見下文 ]”

21. Gutenberg repo:  https://zenodo.org/record/2422561  “未壓縮大小：3GB（count）+ 18GB（token）[總計21GB]”

22. The Pile v1 paper: “Books3（Bibliotik tracker）：100.96GB” [Alan：乘以每字節token數0.2477 = 250億token]

23. The Pile v1 paper: pp3, Table 1 for datasets. pp28, Table 7 for Tokens per byte.

24. RoBERTa paper:  https://arxiv.org/abs/1907.11692  “BOOKCORPUS加上英文WIKIPEDIA。這是用來訓練 BERT的原始數據。（16GB）。”

25. BERT paper:  https://arxiv.org/abs/1810.04805  “BERT在BooksCorpus（8億字）和維基百科（25億字）上進行訓練。”

26. Stories paper:  https://arxiv.org/abs/1806.02847  pp5-6

27. RealNews paper:  https://arxiv.org/abs/1905.12616v3  “去重後，RealNews在沒有壓縮的情況下為120GB。”

28. Gopher paper:  https://arxiv.org/abs/2112.11446  pp 7: list of sizes and tokens.

29. Gopher paper:  https://arxiv.org/abs/2112.11446  pp 44, Figure A3b.

30. Gopher paper: pp41n14 “請注意，我們將文檔去重應用於除Wikipedia和GitHub之外的所有MassiveText子集“

31. GPT-2 paper, pp3.

 

關於作者

 

Alan D. Thompson博士是人工智能專家、顧問。在2021年8月的世界人才大會（World Gifted Conference）上，Alan與Leta（由GPT-3提供支持的AI）共同舉辦了一場名為“The new irrelevance of intelligence”的研討會。他的應用型人工智能研究和可視化成果受到了國際主要媒體的報道，同時還在2021年12月牛津大學有關AI倫理的辯論中被引用。他曾擔任門薩國際（Mensa International）主席、通用電氣（GE）和華納兄弟（Warner Bros）顧問，也曾是電氣與電子工程師協會（IEEE）和英國工程技術學會（IET）會員。
 

（本文經授權後由OneFlow編譯發佈，譯文轉載請聯繫OneFlow獲得授權。原文： h ttps://lifearchitect.ai/whats-in-my-ai/）

 

其他人都在看

歡迎Star、試用OneFlow最新版本：https://github.com/Oneflow-Inc/oneflow/

 

 

本文分享自微信公眾號 - OneFlow（OneFlowTechnology）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閲讀的你也加入，一起分享。

「」
「」