三十年前，互聯網（Web 1.0）時代開啟。人們只能在笨重的電腦上用鼠標點擊由HTML編寫的網頁文本，隨後開始支持插入圖片，可以上傳視頻，於是有了網絡新聞、搜索、電子郵件、短信、網遊......互聯網帶來了全新的商業模式，深刻改變了人們的生產生活。
三十年後的當下，以ChatGPT為代表的大模型問世了。起初人們拿它當玩具，直到ChatGPT的誕生與人類實現驚豔交互，自動生成文本信息，而剛剛發佈的GPT-4更是進化成支持文本和圖像的多模態大模型，還能理解圖像、代碼，目前已經接入到微軟Office全家桶......
比爾·蓋茨
説，ChatGPT不亞於互聯網的誕生。而OpenAI總裁、聯合創始人Greg Brockman更直截了當：“我們會拿下Web 4.0。”在去年ChatGPT發佈前與ScaleAI CEO Alexandr Wang的對話中他這樣談到。而在3月10日舉辦的SXSW 23大會的另一場對話上，他稱：我們正在創建新型互聯網或類似的東西。
多模態GPT-4更像往這一方向演化的雛形。在ChatGPT發佈後，僅僅經過四個月的大約五次更迭，這個升級版模型展現出更震撼的效果和更大影響力。
這使得人類與機器實現了動態互動，讓機器的智能特徵體現得更明顯，不同於人類與傳統互聯網交互的靜態方式。在Brockman看來，我們正走在一個充滿活力的世界，AI將改變人們與信息互動的方式，它會理解並幫助你。換句話説，GPT模型在真正改變人機交互的方式。
GPT模型所取得的成就令人豔羨，不過這建立在OpenAI數年的技術探索和堅定信念上。
作為深度參與了GPT模型從0到1生產過程
，以及推動GPT研究和工程落地的主要“幕後推手”，Brockman對此深有體會，“它並非試圖像快速致富那樣曇花一現，而是一直在緩慢積累價值，才有了指數級增長帶來的巨大回報。”
人們好奇包括GPT-4、ChatGPT在內的模型在爆發前所經歷的蟄伏和執着，尤其是有志於打造類GPT模型的研究者們很想知道，
GPT模型是如何從最初的胚胎想法逐步被OpenAI培育成孩子的？這個孩子又將如何長成AGI？它在可預見的未來對這個世界會帶來哪些變革？
對於這些疑惑，問Brockman再合適不過了。
此前，在SXSW 23以及與Alexander Wang的兩場對話中，他對此進行了詳細闡述，OneFlow按QA形式進行了編譯整理。
（內容轉載請聯繫OneFlow獲得授權。
）
Q：ChatGPT是如何產生的？GPT模型當初發佈時顯得有些違反常識，但卻在某種程度上掀起了最新的AI浪潮，這與你們當初構建這些技術時的預期是否一致?
A：
ChatGPT、GPT-3、DALL·E 2這些模型看似一夜成名，但其實構建這些模型耗費了整整五年時間，飽含多年的心血。
GPT模型的構建要從2017年發佈的情感神經元論文（Neural Sentiment Neuron: A novel Neural Architecture for Aspect-based Sentiment Analysis）説起
，這篇論文的思想很新穎，不過很多人可能已經忘了。
當時他負責的一個項目一直在訓練LSTM模型，以此來預測亞馬遜商品評價中的下一個字符。該模型能預測下一個字符，瞭解評價類型，還會像機器人一樣學習，不過它也並非無所不知。
我們發現LSTM模型中的單個神經元有助於開發出SOTA情感分析分類器（sentiment analysis classifier），可以告知你文本情感（正面評價或負面評價），這一發現聽起來平平無奇，但我們非常清楚地知道，這是一個超越語法並轉向語義的時刻。
我們內部運行的算法就是通過這些小方法來獲取生存跡象（signs of life）
。對於特定的數據集，必須非常小心才能區分出真正的生存跡象，否則就難以取得進展。但如果你的直覺準確，就會知道是時候加大算力和研究人員的投入，進行模型擴展了。
GPT-2的問世顯然令人眼前一亮，通過函數曲線就知道模型越大，需要投入的算力和數據就越多，同時獲得的工程細節就越多，曲線就變得更好了。我們的目標只是打破現有範式，不斷改進模型，直到曲線趨於穩定。
一直到研發ChatGPT，我們所做的額外工作就是讓模型更有“活力（alive）”，並創建了一個超級簡單易用的交互界面，免費提供給所有人。
Q：ChatGPT是在去年11月底上線的，為什麼會在這個節點發布？
A：
準備發佈ChatGPT時，我一直告訴團隊，我們可以非常保守，比如拒絕做任何看起來有點草率的事情，最重要的是，不能在發佈後的三天內就因為陷入輿論麻煩而關閉ChatGPT。
我們有數百個測試人員花了好幾個月去做測試，但這與讓它完全暴露在充滿多樣性和對抗性的真實用户使用環境中非常不同。
從2020年6月開始，我們已經做了很長時間的迭代部署，第一次開放產品的API給普通用户肯定很緊張，但我確信團隊能應付自如。
Q：ChatGPT正式上線兩個月內用户超過1億，成為歷史上增長最快的應用，而Facebook用了4.5年，TikTok用了9個月達到類似的成就。現在所有人都在討論ChatGPT，為什麼它會成為殺手級應用？
A：
實際上，我經常思考這個問題，ChatGPT背後的模型大約是在一年前研發的，所以並不是新技術，但它的不同在於對話更具一致性，你真的可以和它對話，它會做你想要做的事。其次，我們讓用户很容易就可以體驗它的能力。
非常有趣的是，隨着ChatGPT真正開始流行起來，人們可以看到，相當長一段時間內技術可能做到的事情以及實際能做的事情之間的差距。確保人們知道事物的發展方向真的很重要。對我來説，這也許是最大的收穫。
Q：你認為生成式AI最有趣和最具顛覆性的用例是什麼？
A：
我想講一個個人軼事。醫療診治絕對是一個高風險領域。幾年前，我妻子得了一種神祕的疾病，她的腹部右下方感到疼痛，會是闌尾炎嗎？我們看了兩個醫生都認為是細菌感染，開了不同的抗生素，但都無濟於事。第四個醫生做了超聲波檢測才找到了病因。
而當我把那些症狀輸入到ChatGPT中，給出的答案是：第一，確保不是闌尾炎；第二，卵巢囊腫破裂，而這正是確診的病因。但我不想讓它取代醫生，也不想讓它告訴我去服用這種超級罕見的抗生素。
Q：ChatGPT有時會一本正經地胡説八道，就像醉酒的瘋子。
A：
確實，所以在使用過程中更要有信息甄別能力。其實ChatGPT的準確性很高，只是我們在訓練過程中損壞了一些信息。我很高興人們通過與其交流來縷清思路，只將其當做一種全天候待命的認知輔助工具。
Q：你能分享一下關於GPT模型未來版本的想法嗎？它是否會更謹慎、更具創造力？
A：
先解釋下我們是如何構建這些系統的。第一步，我們需要訓練一個基礎模型，它的目標只是預測下一個單詞。我們會給這個模型提供大量的文本數據，但並不會告訴它哪些信息是正確的。這個模型需要在這些文本數據中學習，並且在這個過程中必須考慮所有上下文信息來預測下一個詞。所以這個模型同時也會習得偏見、意識形態和思想等信息。
第二步是進行人類反饋的強化學習（RFHL），也被稱為後期訓練（post training）。
在這一階段，我們會從大量的文本數據中選擇有用的數據，告訴它如何正確地處理數據。
然而，還存在一個非常重要同時又非常棘手的問題，那就是AI應該做些什麼？誰來作出這個決定？這是一個非常不同的議題，我們正在不懈努力讓它具有合法性（legitimacy）。我們發現，基礎模型本身實際上是根據其不確定性進行校準的，但這對後期訓練來説是一項需要解決的工程性難題。
自去年12月以來，我們已經發布了四到五個不同版本的ChatGPT，例如事實準確性和幻覺問題均已得到了改善。這得益於通過後期訓練不斷改進。
我相信，未來我們將會擁有更加準確、能夠自我檢查工作質量、知道何時拒絕、何時提供幫助的GPT系統，同時還能協助人類完成更加艱鉅的任務。
Q：很多人在初次使用GPT-3時就深受震撼，尤其是模型的定性新行為（qualitatively new behaviors），而不只是模型在既定任務上的良好表現。你看到早期模型成果時是否會感到這很神奇？
A：
當時的結果令我十分興奮。我們只需要寫出函數名稱和文檔字符串就能真正編寫出函數，儘管不是十分複雜的函數，但它能夠根據要求寫出代碼，做一些小小的修改就能滿足需求。
有趣的是，以前我們認為模型只在特定數據分佈中表現出色，一旦超出分佈範圍就會出現問題，而GPT-3的範式可以應用於不同的數據分佈。你會發現模型具有泛化能力，而且對已知的數據，泛化能力更強。
那模型對於未知的數據的泛化能力怎麼樣？人類不太擅長未涉足的領域，而模型可以從大量不同配置中學習並提取有用信息，這簡直不可思議。
Q：在開發GPT-3的過程中，需要投入大量的計算資源，而且實驗也不一定能成功，這需要很大的信心和決心。在整個過程中，你是否懷疑過自己，或者是否相信只要不斷進行嘗試就能取得成功？
A：
實現模型擴展並不是想當然的事，需要不斷嘗試才能找到最佳解決方案。有趣的是，當我們得到首個擴展結果時，確信這是正確的方法，可以一直推進，直至獲得最佳結果。
我們研究DOTA這款遊戲整整三年。一開始，我們對這款遊戲一無所知，經過不斷努力打敗了遊戲開發商內部的團隊，最終成功擊敗職業團隊。期間，我們進行模型擴展，並且解決所有bug，在每一個維度上不斷迭代，從而獲取更好的回報。這同樣適用於GPT-2模型擴展，其迭代過程相當複雜，為此還需要分配出大量的計算資源，這需要具備堅定的信念。
另一方面，模型擴展是迭代的過程，因此你不必考慮會做出不可逆轉的決定，因為每一步都能從現實中得到反饋，這樣就可以從大局思考“如果這個方案成功了會怎樣”。同時，還能確保你已為成功做好了準備。
不過，也不要盲目將一整年時間都花在可能不會取得預期結果的事上。平衡這兩者才是關鍵所在。
Q：從DOTA和情感神經元中學到的東西是你們制勝的關鍵。雖然從外部看，這些零散的知識不是很直觀，但將其整合在一起就為擴展和構建GPT-3指明瞭方向。這好像就是創新的方式：將各種實驗成果整合在一起，就構建出了新事物。
Q：2017年左右，AI算法還非常弱，但你就堅信AI的能力會逐漸提升，擁有很好的發展前景，為什麼你會對AI有如此樂觀的態度？
A：
在某種程度上來説，這其實是一種直覺。我在上學時就對NLP非常感興趣，還找了一位這方面的專家，請求與他做NLP方面的研究，他同意了。他給我講解了一些NLP領域的相關內容，但聽完後覺得，NLP不是我想要的東西，因為它沒有正確的特性（properties），就好像我們在NLP系統中投入了大量精力，做了大量工作，但卻無法説清楚語言到底是如何運轉的，彷彿缺少了某種內在的東西。相反，神經網絡的運作就非常清晰，神經網絡系統就像海綿一樣大量吸收數據、算力，它有正確的形狀因子（form factor）。
但我們忽略了一件事，那就是這個神經網絡能否被訓練，要考慮是否有足夠的數據、算力、是否有足夠的能力等。
2012年，Alex的論文讓神經網絡重獲關注，我認為這是神經網絡領域取得的第一個重大成果。人們在計算機視覺研究方面花了幾十年的時間，但CNN的出現讓這一領域有了質的飛躍。
這就好像是一些原本彼此隔絕的部門的隔絕狀態一天天被打破，清楚地表明某些事情即將發生，有某種巨大的潛力正在等待被挖掘。
Q：你們是否懷疑過技術方面的選擇，還是説一直都很有信心，從未動搖過？
A：
在這個過程中，我們難免會質疑所做的選擇，懷疑策略是否正確，所做的事是否正確。比如我們會進行多次計算以確定模型大小，因為犯錯在所難免，必須找出這背後的原因，畢竟不能指望AI去找原因。
擴展定律（scaling law）就是一個很好的例子，我們做這個研究是為了更科學地理解模型在各個函數圖軸上的提升方式，我們不斷給模型提供算力和數據，但終究有限。
多年以後，我們突然意識到對這條函數曲線的理解有誤，因此，我們又投入了大量的token和數據去訓練模型。
從下游結論來看，訓練數據太少，所以得出的結論就不太對。
之後在某個時刻，你會突然意識到原來問題出在基本假設上，這樣一切就都説得通了。
我一直有一種感覺，在工作中如果堅持不懈，不斷探索，做到極致，將是最激動人心的時刻，這意味着我們觸及到技術領域的極限，真正做成了一些事情，同時也意味着終於能看清下一步的方向。
Q：這讓我想到了Stripe公司的運營原則之一：宏觀上樂觀，微觀上悲觀。這句話很能引起共鳴，在面對技術問題時，我們必須要做好最壞的打算，但顯然，從長期來看，你對自己的工作一直很有信心。
A：
是的，這是一個充滿激情與活力，擁有強大力量的領域，我們要懷有敬畏。
這些模型最初只是一堆隨機數字，在數字的基礎上人們發展出了超級計算機，海量數據集，我們做了算法開發等大量的工程工作，然後再進行整合。
神經網絡是獨一無二的技術領域，從根本上來説，它就像是一塊海綿，我們只需要喂入數據，就能訓練出模型，這個模型可以重複使用，可以處理跨領域的工作。而傳統軟件需要人工去寫下所有規則，從這些規則中得到反饋，人們也許可以利用Spark集羣來處理一些事務，但我並不想這樣做，我對神經網絡更感興趣。
Q：在創辦OpenAI之前，你擔任過Stripe首席技術官，這兩家企業可以説都是業內標杆，但它們有何異同？
A：
很有趣的一點是，當這兩家公司面臨問題時，採取的思維方式都是第一性原理思維。
Stripe在產品預發佈時激起了一定的浪花，究其本質是我們在早期就擁有一定的客户。當時，一位做風險投資的朋友想知道產品預發佈成功的祕訣。當我告訴他不過是改進了付款方式，他一臉的不可思議，但那其實就是祕密武器。
我們從第一性原理出發，即事物的本質出發去重新思考做事的方式，而非一味地照搬他人做法。我們會問自己：應該怎麼做？難點在哪兒？有必要這樣做嗎？
OpenAI在AI領域做事的方式與之前相似。為了進軍AI界，我們僱傭了很多接觸過該領域的員工，不過也有人從未涉足過Ai，而是以初學者的身份進入AI界。在我看來，以這種方式進入一個未知領域能免受其常規做法的束縛，一切從零開始，排除外在因素的影響。
兩家公司之間也存在差異。對Stripe而言，它開發了傳統的Playbook，在思考出創新點後，就對產品進行構建、打磨，而且在構建產品的第一天就有目標客户。OpenAI則需要研究客户是誰，從2015年底開始，到2020年我們才擁有了第一款真正意義上的產品。
因此，要弄清楚做什麼以及能做好什麼，而對這些事情的思考都源於組織內部而非外部。
Q：人們對OpenAI的研究也有很多擔憂，比較憂心技術方面潛在的負面影響。人們説AI將取代我們的工作。那麼，哪些職業的風險最高？
A：
過去，人們認為AI將首先替代那些從事體力勞動的工作，但實際情況並非如此。現在，AI在認知方面的發展已經取得了巨大進步（例如寫詩），但在物理性質的事物發展上卻沒有非常大的進步。
這表明，AI的發展進程與人們的預期相差甚遠。此外，仍有一些工作無法實現自動化，這表明人類的能力比我們想象得更強大。
作為一名程序員，我的期望是能夠藉助工具提高工作效率。目前，我們使用的AI代碼助手Copilot能夠自動補全代碼，對於一些不太熟悉編程語言或特定的庫函數的人來説非常有用。而ChatGPT更強大，可以幫助我們編寫整個函數，或者根據需求編寫聊天機器人框架。
未來的編碼過程將會變得更加簡化，我們只需做出設計決策，而不必親自編寫每一行代碼，這將大大提高工作效率，同時也可以幫助我們在職業上更進一步。
Q：如果將認知能力都外包給AI，那麼人類的智力會不會有下降風險？
A：
這也是最讓我徹夜難眠的事。放在以前，這種趨勢可能會令人興奮，但我發現，人們逐漸不再喜歡閲讀和思考。所以在這項新技術來臨之前，我們要確保如何使其成為人類的“智力倍增器”而非“削減器”。
人類真正需要的是能為我們分解問題的“導師”，而不是幫我們全盤解決問題的AI
。正所謂授人以魚不如授人以漁，只有這樣我們才能走得更遠。
Q：隨着數據、算法和計算規模的不斷增長，大公司會競相構建更大、性能更好的超級計算機，而擁有更大的超級計算機就意味着比其他超級計算機更具優勢，這種情況會成為未來的發展趨勢嗎？是否能找到一種更開放、更有用的方式，避免它成為大公司之間的競爭工具？
A：
未來的發展趨勢就像計算技術在更多領域的重演。未來仍然會出現只有少數人掌握的越來越龐大的超級計算機，能創建出常人無法構建的超級大模型，但這並不會削弱人們利用這些模型所做事情的價值。
我認為，超級強大的、具有雙重用途的、極度複雜的系統，像風力渦輪機那樣將分散在各處的、更加容易掌控的系統之間進行權衡是很重要的。對於非常強大的新興技術，必須採取雙重解決方案。
隨着技術的發展，人們對AI的看法也發生了變化，開始發現AI真的有用。朋友們，是時候開始構建（AI）了。
Q：有研究表明，當前科學發展的腳步整體上在放緩，而AI相對在逐步加速甚至正走向復興。你是否擔心AI的發展在未來也會放緩？
A：
事物總是呈S型曲線發展，而且通常會有範式轉變。
Ray Kurzweil的《奇點臨近》一書介紹了計算機不同行業的發展曲線，展示了各種性能的時間變化。100年來，我們差不多經歷了五次不同的範式轉變，才創造出了當前的計算機。我們當下在做的事情也會是S形曲線，並出現範式轉變，這體現了人類的創造力。
另一方面，範式是否發生轉變並不重要。
現在AI的重點是它的用途，我們希望通過AI來提升計算機的能力，讓計算機發揮更大的作用，當然，它也帶來了一些新問題，但總的來説，它解決的問題要比創造的問題多得多，並且改變了人類的交互方式。
在AI領域，我們取得了一些新的突破，以GitHub Copilot為例，它能在很低的時延下完成代碼的自動編寫，但如果時延超過了1500毫秒，那麼該工具就沒有人會使用。
現在有些事情人類實現不了，但可以用機器來輔助我們完成，這才是重點。如果我們正在做的事情發展進入停滯，也並不影響它們能創造的價值。
A：
人們對於AI的看法一直都比較有意思。如果回到十年前，你翻開任何一篇文章，或者説問街上的任何一個人關於AI的看法，一定都是負面的，人們對於AI的看法一直都比較複雜，混合着恐懼的情緒。人們有時能看到AI的潛力，有時看不到，但是大家一直在試圖看清AI。
我完全贊同人們所説的，既要看到AI好的一面，也要看到壞的一面，不能做一個盲目的樂觀主義者，也不能完全悲觀，好像人類快要走向滅亡一樣，這兩種看法都是有問題的。
AI發展將經歷不同的發展階段。現在面臨的最大挑戰是濫用問題，系統本身還不是那麼強大，但其實問題的根源在於背後的人心，雖然文字具有強大的力量，但不會直接影響這個世界，問題出在人們的行動上。我們要在社會和技術層面找到避免濫用的方法並對系統進行監督，這至關重要。
另外，將來系統本身會變得十分強大，假設系統在沒有監控的情況下與多人互動，將產生什麼樣的影響？對於這種情況OpenAI已經有所警覺，我們要建造與全人類價值觀相符的系統，有選擇性地讓特定價值觀進入到系統當中。當然，要做到這一點並不容易。
A：
AI真正能做的是增強人類現有的能力，在寫作、編程和娛樂等知識工作方面就是如此。最令我感到興奮的是，技術門檻將會降低。對於那些有創意並想付諸實踐的人來説，AI會為他們提供一個“完整的創意工作室”。專業人士也將有機會創造出比任何業餘人士都更好的東西。
AI不僅不會使人們的技能消失，反而還會使生產力倍增。
比如激發人們的創造力，不會畫畫的人現在可以通過模型創造出各種圖像，現在我們可以讓自己腦海中的畫面真正出現在紙面上。比如3D設計師們可以先利用DALL·E對他們想要的東西進行渲染，然後再開始製作。
很多人都看過《權力的遊戲》，但我知道結局卻沒能遂每個人的願。有了AI，人們就可以製作自己想要的結局，甚至將自己作為主角代入其中。有人可能會説“我並不需要”，但這就像口袋裏的手機，你可以不用，但需要的時候，它就能派上用場。
A：
AI仍然會是一個活躍且多變的領域，它的發展也許會出乎所有人的意料。我們的任務是儘可能地為AI發展提供便利。
最早一批利用GPT-3提供服務的客户估值已經達到了數十億美元。看着模型為如此多的人創造巨大價值，是一件很有成就感的事情。
未來十年，這些模型將快速發展，應用將無處不在。AI的發展會和互聯網類似，1990年，人們對互聯網還知之甚少，21世紀初，人們開始對互聯網感興趣，這時機遇與挑戰並存。現在，互聯網已經成為商業發展中不可分割的一部分。
我們的任務就是開發通用人工智能，去建造出一種能夠處理所有任務的全能機器，並將這一技術開發到極致，讓它們在最具經濟價值的工作上達到超越人類的表現。
要做到這種程度只是時間問題，當這些工具真的發展到瞭如此有創造性的地步，且能夠超越人類的時候，它們甚至會自發地開始工作。
未來，我們還不知道AI的價值會如何分配，也不知道該如何利用AI來解決人們目前難以應對的挑戰，例如氣候變化、大學教育等等。
Q：這些技術出現的時機也很有意思，去年，人人都在討論Web 3.0是加密貨幣（crypto），但如今看來，AI才是真正的Web 3.0。
Q：你提到兩個非常有意思的方向，一是GPT模型等現存技術的進步，它們在商業上的應用越來越廣泛，二是通用人工智能算法的持續提升。目前來看，AGI的發展方向會是怎樣的？
A：
人類很早以前就開始了對通用人工智能的研究，這點僅從神經網絡的發展歷史就可以看出。2012年是改變世界的一年，算力需求每年增長10倍，而且還在持續增長。回報開始變得可預期，所以我們要投入更多的資金來建造大規模的超級計算機。
通過注入更多算力、更好地利用反向傳播神經網絡技術，構建更強大的模型，這個流程是很固定的。但其中的細節可能會有所變化，比如你想要開發GPT模型還是Whisper、注入語音數據還是從互聯網注入文本數據，這些細節可能很重要，這關係到你要做什麼，要下載什麼資源。但如果放大視角看待這項技術，這又沒那麼重要。
我們學會了利用擴展定律來進行所有的科學調整，務必要確保這些模型不僅聰明，而且與人類的意圖保持一致。我們的目標是每年都做一些以前不可能做成的事情。
我們正在構建的東西就跟構建計算機一樣。
在摩爾定律的輝煌時期，新芯片層出不窮。因為要想建立最好的計算機，只需要不斷構建下一個最好的芯片，並持續對技術中的各部分進行改進。
[1]. http://aibusiness.com/nlp/sxsw-23-openai-co-founder-shares-the-story-behind-chatgpt
[2]. http://www.youtube.com/watch?v=Rp3A5q9L_bg
[3]. http://www.youtube.com/watch?v=YNkxVDAiA1Q
本文分享自微信公眾號 - OneFlow（OneFlowTechnology）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閲讀的你也加入，一起分享。
