開源ChatGPT要來了;軟體2.0智慧革命;GLM、Diffusion模型大加速

語言: CN / TW / HK

影象2023-1-5 11.47.jpeg

1

2023年AI十大展望:GPT-4領銜大模型變革,谷歌拉響警報,訓練資料告急

新年伊始,大模型的話題熱度不減。ChatGPT展現的驚人能力將大模型研究和應用熱度推向高潮,人們激烈討論著這個高階“物種”的推出意味著什麼。

本文作者Rob Toews釋出了2023年AI發展的十大預測,整體來看,大部分預測都離不開“大模型”這個關鍵詞,具體分析也有其道理。當然,其中的文生圖、人形機器人等領域的發展也舉足輕重。2023,讓我們拭目以待。

連結:

https://mp.weixin.qq.com/s/E_v7k_VlbHA8of8smlqikQ

2

機器之心的進化 / 理解AI驅動的軟體2.0智慧革命

本文將帶你領略一次人工智慧領域波瀾壯闊的發展史,從關鍵人物推動的學術進展、演算法和理念的湧現、公司和產品的進步、還有腦科學對神經網路的迭代影響,這四個維度來深刻理解“機器之心的進化”。先忘掉那些花裡胡哨的圖片生產應用,我們一起來學點接近AI本質的東西。

連結:

https://mp.weixin.qq.com/s/5s1hLaXnWVPSuElkGMhXxw

3

AGI的孤勇者,傳奇工程師John Carmack:驚訝看不到如我這樣的人

AGI是人工智慧的聖盃,這位達拉斯最著名的科技奇才對AGI的追求就好比是百年難遇的登月行動。在這場針對AGI的角逐當中,參與方還有來自科學家、學者和大型科技公司的“群體思維(groupthink)”的獨立競爭,他們也在積極尋求解決方案。

去年8月,Carmack宣佈,他的AGI初創公司Keen Technologies在新一輪融資中從多個知名投資者手中籌集了2000萬美元。2022年12月,卡馬克辭去了Meta虛擬現實部門的領導職務,全身心投入AGI研發。

連結:

https://mp.weixin.qq.com/s/MMfWc6ss8w8QgnC_-cUnwg

4

OpenAI掌門人Sam Altman的成功學

如今,已成為OpenAI CEO的Sam Altman是全球範圍內當之無愧的科技領軍人物。在離任YC總裁的那一年,曾與無數創業者和技術人才交流過的Sam Altman發表了一篇部落格,總結了他眼中獲得成功所要具備的13個特質,如果你渴求成功,或者至少希望自己變得優秀,這篇部落格對你的個人成長將有所啟發。如果你恰好在職業生涯早期就看過,無疑是幸運的。

連結:

https://mp.weixin.qq.com/s/AHEbDPSCUEvRrdq9zn5YmQ

5

ChatGPT,和聰明地設計Infra

作者主要有四個觀點:ChatGPT並不是黑科技,是持續開放科研的產物;ChatGPT是工程、產品的勝利;ChatGPT不會讓人失業,反而會帶來更多的機會;Infrastructure 會是這一場仗當中的贏家,但是要聰明地設計Infra。

連結:

https://mp.weixin.qq.com/s/oM0V0MymMbanJddzABYDDQ

6

Open Assistant:LAION發起開源ChatGPT專案

ChatGPT的效果驚人,但不開源。顯然開源社群有人憋不住了。LAION(代表作是赫赫有名的資料集LAION-5B)的組織者Christoph Schuhmann與Yannic Kilcher(AI圈知名的YouTube大V)一通視訊電話,就啟動了專案,很快專案的Discord討論組就進了很多人,無比活躍起來。最開始專案名稱是open-chat-gpt,大約一週後改為Open Assistant。

連結:

https://hub.baai.ac.cn/view/22872

7

國內開發者發起ChatRWKV專案,做開源ChatGPT

ChatRWKV 類似於 ChatGPT,但由RWKV(100% RNN)語言模型提供支援,這是目前唯一可以在質量和縮放方面與 Transformer 相媲美的 RNN,同時速度更快並節省 VRAM。

連結:

https://zhuanlan.zhihu.com/p/603840957

8

通向AGI之路:大型語言模型(LLM)技術精要

ChatGPT出現後驚喜或驚醒了很多人。驚喜是因為沒想到大型語言模型(Large Language Model)效果能好成這樣;驚醒是頓悟到我們對LLM的認知及發展理念,距離世界最先進的想法,差得有點遠。作者稱,作為既驚喜又驚醒的那一批,也是典型的中國人,中國人善於自我反思,於是開始反思,而這篇文章正是反思的結果。

連結:

https://mp.weixin.qq.com/s/eMrv15yOO0oYQ-o-wiuSyw

9

Jeff Dean發推:谷歌年終總結「第三彈」,大力發展Jax

隨著演算法和硬體越來越複雜,以及執行規模越來越大,執行日常任務所需的軟體的複雜性也在不斷增加。

在這篇文章中,研究人員概述了過去一年整個谷歌在ML系統方面取得的眾多進展,這些進展使谷歌能夠支援複雜模型的服務和訓練,同時減輕了終端使用者的實施複雜性。同時,這篇文章還提到了谷歌如何利用ML本身來改進和設計下一代系統堆疊的研究。

連結:

https://mp.weixin.qq.com/s/TVMYYPK_Ct_dEROzrBnZvg

10

和TensorFlow一樣,英偉達CUDA的壟斷格局將被打破?

谷歌早期在機器學習模型架構、訓練、模型優化方面都具有很大優勢,但現在卻難以充分發揮這些優勢。而在硬體方面,其他 AI 硬體公司很難削弱英偉達的統治地位。直到 PyTorch 2.0 和 OpenAI Triton 出現,機器學習模型的預設軟體堆疊將不再是英偉達的閉源 CUDA。

連結:

https://mp.weixin.qq.com/s/dGpf6DOyaozMwpOtp8vS-g

11

OneFlow v0.9.0正式釋出

本次更新包含 640 個 commit,完整更新列表請檢視連結:https://github.com/Oneflow-Inc/oneflow/releases/tag/v0.9.0,歡迎下載體驗新版本,期待你的反饋。OneFlow v0.9.0 主要包括9大新增亮點功能和優化。

連結:

https://mp.weixin.qq.com/s/8Vb9fIQs0vSiM5_0M3SaGg

12

GLM國產大模型訓練加速:效能最高提升3倍,視訊記憶體節省1/3,低成本上手

OneFlow近期將原始的 GLM 專案移植到了使用 OneFlow 後端進行訓練的 One-GLM 專案。得益於 OneFlow 和 PyTorch 無縫相容性,我們快速且平滑地移植了 GLM,併成功跑通了預訓練任務(訓練 GLM-large)。

此外,由於 OneFlow 原生支援 DeepSpeed 和 Apex 的很多功能和優化技術,使用者不再需要這些外掛就可訓練 GLM 等大模型。更重要的是,針對當前 OneFlow 移植的 GLM 模型,在簡單調優後就能在效能以及視訊記憶體佔用上有大幅提升。

連結:

https://mp.weixin.qq.com/s/dkTGXuJV38KuLb4_LmM20Q

13

A16Z:生成式AI平臺,誰主沉浮?

不像許多熱門的技術趨勢在市場跟上其步伐前就被過度炒作了,生成式AI的熱潮卻伴隨著極高的市場歡迎度以及真實的市場收益。如Stable Diffusion和ChatGPT的模型們正在創造使用者增長的歷史記錄,一些應用在釋出不到一年的時間裡就實現了1億美元的年營收。

對照表明,AI模型在某些任務上的表現優於人類好幾個數量級。已有足夠的早期資料表明正規化轉移正在發生。

連結:

https://mp.weixin.qq.com/s/bh5uw06IzTCO9jQBa-rlfQ

14

35張圖,直觀理解Stable Diffusion

Stable Diffusion用途多樣,是一款多功能模型。首先它可以根據文字生成影象(text2img)。上圖是從文字輸入到影象生成的示例。除此之外,我們還可以使用Stable Diffusion來替換、更改影象(這時我們需要同時輸入文字和影象)。

本文介紹了Stable Diffusion的內部結構,瞭解內部結構可以讓我們更好地理解Stable Diffusion的組成、各組成部分的互動方式、以及各種影象生成選項/引數的含義。

連結:

https://mp.weixin.qq.com/s/8C2RqYrHZTpFFzaHIbPhRw

15

“零”程式碼改動,靜態編譯讓太乙Stable Diffusion推理速度翻倍

近期,OneFlow 團隊為太乙 Stable Diffusion 適配了 OneFlow 後端,大大提升了推理效能,也可以做到一秒出圖。不少開發者好奇OneFlow使用了哪些優化“祕笈”,後文將進行簡要解讀。

連結:

https://mp.weixin.qq.com/s/XaR1W8yKPYxN5PR1RPMepA

16

“一鍵”模型遷移,效能翻倍,多語言AltDiffusion推理速度超快

由於目前大部分團隊主要是基於翻譯 API + 英文 Stable Diffusion 模型進行開發,所以在使用中文獨特的敘事和表達時,英文版模型就很難給出正確匹配的圖片內容,這對部分國內使用者來說不太方便。

為此,智源研究院出品了首個支援 9 種語言的 AltDiffusion。近期,OneFlow 團隊為其適配了 OneFlow 後端,大大提升了推理效能,也可以做到一秒出圖。

連結:

https://mp.weixin.qq.com/s/whJlFifyzcCAX5DqA7hA_A

17

Runway釋出視訊生成器GEN-1,結果比Stable Diffusion 1.5提升73.83%,比Text2Live提升88.24%

Runway成立於2018年,是一家AI視訊編輯軟體提供商,主要為設計師、藝術家和開發人員提供一系列的工具和平臺,產品是幫助專業人士生成各種內容。其釋出的GEN-1可通過將影象或文字提示符的組成和樣式應用到源視訊的結構上,實際地並始終如一地合成新視訊,演示效果驚人。GEN-1目前仍處於內測階段。

連結:

https://hub.baai.ac.cn/view/23978

歡迎 Star、試用 OneFlow 最新版本:
https://github.com/Oneflow-Inc/oneflow/