深度學習蓄勢待發,即將“爆破”尤拉方程
幾個世紀以來,數學家們一直想知道尤拉流體方程在某些情況下是否會崩潰或被“爆破”。一種新的機器學習方法讓研究人員確信,這種“爆破”即將到來。
作者| Jordana Cepelewicz
編譯|錢磊、Ailleurs
編輯|陳彩嫻
250多年來,數學家們一直試圖“爆破”一些物理學中最重要的方程式,比如描述流體流動的 尤拉方程 。如果他們成功,他們會發現,在某種情況下方程會被爆破——比如可能會出現一個無限快地旋轉的漩渦,或者出現一個突然停止又突然流動的電流,或者是出現一個以無限快的速度掠過的電子。超過這個爆發點——也就是“奇點”——方程將不再有解。這些方程甚至將無法描述這個世界的理想情況,數學家們有理由懷疑這些流體行為的模型到底是否可靠。
奇點正如其所要描述的流體一樣滑溜而不可捉摸。為了找到答案,數學家們通常會把控制流體流動的方程式輸入計算機,然後進行數字模擬。他們從一組初始條件開始,然後觀察,直到某個量的值——比如速度,或者渦度——開始瘋狂地增長,似乎在朝著爆炸的方向發展。
但是計算機無法確定地發現奇點,原因很簡單,因為 計算機無法處理無限值 。如果奇點存在,計算機模型可能會接近方程被爆破的那個點,但永遠無法直接得到奇點。事實上,當用更強大的計算方法探測時,明顯的奇點卻已經消失了。
但這種對奇點的近似仍然很重要。有了近似,數學家們就可以使用一種叫做計算機輔助證明的技術來證明附近確實存在一個奇點。此前已經有過簡化的一維版本的研究。
今年早些時候,一個由數學家和地球科學家組成的團隊發現了一種全新的近似奇點的方法——他們利用了深度學習方法,能夠直接觀察奇點。這個團隊還用這種方法來尋找傳統方法無法找到的奇點,希望能證明這些方程並不像看起來那樣絕對可靠。
-
論文地址:http://arxiv.org/pdf/2201.06780v2.pdf
在該研究中,Yongji Wang 等人開發了一個新的數值框架,利用 基於物理資訊的神經網路(physics-informed neural network,PINN) 尋找Boussinesq方程的光滑自相似解。該解對應於存在圓柱邊界的三維尤拉方程的漸近自相似曲線。特別地,該解是對三維尤拉方程 Luo-Hou 爆破場景的精確描述。該解是流體力學方程的第一個真正的多維光滑向後自相似曲線。該數值框架具有魯棒性,且易於適用於其它方程。
該文研究了在數學流體力學領域中具有重要意義的二維Boussinesq方程和三維帶邊界的尤拉方程的有限時間爆破問題。Yongji Wang 等人使用了一種新穎的數值方法,利用物理資訊神經網路構造了Boussinesq方程的光滑向後自相似解。 這個解本身可能成為未來計算機輔助證明二維Boussinesq和三維帶邊界的尤拉方程爆破的基礎。
這項研究引發了一場爆破流體方程的競賽:一邊是深度學習團隊, 另一邊是多年來一直使用著更成熟的技術的數學家們。不管誰可能會贏得這場比賽——如果有人真的能夠到達終點線的話——結果都表明,神經網路可以幫助人們為許多不同的問題尋找新的解決方案。
1
消失的爆破解
萊昂哈德·尤拉(Leonhard Euler)在1757年提出了尤拉方程,該方程描述了理想的、不可壓縮的流體的運動——這種流體沒有粘性,也沒有內摩擦,而且不能壓縮到更小的體積。(自然界中發現的許多流體一樣是具有粘性的,它們的模型是納維爾-斯托克斯方程;爆破納維爾-斯托克斯方程將獲得克雷數學研究所 100萬美元的千禧年獎。) 給定流體中每個粒子在某一起始點的速度,尤拉方程應該能夠預測流體在任何時候的流動狀況。
但是數學家們想知道,在某些情況下——即使一開始看起來沒什麼問題——這些方程最終是否會遇到麻煩。(我們有理由懷疑這可能是事實:他們模擬的理想流體與真正的只有最輕微粘性的流體沒有任何相似之處。尤拉方程中奇點的形成可以解釋這種散度。)
2013年,兩位數學家提出了這樣一個設想。由於一個完整的三維流體流動的動力學可以變得難以置信的複雜,加州理工學院的數學家Thomas Hou和香港恆生大學的Guo Luo認為流動服從某種對稱性。
在他們的模擬中,流體在一個圓柱形杯內旋轉。杯子上半部分的液體順時針旋轉,而下半部分的液體逆時針旋轉。相反的水流形成了其他複雜的上下迴圈的水流。很快,在邊界上兩股相反的水流相遇處,流體的渦度爆發了。
圖源Merrill Sherman/Quanta Magazine
雖然這個證明提供了奇點存在的有力證據,但沒有證據的話,不可能確定它就是奇點。在Hou和Luo的證明之前,許多模擬都提出了潛在的奇點,可是後來在一臺更強大的計算機上進行測試時,大多數奇點都消失了。明尼蘇達大學的數學家Vladimir Sverak說:“你認為存在一個奇點,然後你把它放到解析度更好的更大的電腦上,不知怎麼的,原本你以為存在的奇點卻不見了。”
這是因為這些解決方案可能很容易受到看似微不足道的小錯誤的影響,這些錯誤會隨著模擬中的每一個時間步而累積。普林斯頓大學的數學家Charlie Fefferman說:“在計算機上模擬尤拉方程是一種微妙的藝術,因為尤拉方程對解的小數點後38位小之又小的誤差非常敏感。”
儘管如此,Hou和Luo對奇點的近似解迄今為止經受住了所有的考驗,並且鼓勵了許多人進行相關的研究。Sverak說:“這是奇點形成的最佳方案,很多人,包括我自己,都相信這一次得到的是一個真正的奇點。”
為了充分證明尤拉方程已被爆破,數學家需要證明,給定近似奇點的情況下附近存在一個真實的奇點。他們可以用精確的數學術語重新描述這個說法,如於近似的一個足夠近的區域記憶體在一個實解,如果某些性質可以被驗證的話,就能證明這個說法是正確的。而驗證這些特性又需要計算機:這一次需要執行一系列的計算(包括近似解),並小心地控制過程中可能累積的誤差。
Hou 與其研究生Jiajie Chen幾年來一直在研究計算機輔助證明。他們從2013年開始對近似解進行了改進,並且現在在使用這個近似作為他們新證明的基礎。他們還表明,這種一般策略也適用於比尤拉方程更容易解的問題。
現在,另一群人也加入了狩獵行動。他們用一種完全不同的方法找到了近似,這個方法與Hou和Luo的結果非常相似。他們現在在編寫他們自己的計算機輔助證明。但是為了獲得近似值,他們首先需要轉向一種新的深度學習形式。
2
PINN:始於冰川研究
關於尤拉方程爆破的新研究始於這樣一個令人意想不到的領域——地球物理學家對南極洲冰蓋的動力學研究。他們的研究要求使用一種深度學習方法,這種方法後來在更多的理論背景中都被證明是有用的。
數學家Tristan Buckmaster目前是普林斯頓高等研究院的訪問學者,他發現這種新方法純屬一次偶然。去年,他所在系的本科生Charlie Cowen Breen請他簽署一個專案,該學生在普林斯頓地球物理學家Ching-Yao Lai的指導下一直在對南極冰蓋做動力學研究。他們試圖通過衛星影象和其他觀測來推測冰的粘度,並預測其未來的流動。通過運用一種以前從未見過的深度學習方法—— “基於物理資訊的神經網路”(PINN) ,他們實現了這一點。
傳統的神經網路需要對大量資料進行訓練才能進行預測,PINN則與此不同,它還必須滿足一組潛在的物理約束條件, 包括運動定律、能量守恆、熱力學等等,以及科學家為了解決特定問題而需要引入的其他任何物理約束。
圖源NASA地球觀測站
將物理因素引入神經網路有這樣幾個目的。一方面,這樣的神經網路能夠在幾乎沒有可用資料的情況下回答問題。另一方面,PINN能夠推斷出原始方程中的未知引數。Lai的實驗室博士後研究員、新論文的合著者之一Yongji Wang 指出,在許多物理問題中,“我們大概知道方程應該是什麼樣子,但我們不知道‘某些’項的係數應該是什麼”。Lai和Cowen Breen試圖要確定的引數就會出現這種情況。
布朗大學的應用數學家George Karniadakis曾於2017年開發了第一個PINNs,他提出並命名了“隱藏流體力學” (hidden fluid mechanics)。
學生Cowen-Breen的請求引起了Buckmaster的思考。Hou、Luo 和 Chen等人對圓柱介面尤拉方程組經典求解方法經歷了漫長的艱難推進。但由於對時間的依賴性,他們只能非常接近而無法到達奇點:當他們越來越接近可能看起來像無窮大的東西時,計算機的計算將變得越來越不可靠,以至於他們無法真正看到爆破本身的點。
但尤拉方程可以用另一組方程來表示,通過一種巧妙的技術,可以把時間的影響排除在外。Hou 和 Luo(2013)的研究結果令人矚目,不僅因為他們確定了一個非常精確的近似解,而且他們發現的解決方案似乎還有一種特殊的“自相似”(self-similar)結構。這意味著,無論時間向前推移多久,模型的解決方案都遵循一定的模式:其後來的形狀看起來與原始形狀非常相似,只是更大一些。
這個特徵意味著數學家可以專注於奇點出現之前的某個時間。如果他們以一個正確的速度放大那張快照——這就好像他們在一個顯微鏡下不斷進行調整放大去觀察它一樣——他們就可以模擬之後會發生什麼,直到到達奇點本身。同時,如果他們以這種方式重新進行縮放,那麼在這個新系統中實際上就不會出現嚴重錯誤,可以避免處理無限值的問題。Fefferman 說,“它只是接近一個良好的極限”,這個極限代表依賴時間的方程版本中爆破的發生。
Sverak 表示:“對這些(被重新縮放的)函式進行建模更容易,因此,如果你能用一個自相似函式來描述一個奇點,這會是一個很大的優勢。”
圖注:從左到右分別是:數學家Tristan Buckmaster和Javier Gómez Serrano,地球物理學家Cheng Yao Lai和Yongji Wang。他們合作使用基於物理的神經網路來研究尤拉方程的爆破。
問題是,要使其發揮作用, 數學家不僅僅是要求解出通常引數(如速度和渦度)的方程(使用自相似座標來書寫這些方程),方程本身還有一個未知的引數:控制放大率的變數。 這個值必須恰到好處,以確保方程的解與初始問題中的爆破解相一致。
數學家必須同時向前和向後地求解這些方程——這是一項用傳統方法很難實現的任務,如果不是不可能的話。找到這些解決方案,正是設計PINNs的目的。
3
爆破解的尋求之路
回顧當初,Buckmaster說,開發PINN“似乎是顯而易見要做的”。
Buckmaster、Lai、Wang 以及Javier Gómez-Serrano(他是布朗大學和巴塞羅那大學的數學家)四人合作,建立了一套物理約束來幫助指導PINN,這套物理約束包括與對稱性和其他性質有關的條件,以及他們想要求解的方程。他們使用了一組使用自相似座標來重寫的二維方程,這些方程在接近圓柱邊界的點上等價於三維尤拉方程。
然後,他們訓練神經網路來尋找滿足這些約束條件的解——以及自相似引數。“這種方法非常靈活,只要施加正確的約束,你總能找到一個解。”Lai說道。事實上,團隊還通過在其他問題上測試該方法展示了這種靈活性。
該團隊提供的答案看起來很像Hou 和 Luo (2013)提出的解決方案。但是數學家們希望他們給出的近似能更詳細地描述正在發生的事情,因為 這是第一次直接計算出這個問題的自相似解。 Sverak 表示 : “新的研究結果更精確地說明了奇點是如何形成的”,即某些值會如何達到爆破點,以及方程將如何崩潰。
Buckmaster指出:“在沒有神經網路的情況下,你很難證明你是真的在捕捉奇點的本質。很明顯,這項研究所用的方法是比傳統方法要容易得多。”
Gómez-Serrano對此表示同意,他說:“這在未來將成為人們手邊的一種標準工具”。
PINNs再一次揭示了Karniadakis所說的“隱藏流體力學”,只是這一次,他們用PINNs在更具理論性的問題上取得了進展。Karniadakis說:“我還沒見過有人用PINNs來做這件事。”
這並不是數學家感到興奮的唯一原因。PINNs可能也可以用來找到另一種奇點,這種奇點用傳統的數值方法是幾乎發現不了的。這些“不穩定”奇點可能是某些流體動力學模型中唯一存在的奇點,包括沒有圓柱邊界的尤拉方程(這一的方程求解起來已經複雜很多)和納維-斯托克斯方程(Navier-Stokes equations)。“不穩定的奇點確實存在。所以為什麼不找到它們呢?”普林斯頓的數學家Peter Constantin曾這樣說道。
但即使對於用經典方法可以處理的穩定奇點,PINN為有圓柱邊界的尤拉方程提供的解決方案“是定量且精確的,並且還可以變得更為嚴密。現在有了一個通往證明的路線圖。這將需要做很多工作,需要很多的技能。我想這還需要一些創意。但我不認為這需要什麼天賦。我認為這是可行的。”Fefferman這樣表示。
Buckmaster的團隊現在正在與Hou和Chen展開一項競賽,看誰能搶先到達終點線。Hou和Chen在 這條賽道上是領先一步的:據Hou說,他們在過去幾年裡在改進近似解和完成證明方面取得了實質性進展,他懷疑Buckmaster和他的同事必須改進近似解,才能得到他們自己的證明。而他認為,現有近似解的誤差餘地已經很小了。
儘管如此,許多專家希望,250年來人們對尤拉方程爆破解的探索將接近尾聲。Sverak 說:“從概念上講,我認為……所有重要的部分都已到位,只是細節還很難確定。”
參考連結:
http://www.quantamagazine.org/deep-learning-poised-to-blow-up-famed-fluid-equations-20220412/
http://arxiv.org/pdf/2201.06780v2.pdf
- 利用宇宙的能力來處理資料!「物理網路」遠勝深度神經網路
- 「反捲鬥士」許華哲:以熱愛為名,用深度強化學習打造一個「機器廚子」
- 資料庫橫向對比與前沿技術分析探討
- 如何構建可信GNN?最新綜述來了!可信圖神經網路:維度,方法,趨勢
- 逼真度超越「AI設計師」DALL·E 2!谷歌大腦推出新的文字生成影象模型——Imagen
- 開放程式碼又如何?成本昂貴、資源集中,大規模語言模型的民主化越來越難
- 浙大蔡登團隊:基於序列對比學習的長影片逐幀動作表徵
- 萬字離線強化學習總結!(原理、資料集、演算法、複雜性分析、超引數調優等)
- 只需要十分之一資料,就能通關四大視覺任務,居然還開源了!
- 北交桑基韜:“超”人的機器學習,非語義特徵的得與失
- 南京大學對國際排名說“不”,一波“退榜潮”要來了嗎?
- 向真實世界應用進軍:持續自監督學習的挑戰
- 重慶大學劉禮:因果學習與應用
- AI 律師,線上詐騙
- IJCAI2022錄用結果出爐!接收率15%,你中了嗎?
- 有人預測GPT-4長這樣:比GPT-3略大、純文字、更注重最優計算與對齊
- 新技術,老問題:NLP領域中沒有被聽到的「聲音」
- 港大黃凱斌:6G時代的邊緣智慧,夏農與圖靈的相遇
- 深度學習蓄勢待發,即將“爆破”尤拉方程
- 遷移學習前沿探究探討:低資源、領域泛化與安全遷移