這本數學書AI圈都在轉,資深ML研究員歷時7年之作,免費電子版可看

語言: CN / TW / HK

羿閣 發自 凹非寺

量子位 | 公眾號 QbitAI

這幾天,一本 免費數學教程 在機器學習圈被瘋轉。

這本書名叫《概率數值》(Probabilistic Numerics),作者是來自馬普所、牛津大學和INRIA的三位機器學習大牛,其中一位的谷歌學術引用量達到17000+。

Philipp Hennig、Michael A. Osborne和Hans P. Kersting三位作者在寫這本書時,前後一共寫了7年,長達400多頁。

新書釋出後,作者之一Philipp Hennig在推特上感嘆:它終於出來了。

除了實體出書以外,作者們也在網上分享了全書的免費電子版。(ps:文末可以檢視~)

具體來說,這本書希望從數學的角度,教會大家如何 優化機器學習模型

通常,機器學習涉及大量線性代數、積分、或尋找非線性函式的最小值等問題,而這些問題往往會 佔用大量計算資源

因此,作者希望能通過講解背後概率數值計算的原理,讓我們理解模型“耗能的原因”,從而更好地優化模型。

對於這本書,愛丁堡大學機器學習講師Antonio Vergari點了個贊:

數值計算積分不僅是機器學習、人工智慧的核心,也是工程、物理等領域的核心。

除了數值分析的角度,從模型推理和傳播不確定性等領域來看,也是非常有價值的。

這本書有什麼用?

在計算機中,有很多問題涉及複雜系統的求解。

例如用計算機預測天氣、癌細胞基因突變等問題,都與複雜系統有關,由於這種系統在求解時容易引入 不確定性 ,又會導致計算資源的浪費。

而在機器學習中中,模型給出的預測結果不一定是可靠的,各種因素也會導致輸出結果的不確定性。

目前,隨著資料精度的提升,不確定性帶來的計算量也還在進一步增大。

從數學角度來說,如何量化這種不確定性、降低計算資源的浪費,就涉及概率數值(概率統計、數值分析等)的理論和方法。

如果能掌握它的理論技巧,計算機就能更高效地處理資料,還能利用這種不確定性來做出計算的最優決策,包括使用貝葉斯推斷等理論,來構建更靈活、更高效、更個性化的演算法。

在書中,作者不僅充分講解了概率數值計算的原理,還進一步通過練習題手把手地教你如何優化一個機器學習模型,並且所有重要的練習都配備瞭解決方案。

這一點獲得了網友的點贊。

正如作者在簡介中所說:

我們為所有需要使用數值計算的人寫了這本書,不管是天體物理學家還是深度學習黑客。

對於那些正在或正打算成為數值計算領域開發者的人,以及正在學習機器學習的人,我們希望這本書會是有趣的。

這本書講了什麼?

在機器學習快速發展的當下,這本書旨在給新興的概率數值領域做一個概述。

書中內容主要從以下幾方面展開:

1、數學基礎

概率數值計算是機器學習和應用數學之間的橋樑,要想學會機器學習,數學是繞不開的話題。

這一章節對後續會使用到的概率推理、高斯函式、迴歸、線性代數等關鍵概念進行了介紹。

有統計學或機器學習背景的讀者讀起來會很輕鬆~

2、積分

本章利用積分的基本概念,介紹了概率數值計算的核心——貝葉斯積分公式、經典求積公式等理論,並重構現有的數值求積規則,在現有的方法上開發新的功能。

3、線性代數

線性代數運算,可以說是最基本的數值計算。與矩陣運算、向量運算一樣,它們幾乎是當代計算機領域所有重量級運算的基石。因此,這一領域的研究非常深入。

首先,你需要了解一些線性代數的基礎知識——向量化矩陣、克羅內克積、正定矩陣、弗羅貝尼烏斯矩陣範數等等。

其次,書中致力於培養對線性代數的直覺理解,這有助於我們更好地理解數學的本質、看懂複雜公式背後最簡單的套路。

4、區域性優化

在數值計算過程中,如果建模不當會導致很多問題,這點在深度學習等領域格外明顯。

本章重點關注非線性優化問題,以步長選取為例進行講解。

5、全域性優化

本章介紹一個很有效的全域性優化演算法——貝葉斯優化,該方法可以不受限制地解決計算成本高、導數未知的問題,並且能夠在儘可能少的步驟中找到全域性最小值。

6、常微分方程解法

在研究常微分方程的過程中,我們需要辯證看待常微分方程和偏微分方程的關係,並且需要適時將其進行轉化。這樣,我們才能靈活求解常微分方程。

本章主要從經典的ODE求解器、ODE濾波器和平滑器等方面進行講解。

7、前景

概率數值的未來是廣闊的,該領域中的許多基礎數學、工程和哲學問題仍有待解決。在本章中,我們將重點討論一些可能至少影響學術界未來十年發展的開放性問題。

8、練習&答案

除了上述的文字資料外,本書還提供了許多附帶解決方案的練習題。

三位作者都是誰?

作者之一的Michael A. Osborne昨天在推特上分享道“我們從2015年開始寫這本關於機器學習的新計算基礎的書,現在它像我的孩子一樣長大了”。

Michael A. Osborne,牛津大學機器學習教授,也是Mind Foundry有限公司的聯合創始人。

Osborne專注於機器學習領域中的主動學習、貝葉斯優化和貝葉斯積分等方向,而且熱衷於新興的概率數值領域。

Philipp Hennig,蒂賓根大學機器學習方法教授,同時也是MPII(馬克斯·普朗克智慧系統研究所)的兼職研究員,ELLIS(歐洲學習和智慧系統實驗室)學習機器理論、演算法和計算研究專案的聯合主任。

在他的職業生涯中,概率數值方法是主要的研究方向之一。Hennig的研究得到了艾米·諾特(Emmy Noether)、馬克斯·普朗克(Max Planck)和ERC獎學金的支援。

Hans P. Kersting,INRIA(法國國家資訊與自動化研究所)和ENS(巴黎高等師範學院)的博士後研究員,從事機器學習方面工作,主要研究方向是貝葉斯推理、動態系統優化等。

最後附上作者提供的《概率數值》免費電子版,感興趣的小夥伴趕緊一睹為快吧!

《概率數值》:https://www.probabilistic-numerics.org/assets/ProbabilisticNumerics.pdf

— 完 —

「其他文章」