我眼中的大資料(一)

語言: CN / TW / HK

前言

在正式落地談技術之前,先花一些篇幅說說大資料技術的發展史。我們常說的大資料技術,其實起源於Google在2004年前後發表的三篇論文,分別是分散式檔案系統GFS、大資料分散式計算框架MapReduce和NoSQL資料庫系統BigTable(如果大家需要可以留言給我,我可以專門解讀一下)。

一、從搜尋引擎開始

搜尋引擎主要就做兩件事情,一個是網頁抓取,一個是索引構建,在這個過程中,有大量的資料需要儲存和計算。當時的大資料其實就是用來解決這個問題的,一個檔案系統、一個計算框架、一個數據庫系統。

在2004年那會兒,Google釋出的論文實在是讓業界為之一振,大家恍然大悟,原來還可以這麼玩。因為那個時間段,大多數公司在思考如何提升單機的效能,尋找更貴更好的伺服器。而Google的思路是部署一個大規模的伺服器叢集,通過分散式的方式將海量資料儲存在這個叢集上,然後利用叢集上的所有機器進行資料計算。

當時Lucene開源專案的創始人Doug Cutting正在開發開源搜尋引擎Nutch,閱讀了Google的論文後,他非常興奮,緊接著就根據論文原理初步實現了類似GFS和MapReduce的功能。

兩年後的2006年,Doug Cutting將這些大資料相關的功能從Nutch中分離了出來,然後啟動了一個獨立的專案專門開發維護大資料技術,這就是後來赫赫有名的Hadoop,主要包括Hadoop分散式檔案系統HDFS和大資料計算引擎MapReduce。

Hadoop釋出之後,Yahoo很快就用了起來。大概又過了一年到了2007年,百度和阿里巴巴也開始使用Hadoop進行大資料儲存與計算。

2008年,Hadoop正式成為Apache的頂級專案,後來Doug Cutting本人也成為了Apache基金會的主席。自此,Hadoop作為軟體開發領域的一顆明星冉冉升起。同年,專門運營Hadoop的商業公司Cloudera成立,Hadoop得到進一步的商業支援。

這個時候,Yahoo的一些人覺得用MapReduce進行大資料程式設計太麻煩了,於是便開發了Pig。Pig是一種指令碼語言,使用類SQL的語法,開發者可以用Pig指令碼描述要對大資料集上進行的操作,Pig經過編譯後會生成MapReduce程式,然後在Hadoop上執行。

編寫Pig指令碼雖然比直接MapReduce程式設計容易,但是依然需要學習新的指令碼語法。於是Facebook又釋出了Hive。Hive支援使用SQL語法來進行大資料計算,比如說你可以寫個Select語句進行資料查詢,然後Hive會把SQL語句轉化成MapReduce的計算程式。這樣, 熟悉資料庫的資料分析師和工程師便可以無門檻地使用大資料進行資料分析和處理了 。Hive出現後極大程度地降低了Hadoop的使用難度,迅速得到開發者和企業的追捧。據說,2011年的時候,Facebook大資料平臺上執行的作業90%都來源於Hive。

在Hadoop早期,MapReduce既是一個執行引擎,又是一個資源排程框架,伺服器叢集的資源排程管理由MapReduce自己完成。但是這樣不利於資源複用,也使得MapReduce非常臃腫。於是一個新專案啟動了,將MapReduce執行引擎和資源排程分離開來,這就是Yarn。 2012年,Yarn成為一個獨立的專案開始運營,隨後被各類大資料產品支援,成為大資料平臺上最主流的資源排程系統

同樣是在2012年,Spark開始嶄露頭角。當時AMP實驗室的馬鐵博士發現使用MapReduce進行機器學習計算的時候效能非常差,因為機器學習演算法通常需要進行很多次的迭代計算,而MapReduce每執行一次Map和Reduce計算都需要重新啟動一次作業,帶來大量的消耗。還有一點就是MapReduce主要使用磁碟作為儲存介質,而2012年的時候,記憶體已經突破容量和成本限制,成為資料執行過程中主要的儲存介質。Spark一經推出,立即受到業界的追捧,並逐步替代MapReduce在企業應用中的地位。

一般說來,像MapReduce、Spark這類計算框架處理的業務場景都被稱作 批處理計算 ,因為它們通常針對以“天”為單位產生的資料進行一次計算,然後得到需要的結果,這中間計算需要花費的時間大概是幾十分鐘甚至更長的時間。因為計算的資料是非線上得到的實時資料,而是歷史資料,所以這類計算也被稱為 大資料離線計算

而在大資料領域,還有另外一類應用場景,它們需要對實時產生的大量資料進行即時計算,比如對於遍佈城市的監控攝像頭進行人臉識別和嫌犯追蹤。這類計算稱為 大資料流計算 ,相應地,有Storm、Flink、Spark Streaming等流計算框架來滿足此類大資料應用的場景。 流式計算要處理的資料是實時線上產生的資料,所以這類計算也被稱為 大資料實時計算

在典型的大資料的業務場景下,資料業務最通用的做法是, 採用批處理的技術處理歷史全量資料,採用流式計算處理實時新增資料。 而像Flink這樣的計算引擎,可以同時支援流式計算和批處理計算。

除了大資料批處理和流處理,NoSQL系統處理的主要也是大規模海量資料的儲存與訪問,所以也被歸為大資料技術。 NoSQL曾經在2011年左右非常火爆,湧現出HBase、Cassandra等許多優秀的產品,其中HBase是從Hadoop中分離出來的、基於HDFS的NoSQL系統。

上面的這些基本上都可以歸類為大資料引擎或者大資料框架。而 大資料處理的主要應用場景包括資料分析、資料探勘與機器學習 。資料分析主要使用Hive、Spark SQL等SQL引擎完成;資料探勘與機器學習則有專門的機器學習框架TensorFlow、Mahout以及MLlib等,內建了主要的機器學習和資料探勘演算法。

二、結合人工智慧

在過去,受資料採集、儲存、計算能力的限制,只能通過抽樣的方式獲取小部分資料,無法得到完整的、全域性的、細節的規律。 而現在有了大資料,可以把全部的歷史資料都收集起來,統計其規律,進而預測正在發生的事情

這就是機器學習。

把歷史上人類圍棋對弈的棋譜資料都儲存起來,針對每一種盤面記錄如何落子可以得到更高的贏面。得到這個統計規律以後,就可以利用這個規律用機器和人下棋,每一步都計算落在何處將得到更大的贏面,於是我們就得到了一個會下棋的機器人,這就是前兩年轟動一時的AlphaGo,以壓倒性優勢下贏了人類的頂尖棋手。

再舉個和我們生活更近的例子。把人聊天的對話資料都收集起來,記錄每一次對話的上下文,如果上一句是問今天過得怎麼樣,那麼下一句該如何應對,通過機器學習可以統計出來。將來有人再問今天過得怎麼樣,就可以自動回覆下一句話,於是我們就得到一個會聊天的機器人。Siri、天貓精靈、小愛同學,這樣的語音聊天機器人在機器學習時代已經滿大街都是了。

將人類活動產生的資料,通過機器學習得到統計規律,進而可以模擬人的行為,使機器表現出人類特有的智慧,這就是人工智慧AI。

現在我們對待人工智慧還有些不理智的態度,有的人認為人工智慧會越來越強大,將來會統治人類。實際上,稍微瞭解一點人工智慧的原理就會發現,這只是大資料計算出來的統計規律而已,表現的再智慧,也不可能理解這樣做的意義,而有意義才是人類智慧的源泉。按目前人工智慧的發展思路,永遠不可能出現超越人類的智慧,更不可能統治人類。

大資料從搜尋引擎到機器學習,發展思路其實是一脈相承的,就是想發現數據中的規律併為我們所用。所以很多人把資料稱作金礦,大資料應用就是從這座蘊含知識寶藏的金礦中發掘中有商業價值的真金白銀出來。

資料中蘊藏著價值已經是眾所周知的事情了,那麼如何從這些龐大的資料中發掘出我們想要的知識價值,這正是大資料技術目前正在解決的事情,包括大資料儲存與計算,也包括大資料分析、挖掘、機器學習等應用。