10+ 張圖解｜高併發分散式架構演進

大家好，我是煎魚。

在週末學習的時候，看到了這篇文章講的挺詳細，涉及到大型網站的架構演進過程。

分享給大家，希望對大家在做系統設計時有幫助，少踩坑！

0. 目錄和說明

文章在介紹一些基本概念後，按照以下過程闡述了整個架構的演進過程：

• 單機架構

• 第一次演進：Tomcat 與資料庫分開部署

• 第二次演進：引入本地快取和分散式快取

• 第三次演進：引入反向代理實現負載均衡

• 第四次演進：資料庫讀寫分離

• 第五次演進：資料庫按業務分庫

• 第六次演進：把大表拆分為小表

• 第七次演進：使用 LVS 或 F5 來使多個 Nginx 負載均衡

• 第八次演進：通過 DNS 輪詢實現機房間的負載均衡

• 第九次演進：引入 NoSQL 資料庫和搜尋引擎等技術

• 第十次演進：大應用拆分為小應用

• 第十一次演進： 複用的功能抽離成微服務

• 第十二次演進：引入企業服務匯流排 ESB 遮蔽服務介面的訪問差異

• 第十三次演進：引入容器化技術實現執行環境隔離與動態服務管理

• 第十四次演進：以雲平臺承載系統

原文作者：huashiou，連結：http://segmentfault.com/a/1190000018626163

1. 概述

本文以淘寶作為例子，介紹從一百個到千萬級併發情況下服務端的架構的演進過程，同時列舉出每個演進階段會遇到的相關技術，讓大家對架構的演進有一個整體的認知，文章最後彙總了一些架構設計的原則。

特別說明：本文以淘寶為例僅僅是為了便於說明演進過程可能遇到的問題，並非是淘寶真正的技術演進路徑

2. 基本概念

在介紹架構之前，為了避免部分讀者對架構設計中的一些概念不瞭解，下面對幾個最基礎的概念進行介紹。

• 分散式：系統中的多個模組在不同伺服器上部署，即可稱為分散式系統，如 Tomcat 和資料庫分別部署在不同的伺服器上，或兩個相同功能的 Tomcat 分別部署在不同伺服器上

• 高可用：系統中部分節點失效時，其他節點能夠接替它繼續提供服務，則可認為系統具有高可用性

• 叢集：一個特定領域的軟體部署在多臺伺服器上並作為一個整體提供一類服務，這個整體稱為叢集。如 Zookeeper 中的 Master 和 Slave 分別部署在多臺伺服器上，共同組成一個整體提供集中配置服務。在常見的叢集中，客戶端往往能夠連線任意一個節點獲得服務，並且當叢集中一個節點掉線時，其他節點往往能夠自動的接替它繼續提供服務，這時候說明叢集具有高可用性

• 負載均衡：請求傳送到系統時，通過某些方式把請求均勻分發到多個節點上，使系統中每個節點能夠均勻的處理請求負載，則可認為系統是負載均衡的

• 正向代理和反向代理：系統內部要訪問外部網路時，統一通過一個代理伺服器把請求轉發出去，在外部網路看來就是代理伺服器發起的訪問，此時代理伺服器實現的是正向代理；當外部請求進入系統時，代理伺服器把該請求轉發到系統中的某臺伺服器上，對外部請求來說，與之互動的只有代理伺服器，此時代理伺服器實現的是反向代理。簡單來說，正向代理是代理伺服器代替系統內部來訪問外部網路的過程，反向代理是外部請求訪問系統時通過代理伺服器轉發到內部伺服器的過程。

3. 架構演進

3.1 單機架構

以淘寶作為例子。在網站最初時，應用數量與使用者數都較少，可以把 Tomcat 和資料庫部署在同一臺伺服器上。瀏覽器往 www.taobao.com 發起請求時，首先經過 DNS 伺服器（域名系統）把域名轉換為實際 IP 地址 10.102.4.1，瀏覽器轉而訪問該 IP 對應的 Tomcat。

隨著使用者數的增長，Tomcat 和資料庫之間競爭資源，單機效能不足以支撐業務

3.2 第一次演進：Tomcat 與資料庫分開部署

Tomcat 和資料庫分別獨佔伺服器資源，顯著提高兩者各自效能。

隨著使用者數的增長，併發讀寫資料庫成為瓶頸

3.3 第二次演進：引入本地快取和分散式快取

在 Tomcat 同伺服器上或同 JVM 中增加本地快取，並在外部增加分散式快取，快取熱門商品資訊或熱門商品的 html 頁面等。通過快取能把絕大多數請求在讀寫資料庫前攔截掉，大大降低資料庫壓力。其中涉及的技術包括：使用 memcached 作為本地快取，使用 Redis 作為分散式快取，還會涉及快取一致性、快取穿透/擊穿、快取雪崩、熱點資料集中失效等問題。

快取抗住了大部分的訪問請求，隨著使用者數的增長，併發壓力主要落在單機的 Tomcat 上，響應逐漸變慢

3.4 第三次演進：引入反向代理實現負載均衡

在多臺伺服器上分別部署 Tomcat，使用反向代理軟體（Nginx）把請求均勻分發到每個 Tomcat 中。此處假設 Tomcat 最多支援 100 個併發，Nginx 最多支援 50000 個併發，那麼理論上 Nginx 把請求分發到 500 個 Tomcat 上，就能抗住 50000 個併發。其中涉及的技術包括：Nginx、HAProxy，兩者都是工作在網路第七層的反向代理軟體，主要支援 http 協議，還會涉及 session 共享、檔案上傳下載的問題。

反向代理使應用伺服器可支援的併發量大大增加，但併發量的增長也意味著更多請求穿透到資料庫，單機的資料庫最終成為瓶頸

3.5 第四次演進：資料庫讀寫分離

把資料庫劃分為讀庫和寫庫，讀庫可以有多個，通過同步機制把寫庫的資料同步到讀庫，對於需要查詢最新寫入資料場景，可通過在快取中多寫一份，通過快取獲得最新資料。其中涉及的技術包括：Mycat，它是資料庫中介軟體，可通過它來組織資料庫的分離讀寫和分庫分表，客戶端通過它來訪問下層資料庫，還會涉及資料同步，資料一致性的問題。

業務逐漸變多，不同業務之間的訪問量差距較大，不同業務直接競爭資料庫，相互影響效能

3.6 第五次演進：資料庫按業務分庫

把不同業務的資料儲存到不同的資料庫中，使業務之間的資源競爭降低，對於訪問量大的業務，可以部署更多的伺服器來支撐。這樣同時導致跨業務的表無法直接做關聯分析，需要通過其他途徑來解決，但這不是本文討論的重點，有興趣的可以自行搜尋解決方案。

隨著使用者數的增長，單機的寫庫會逐漸會達到效能瓶頸

3.7 第六次演進：把大表拆分為小表

比如針對評論資料，可按照商品 ID 進行 hash，路由到對應的表中儲存；針對支付記錄，可按照小時建立表，每個小時表繼續拆分為小表，使用使用者 ID 或記錄編號來路由資料。只要實時操作的表資料量足夠小，請求能夠足夠均勻的分發到多臺伺服器上的小表，那資料庫就能通過水平擴充套件的方式來提高效能。其中前面提到的 Mycat 也支援在大表拆分為小表情況下的訪問控制。

這種做法顯著的增加了資料庫運維的難度，對 DBA 的要求較高。資料庫設計到這種結構時，已經可以稱為分散式資料庫，但是這只是一個邏輯的資料庫整體，資料庫裡不同的組成部分是由不同的元件單獨來實現的，如分庫分表的管理和請求分發，由 Mycat 實現，SQL 的解析由單機的資料庫實現，讀寫分離可能由閘道器和訊息佇列來實現，查詢結果的彙總可能由資料庫介面層來實現等等，這種架構其實是 MPP（大規模並行處理）架構的一類實現。

目前開源和商用都已經有不少 MPP 資料庫，開源中比較流行的有 Greenplum、TiDB、Postgresql XC、HAWQ 等，商用的如南大通用的 GBase、睿帆科技的雪球 DB、華為的 LibrA 等等，不同的 MPP 資料庫的側重點也不一樣，如 TiDB 更側重於分散式 OLTP 場景，Greenplum 更側重於分散式 OLAP 場景，這些 MPP 資料庫基本都提供了類似 Postgresql、Oracle、MySQL 那樣的 SQL 標準支援能力，能把一個查詢解析為分散式的執行計劃分發到每臺機器上並行執行，最終由資料庫本身彙總資料進行返回，也提供了諸如許可權管理、分庫分表、事務、資料副本等能力，並且大多能夠支援 100 個節點以上的叢集，大大降低了資料庫運維的成本，並且使資料庫也能夠實現水平擴充套件。

資料庫和 Tomcat 都能夠水平擴充套件，可支撐的併發大幅提高，隨著使用者數的增長，最終單機的 Nginx 會成為瓶頸

3.8 第七次演進：使用 LVS 或 F5 來使多個 Nginx 負載均衡

由於瓶頸在 Nginx，因此無法通過兩層的 Nginx 來實現多個 Nginx 的負載均衡。圖中的 LVS 和 F5 是工作在網路第四層的負載均衡解決方案，其中 LVS 是軟體，執行在作業系統核心態，可對 TCP 請求或更高層級的網路協議進行轉發，因此支援的協議更豐富，並且效能也遠高於 Nginx，可假設單機的 LVS 可支援幾十萬個併發的請求轉發；F5 是一種負載均衡硬體，與 LVS 提供的能力類似，效能比 LVS 更高，但價格昂貴。由於 LVS 是單機版的軟體，若 LVS 所在伺服器宕機則會導致整個後端系統都無法訪問，因此需要有備用節點。可使用 keepalived 軟體模擬出虛擬 IP，然後把虛擬 IP 繫結到多臺 LVS 伺服器上，瀏覽器訪問虛擬 IP 時，會被路由器重定向到真實的 LVS 伺服器，當主 LVS 伺服器宕機時，keepalived 軟體會自動更新路由器中的路由表，把虛擬 IP 重定向到另外一臺正常的 LVS 伺服器，從而達到 LVS 伺服器高可用的效果。

此處需要注意的是，上圖中從 Nginx 層到 Tomcat 層這樣畫並不代表全部 Nginx 都轉發請求到全部的 Tomcat，在實際使用時，可能會是幾個 Nginx 下面接一部分的 Tomcat，這些 Nginx 之間通過 keepalived 實現高可用，其他的 Nginx 接另外的 Tomcat，這樣可接入的 Tomcat 數量就能成倍的增加。

由於 LVS 也是單機的，隨著併發數增長到幾十萬時，LVS 伺服器最終會達到瓶頸，此時使用者數達到千萬甚至上億級別，使用者分佈在不同的地區，與伺服器機房距離不同，導致了訪問的延遲會明顯不同

3.9 第八次演進：通過 DNS 輪詢實現機房間的負載均衡

在 DNS 伺服器中可配置一個域名對應多個 IP 地址，每個 IP 地址對應到不同的機房裡的虛擬 IP。當用戶訪問 www.taobao.com 時，DNS 伺服器會使用輪詢策略或其他策略，來選擇某個 IP 供使用者訪問。此方式能實現機房間的負載均衡，至此，系統可做到機房級別的水平擴充套件，千萬級到億級的併發量都可通過增加機房來解決，系統入口處的請求併發量不再是問題。

隨著資料的豐富程度和業務的發展，檢索、分析等需求越來越豐富，單單依靠資料庫無法解決如此豐富的需求

3.10 第九次演進：引入 NoSQL 資料庫和搜尋引擎等技術

當資料庫中的資料多到一定規模時，資料庫就不適用於複雜的查詢了，往往只能滿足普通查詢的場景。對於統計報表場景，在資料量大時不一定能跑出結果，而且在跑複雜查詢時會導致其他查詢變慢，對於全文檢索、可變資料結構等場景，資料庫天生不適用。因此需要針對特定的場景，引入合適的解決方案。如對於海量檔案儲存，可通過分散式檔案系統 HDFS 解決，對於 key value 型別的資料，可通過 HBase 和 Redis 等方案解決，對於全文檢索場景，可通過搜尋引擎如 ElasticSearch 解決，對於多維分析場景，可通過 Kylin 或 Druid 等方案解決。

當然，引入更多元件同時會提高系統的複雜度，不同的元件儲存的資料需要同步，需要考慮一致性的問題，需要有更多的運維手段來管理這些元件等。

引入更多元件解決了豐富的需求，業務維度能夠極大擴充，隨之而來的是一個應用中包含了太多的業務程式碼，業務的升級迭代變得困難

3.11 第十次演進：大應用拆分為小應用

按照業務板塊來劃分應用程式碼，使單個應用的職責更清晰，相互之間可以做到獨立升級迭代。這時候應用之間可能會涉及到一些公共配置，可以通過分散式配置中心 Zookeeper 來解決。

不同應用之間存在共用的模組，由應用單獨管理會導致相同程式碼存在多份，導致公共功能升級時全部應用程式碼都要跟著升級

3.12 第十一次演進：複用的功能抽離成微服務

如使用者管理、訂單、支付、鑑權等功能在多個應用中都存在，那麼可以把這些功能的程式碼單獨抽取出來形成一個單獨的服務來管理，這樣的服務就是所謂的微服務，應用和服務之間通過 HTTP、TCP 或 RPC 請求等多種方式來訪問公共服務，每個單獨的服務都可以由單獨的團隊來管理。此外，可以通過 Dubbo、SpringCloud 等框架實現服務治理、限流、熔斷、降級等功能，提高服務的穩定性和可用性。

不同服務的介面訪問方式不同，應用程式碼需要適配多種訪問方式才能使用服務，此外，應用訪問服務，服務之間也可能相互訪問，呼叫鏈將會變得非常複雜，邏輯變得混亂

3.13 第十二次演進：引入企業服務匯流排 ESB 遮蔽服務介面的訪問差異

通過 ESB 統一進行訪問協議轉換，應用統一通過 ESB 來訪問後端服務，服務與服務之間也通過 ESB 來相互呼叫，以此降低系統的耦合程度。這種單個應用拆分為多個應用，公共服務單獨抽取出來來管理，並使用企業訊息匯流排來解除服務之間耦合問題的架構，就是所謂的 SOA（面向服務）架構，這種架構與微服務架構容易混淆，因為表現形式十分相似。個人理解，微服務架構更多是指把系統裡的公共服務抽取出來單獨運維管理的思想，而 SOA 架構則是指一種拆分服務並使服務介面訪問變得統一的架構思想，SOA 架構中包含了微服務的思想。

業務不斷髮展，應用和服務都會不斷變多，應用和服務的部署變得複雜，同一臺伺服器上部署多個服務還要解決執行環境衝突的問題，此外，對於如大促這類需要動態擴縮容的場景，需要水平擴充套件服務的效能，就需要在新增的服務上準備執行環境，部署服務等，運維將變得十分困難

3.14 第十三次演進：引入容器化技術實現執行環境隔離與動態服務管理

目前最流行的容器化技術是 Docker，最流行的容器管理服務是 Kubernetes(K8S)，應用/服務可以打包為 Docker 映象，通過 K8S 來動態分發和部署映象。Docker 映象可理解為一個能執行你的應用/服務的最小的作業系統，裡面放著應用/服務的執行程式碼，執行環境根據實際的需要設定好。把整個“作業系統”打包為一個映象後，就可以分發到需要部署相關服務的機器上，直接啟動 Docker 映象就可以把服務起起來，使服務的部署和運維變得簡單。

在大促的之前，可以在現有的機器叢集上劃分出伺服器來啟動 Docker 映象，增強服務的效能，大促過後就可以關閉映象，對機器上的其他服務不造成影響（在 3.14 節之前，服務執行在新增機器上需要修改系統配置來適配服務，這會導致機器上其他服務需要的執行環境被破壞）。

使用容器化技術後服務動態擴縮容問題得以解決，但是機器還是需要公司自身來管理，在非大促的時候，還是需要閒置著大量的機器資源來應對大促，機器自身成本和運維成本都極高，資源利用率低

3.15 第十四次演進：以雲平臺承載系統

系統可部署到公有云上，利用公有云的海量機器資源，解決動態硬體資源的問題，在大促的時間段裡，在雲平臺中臨時申請更多的資源，結合 Docker 和 K8S 來快速部署服務，在大促結束後釋放資源，真正做到按需付費，資源利用率大大提高，同時大大降低了運維成本。

所謂的雲平臺，就是把海量機器資源，通過統一的資源管理，抽象為一個資源整體，在之上可按需動態申請硬體資源（如 CPU、記憶體、網路等），並且之上提供通用的作業系統，提供常用的技術元件（如 Hadoop 技術棧，MPP 資料庫等）供使用者使用，甚至提供開發好的應用，使用者不需要關係應用內部使用了什麼技術，就能夠解決需求（如音影片轉碼服務、郵件服務、個人部落格等）。在雲平臺中會涉及如下幾個概念：

• IaaS：基礎設施即服務。對應於上面所說的機器資源統一為資源整體，可動態申請硬體資源的層面；

• PaaS：平臺即服務。對應於上面所說的提供常用的技術元件方便系統的開發和維護；

• SaaS：軟體即服務。對應於上面所說的提供開發好的應用或服務，按功能或效能要求付費。

至此，以上所提到的從高併發訪問問題，到服務的架構和系統實施的層面都有了各自的解決方案，但同時也應該意識到，在上面的介紹中，其實是有意忽略了諸如跨機房資料同步、分散式事務實現等等的實際問題，這些問題以後有機會再拿出來單獨討論

4. 架構設計總結

• 架構的調整是否必須按照上述演變路徑進行？不是的，以上所說的架構演變順序只是針對某個側面進行單獨的改進，在實際場景中，可能同一時間會有幾個問題需要解決，或者可能先達到瓶頸的是另外的方面，這時候就應該按照實際問題實際解決。如在政府類的併發量可能不大，但業務可能很豐富的場景，高併發就不是重點解決的問題，此時優先需要的可能會是豐富需求的解決方案。

• 對於將要實施的系統，架構應該設計到什麼程度？對於單次實施並且效能指標明確的系統，架構設計到能夠支援系統的效能指標要求就足夠了，但要留有擴充套件架構的介面以便不備之需。對於不斷髮展的系統，如電商平臺，應設計到能滿足下一階段使用者量和效能指標要求的程度，並根據業務的增長不斷的迭代升級架構，以支援更高的併發和更豐富的業務。

• 服務端架構和大資料架構有什麼區別？所謂的“大資料”其實是海量資料採集清洗轉換、資料儲存、資料分析、資料服務等場景解決方案的一個統稱，在每一個場景都包含了多種可選的技術，如資料採集有 Flume、Sqoop、Kettle 等，資料儲存有分散式檔案系統 HDFS、FastDFS，NoSQL 資料庫 HBase、MongoDB 等，資料分析有 Spark 技術棧、機器學習演算法等。總的來說大資料架構就是根據業務的需求，整合各種大資料元件組合而成的架構，一般會提供分散式儲存、分散式計算、多維分析、資料倉庫、機器學習演算法等能力。而服務端架構更多指的是應用組織層面的架構，底層能力往往是由大資料架構來提供。

• 有沒有一些架構設計的原則？

• N+1 設計。系統中的每個元件都應做到沒有單點故障；

• 回滾設計。確保系統可以向前相容，在系統升級時應能有辦法回滾版本；

• 禁用設計。應該提供控制具體功能是否可用的配置，在系統出現故障時能夠快速下線功能；

• 監控設計。在設計階段就要考慮監控的手段；

• 多活資料中心設計。若系統需要極高的高可用，應考慮在多地實施資料中心進行多活，至少在一個機房斷電的情況下系統依然可用；

• 採用成熟的技術。剛開發的或開源的技術往往存在很多隱藏的 bug，出了問題沒有商業支援可能會是一個災難；

• 資源隔離設計。應避免單一業務佔用全部資源；

• 架構應能水平擴充套件。系統只有做到能水平擴充套件，才能有效避免瓶頸問題；

• 非核心則購買。非核心功能若需要佔用大量的研發資源才能解決，則考慮購買成熟的產品；

• 使用商用硬體。商用硬體能有效降低硬體故障的機率；

• 快速迭代。系統應該快速開發小功能模組，儘快上線進行驗證，早日發現問題大大降低系統交付的風險；

• 無狀態設計。服務介面應該做成無狀態的，當前介面的訪問不依賴於介面上次訪問的狀態。