LVS負載均衡群集——NAT模式實操

語言: CN / TW / HK

群集概述

1.1 群集的含義

  • Cluster,叢集、群集
  • 由多臺主機構成,但對外只表現為一一個整體,只提供一-個訪問入口(域名或IP地址), 相當於一臺大型計算機。

1.2 使用群集的原因

問題:

網際網路應用中,隨著站點對硬體效能、響應速度、服務穩定性、資料可靠性等要求越來越高,單臺伺服器已經無法滿足負載均衡及高可用的要求。

解決方法:

  • 使用價格昂貴的小型機、大型機。(縱向擴容)
  • 使用多臺相對廉價的普通伺服器構建服務群集。(橫向擴容)

LVS群集技術:

  • 在企業中常用的一種群集技術一LVS (Linux Virtual Server, Linux虛擬伺服器)
  • 通過整合多臺伺服器,使用LVS來達到伺服器的高可用和負載均衡,並以同一個IP地址對外提供相同的服務。

1.3 群集的目的

  • 提高效能:計算密集應用。如天氣預報,核試驗模擬。
  • 降低成本:相對百萬美元的超級計算機,價格便宜。
  • 提高可擴充套件性:只要增加叢集節點即可。
  • 增強可靠性:多個節點完成相同功能,避免單點失敗。

二、企業群集分類

根據群集所針對的目標差異,可分為三種類型:

  • 負載均衡群集
  • 高可用群集
  • 高效能運算群集

2.1 負載均衡群集(Load Balance Cluster)

  • 提高應用系統的響應能力、儘可能處理更多的訪問請求、減少延遲為目標,獲得高併發、負載(LB)的整體效能;
  • LB的負載分配依賴於主節點的分流演算法,將來自客戶機的訪問請求分擔給多個伺服器節點,從而緩解整個系統的負載壓力。例如,“DNS輪詢”、“反向代理” 等。

2.2 高可用群集(High Availability Cluster)

  • 提高應用系統的可靠性、儘可能地減少中斷時間為目標,確保服務的連續性,達到高可用(HA) 的容錯效果。
  • HA的工作方式包括雙工主從兩種模式,雙工即所有節點同時線上;主從則只有主節點線上,但當出現故障時從節點能自動切換為主節點。例如,“故障切換” 、“雙機熱備” 等。

2.3 高效能運算群集(High Performance Computer Cluster)

  • 以提高應用系統的CPU運算速度、擴充套件硬體資源和分析能力為目標,獲得相當於大型、超級計算機的高效能運算(HPC)能力。
  • 高效能依賴於"分散式運算”、 “平行計算”,通過專用硬體和軟體將多個伺服器的CPU、記憶體等資源整合在一起,實現只有大型、超級計算機才具備的計算能力。例如,'雲端計算”、 “網格計算”等。

三、負載均衡群集

3.1 負載均衡群集架構

第一層,負載排程器(Load Balancer或Director) 負載均衡層

訪問整個群集系統的唯一入口,對外使用所有伺服器共有的VIP地址,也稱為群集 IP地址。通常會配置主、備兩臺排程器實現熱備份,當主排程器失效以後能夠平滑 替換至備用排程器,確保高可用性。

第二層,伺服器池(Server Pool) WEB應用層

群集所提供的應用服務、由伺服器池承擔,其中每個節點具有獨立的RIP地址(真 實IP),只處理排程器分發過來的客戶機請求。當某個節點暫時失效時,負載排程 器的容錯機制會將其隔離,等待錯誤排除以後再重新納入伺服器池。

第三層,共享儲存(Share Storage) 確保多臺伺服器使用的是相同的資源

為伺服器池中的所有節點提供穩定、一致的檔案存取服務,確保整個群集的統一性 共享儲存可以使用NAS裝置,或者提供NFS共享服務的專用伺服器。

(因為節點伺服器的資源都是由NAS或NFS提供,所以NAS或NFS需要做主備、或分散式,從而實現高可用。)

1.png

3.2 負載均衡群集的工作模式

負載均衡群集是目前企業用得最多的群集型別。

群集的負載排程技術有三種工作模式:

  • 1、地址轉換(NAT模式)
  • 2、IP隧道(IP-TUN)
  • 3、直接路由(DR模式)

通常使用 NAT和DR,使用最多的是DR模式。

3.2.1 NAT模式(地址轉換

地址轉換

  • Network Address Translation,簡稱NAT模式
  • 類似於防火牆的私有網路結構,負載排程器作為所有伺服器節點的閘道器,即作為客戶機 的訪問入口,也是各節點回應客戶機的訪問出口。
  • 伺服器節點使用私有IP地址,與負載排程器位於同一個物理網路,安全性要優於其他兩 種方式。
  • 缺點:由於NAT的負載均衡器既作為使用者的訪問請求入口,也作為節點伺服器響應請求的出口,承載兩個方向的壓力,排程器的效能會成為整個叢集的瓶頸。

工作模式-NAT.png

3.2.2 TUN模式(IP隧道)

IP隧道:

  • IP Tunnel ,簡稱TUN模式。
  • 採用開放式的網路結構,負載排程器僅作為客戶機的訪問入口,各節點通過各自的Internet連線直接回應客戶機,而不再經過負載排程器。承載的壓力比NAT小。
  • 伺服器節點分散在網際網路中的不同位置,具有獨立的公網IP地址,通過專用IP隧道與負載排程器相互通訊。
  • 缺點:成本很高。
  • 這種模式一般應用於特殊場景,比如將節點伺服器分佈在全國各地,防止被物理攻擊(如地震、戰爭等),做災備。

工作模式-TUN.png

3.2.3 DR模式(直接路由)

直接路由:

  • Direct Routing,簡稱DR模式。
  • 採用半開放式的網路結構,與TUN模式的結構類似,負載排程器僅作為客戶機的訪問入口,各節點通過各自的Internet連線直接回應客戶機,而不再經過負載排程器。承載的壓力比NAT小。
  • 但各節點並不是分散在各地,而是與排程器位於同一個物理網路。
  • 負載排程器與各節點伺服器通過本地網路連線,不需要建立專用的IP隧道。

工作模式-DR.png

四、LVS虛擬伺服器

4.1 LVS虛擬伺服器簡介

Linux Virtual Server:

  • 針對Linux核心開發的負載均衡
  • 1998年5月,由我國的章文嵩博士建立
  • 官方網站:www.linuxvirtualserver.org/
  • LVS實際上相當於基於IP地址的虛擬化應用,為基於IP地址和內容請求分發的負載均衡提出來一種高效的解決方法

4.2 LVS相關術語

DS:Director Server。指的是前端負載均衡器。

RS:Real Server。節點伺服器,後端真實的工作伺服器。

VIP:向外部直接面向用戶請求,作為使用者請求的目標的IP地址。

DIP:Director Server IP,主要用於和內部主機通訊的IP地址。

RIP:Real Server IP,後端伺服器的IP地址。

CIP:Client IP,訪問客戶端的IP地址。

4.2 LVS的負載排程演算法

(1)固定排程演算法:rr, wrr, dh,sh

rr:輪詢演算法(Round Robin)

  • 將請求依次分配給不同的RS節點,即RS節點中均攤分配。適合於RS所有節點處理效能接近的情況。
  • 將收到的訪問請求安裝順序輪流分配給群集指定各節點(真實伺服器),均等地對待每一臺伺服器,而不管伺服器實際的連線數和系統負載。

wrr:加權輪詢排程(Weighted Round Robin)

  • 依據不同RS的權重值分配任務。權重值較高的RS將優先獲得任務,並且分配到的連線數將比權值低的RS更多。相同權值的RS得到相同數目的連線數。
  • 保證效能強的伺服器承擔更多的訪問流量。

dh:目的地址雜湊排程(destination hashing)

  • 以目的地址為關鍵字查詢一個靜態hash表來獲得所需RS。

sh:源地址雜湊排程(source hashing)

  • 以源地址為關鍵字查詢--個靜態hash表來獲得需要的RS。

(2)動態排程演算法: wlc,lc,1blc

lc:最小連線數排程( Least Connections)

  • ipvs表儲存了所有活動的連線。LB會比較將連線請求傳送到當前連線最少的RS。
  • 根據真實伺服器已建立的連線數進行分配,將收到的訪問請求優先分配給連線數最少的節點。

wlc:加權最小連線數排程(Weighted Least Connections)

  • 假設各臺RS的權值依次為Wi,當前tcp連線數依次為Ti,依次取Ti/Wi為最小的RS作為下一個分配的RS。
  • 在伺服器節點的效能差異較大時,可以為真實伺服器自動調整權重。
  • 效能較高的節點將承擔更大比例的活動連線負載。

lblc:基於地址的最小連線數排程(locality-based least-connection)

  • 將來自同一個目的地址的請求分配給同一-臺RS,此時這臺伺服器是尚未滿負荷的。否則就將這個請求分配給連線數最小的RS,並以它作為下一次分配的首先考慮。

4.3 載入 ip_vs 通用模組

LVS現在已成為 Linux 核心的一部分,預設編譯為 ip_vs 模組,必要時能夠自動調動。

在CentOS 7 系統中,手動載入 ip_vs 模組的命令如下:

modprobe ip_vs     //手動載入 ip_vs 模組  ​  cat /proc/net/ip_vs   //檢視當前系統中ip_vs模組的版本資訊 複製程式碼

4.4 載入 LVS 所有的負載排程演算法

LVS 所有的負載排程演算法檔案在 /usr/lib/modules/3.10.0-693.el7.x86_64/kernel/net/netfilter/ipvs/ 目錄下:

[[email protected] ipvs]# pwd  /usr/lib/modules/3.10.0-693.el7.x86_64/kernel/net/netfilter/ipvs  [[email protected] ipvs]# ls  ip_vs_dh.ko.xz     ip_vs_lc.ko.xz     ip_vs_sh.ko.xz  ip_vs_ftp.ko.xz   ip_vs_nq.ko.xz     ip_vs_wlc.ko.xz  ip_vs.ko.xz       ip_vs_pe_sip.ko.xz ip_vs_wrr.ko.xz  ip_vs_lblc.ko.xz   ip_vs_rr.ko.xz  ip_vs_lblcr.ko.xz ip_vs_sed.ko.xz

20221012092113.png

載入所有的負載排程演算法:

[[email protected] ipvs]# ls | grep -o "^[^.]*" //過濾出所有排程演算法的名稱  ip_vs_dh  ip_vs_ftp  ip_vs  ip_vs_lblc  ip_vs_lblcr  ip_vs_lc  ip_vs_nq  ip_vs_pe_sip  ip_vs_rr  ip_vs_sed  ip_vs_sh  ip_vs_wlc  ip_vs_wrr  [[email protected] ipvs]# for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modF filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done  ip_vs_dh  ip_vs_ftp  ip_vs  ip_vs_lblc  ip_vs_lblcr  ip_vs_lc  ip_vs_nq  ip_vs_pe_sip  ip_vs_rr  ip_vs_sed  ip_vs_sh  ip_vs_wlc  ip_vs_wrr 可以將載入排程演算法的命令寫入指令碼中:

#!/bin/bash  a=$(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*")  ​  for i in $a  do     echo $i     #檢視單個模組的詳細資訊     /sbin/modinfo -F filename $i >/dev/null 2>&1     #載入演算法模組     /sbin/modprobe $i  done

ipvsadm工具

ipvsadm是一個工具,同時它也是一條命令,用於管理LVS的策略規則。

ipvsadm是ipvs的管理器,需要yum安裝。

ipvsadm工具的作用:

LVS群集建立與管理:

  • 建立虛擬伺服器
  • 新增、刪除伺服器節點
  • 檢視群集及節點情況
  • 儲存負載分配策略

ipvsadm 命令選項說明:

| 選項 | 功能 | | ----- | -------------------------------------------------- | | -A | 新增虛擬伺服器 | | -D | 刪除整個虛擬伺服器 | | -s | 指定負載排程演算法(輪詢: rr、加權輪詢: wrr、 最少連線: lc、 加權最少連線: wlc) | | -a | 表示新增真實伺服器(節點伺服器) | | -t | 指定VIP地址及TCP埠 (排程器使用) | | -r | 指定RIP地址及TCP埠 (節點伺服器使用) | | -m | 表示使用NAT群集模式 | | -g | 表示使用DR模式 | | -i | 表示使用TUN模式 | | -w | 設定權重(權重為0時表示暫停節點) ,預設值為1 | | -p 60 | 表示保持長連線60秒。預設值就是60秒。 | | -l | 列表檢視LVS虛擬伺服器(預設為檢視所有) | | -n | 以數字形式顯示地址、埠等資訊,常與“-l”選項組合使用。-l需要在-n之前。ipvsadm -ln |

六、LVS-NAT模式操作例項

實驗內容:

LVS排程器作為Web伺服器池的閘道器,LVS兩塊網絡卡,分別連線內外網,使用輪詢(rr)排程演算法。

實驗環境:

一臺NFS伺服器: 192.168.72.192/24

兩臺WEB伺服器: 192.168.72.30/24,192.168.72.40/24

一臺LVS負載排程伺服器(2塊網絡卡): 內網192.168.72.10/24(ens33),外網12.0.0.254/24(ens36)

win10 客戶機: 12.0.0.200/24

6.1 部署NFS共享儲存服務(NFS伺服器:192.168.72.192/24)

#1、關閉防火牆  [[email protected] ~]# systemctl disable --now firewalld  [[email protected] ~]# setenforce 0  ​  #2、安裝nfs-utils、rpcbind軟體包  [[email protected] ~]# yum install nfs-utils rpcbind -y  ​  #3、新建共享目錄,並建立站點檔案  [[email protected] ~]# mkdir /share/  [[email protected] ~]# cd /share/  [[email protected] share]# mkdir tt nn  [[email protected] share]# echo "tt is a girl" > tt/index.html  [[email protected] share]# echo "nn is a boy" > nn/index.html  ​  #4、修改共享配置檔案,設定共享策略  [[email protected] share]# pwd   /share  [[email protected] share]# vim /etc/exports  /share/tt  192.168.72.0/24  /share/nn  192.168.72.0/24  ​  #5、啟動兩個服務,檢視本機的NFS共享目錄  [[email protected] share]# systemctl start rpcbind  [[email protected] share]# systemctl start nfs  [[email protected] share]# showmount -e        //檢視本機發布的NFS共享目錄

20221012095314.png

20221012095407.png

20221012095534.png

20221012095646.png

部署兩臺WEB伺服器(節點伺服器)

第一臺web伺服器(192.168.72.30/24)

#1、關閉防火牆  [[email protected] ~]# systemctl stop firewalld  [[email protected] ~]# setenforce 0    #2、安裝httpd  [[email protected] ~]# yum install -y httpd    #3、檢視nfs伺服器的共享資訊  [[email protected] ~]# showmount -e 192.168.72.192  Export list for 192.168.72.192:  /share/nn 192.168.72.0/24  /share/tt 192.168.72.0/24  showmount -e 192.168.72.192  ​  #4、掛載站點。將NFS伺服器的共享目錄/share/tt/,掛載到httpd服務的根目錄  #法一:臨時掛載  [[email protected] ~]# mount 192.168.72.192:/share/tt/ /var/www/html  [[email protected] ~]# df           //檢視掛載是否成功  [[email protected] ~]# cat /var/www/html/index.html //檢視站點檔案  tt is a girl  ​  #法二:永久掛載  vim /etc/fstab  192.168.72.192:/share/tt/ /var/www/html/       nfs     defaults,_netdev 0 0  mount -a      #5、指定閘道器,閘道器地址設定為負載排程器的內網地址  [[email protected] ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33  GATEWAY=192.168.72.10  #DNS1=8.8.8.8    #6、重啟網路服務,開啟httpd服務  [[email protected] ~]# systemctl restart network  [[email protected] ~]# systemctl start httpd

20221012095951.png

20221012100045.png

20221012100243.png

20221012100447.png

20221012101211.png

第二臺web伺服器(192.168.72.40/24)

#1、指定閘道器,閘道器地址設定為負載排程器的內網地址  [[email protected] ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33  GATEWAY=192.168.72.10  #DNS1=8.8.8.8  [[email protected] ~]# systemctl restart network  ​  #2、關閉防火牆  [[email protected] ~]# systemctl stop firewalld  [[email protected] ~]# setenforce 0  ​  #3、安裝httpd  [[email protected] ~]# yum install -y httpd      #4、檢視nfs伺服器的共享資訊  [[email protected] ~]# showmount -e 192.168.72.192  Export list for 192.168.72.192:  /share/nn 192.168.72.0/24  /share/tt 192.168.72.0/24  showmount -e 192.168.72.192    5. #掛載NFS的共享目錄  #法一:臨時掛載  [[email protected] ~]# mount 192.168.72.192:/share/nn/ /var/www/html  [[email protected] ~]# df           //檢視掛載是否成功  [[email protected] ~]# cat /var/www/html/index.html  nn is a boy  ​  #法二:永久掛載  vim /etc/fstab  192.168.72.192:/share/nn/ /var/www/html/       nfs     defaults,_netdev 0 0  mount -a      6. #開啟httpd服務  [[email protected] ~]# systemctl start httpd

20221012101640.png

20221012101740.png

20221012101858.png

20221012105806.png

部署LVS負載排程伺服器

內網網絡卡:192.168.72.10(ens33) ,外網網絡卡:12.0.0.254(ens36)

```  #1、新增一塊網絡卡,我這裡是ens36,配置網絡卡,重啟網路  [[email protected] ~]# cd /etc/sysconfig/network-scripts/  [[email protected] network-scripts]# vim ifcfg-ens33  #GATEWAY=192.168.72.2     //將網絡卡和DNS伺服器地址註釋掉  #DNS1=8.8.8.8  [[email protected] network-scripts]# cp ifcfg-ens33 ifcfg-ens36  [[email protected] network-scripts]# vim ifcfg-ens36  IPADDR=12.0.0.254       //設定IP地址  NETMASK=255.255.255.0  #GATEWAY=192.168.72.2  #DNS1=8.8.8.8  [[email protected] network-scripts]# systemctl restart network  ​  #2、關閉防火牆  [[email protected] ~]# systemctl stop firewalld  [[email protected] ~]# setenforce 0  ​  #3、開啟路由轉發功能  [[email protected] ~]# vim /etc/sysctl.conf  net.ipv4.ip_forward = 1   //新增這一行  [[email protected] ~]# sysctl -p         //讀取修改後的配置  net.ipv4.ip_forward = 1  ​  #4、配置SNAT策略(如果內網想主動連線外網的話,需要配置SNAT策略)  [[email protected] ~]# iptables -t nat -F  [[email protected] ~]# iptables -t nat -A POSTROUTING -s 192.168.72.0/24 -o ens36 -j SNAT --to 12.0.0.254  [[email protected] ~]# iptables -nL POSTROUTING -t nat  ​  #5、載入LVS核心模組  [[email protected] ~]# modprobe ip_vs         //載入ip_vs模組  [[email protected] ~]# cat /proc/net/ip_vs   //檢視ip_vs模組的版本  #載入LVS所有排程演算法  [[email protected] ~]# for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done  ​  #6、安裝ipvsadm管理工具,開啟服務  [[email protected] ~]# mount /dev/sr0 /mnt  [[email protected] ~]# yum install -y ipvsadm #開啟服務前必須儲存負載分配策略,生成/etc/sysconfig/ipvsadm檔案。如果該檔案不存在,服務無法啟動。  [[email protected] ~]# ipvsadm-save >/etc/sysconfig/ipvsadm  [[email protected] ~]# systemctl start ipvsadm.service  ​  #7、配置負載分配策略(NAT模式只需要在負載器上配置,節點伺服器不需要特殊配置)  [[email protected] ~]# ipvsadm -C   //清空原有規則

#指定指定VIP地址及TCP埠,-s rr 指定負載排程策略為輪詢  [[email protected] ~]# ipvsadm -A -t 12.0.0.254:80 -s rr

#先指定虛擬伺服器再新增真實伺服器地址,-r指定真實伺服器地址,-m指定nat模式。-w指定權重值,權重為1時可省略不寫  [[email protected] ~]# ipvsadm -a -t 12.0.0.254:80 -r 192.168.72.30:80 -m -w 1
 [[email protected] ~]# ipvsadm -a -t 12.0.0.254:80 -r 192.168.72.40:80 -m -w 1  [[email protected] ~]# ipvsadm     //檢視策略  IP Virtual Server version 1.2.1 (size=4096)  Prot LocalAddress:Port Scheduler Flags    -> RemoteAddress:Port           Forward Weight ActiveConn InActConn  TCP localhost.localdomain:http rr    -> 192.168.72.30:http           Masq    1      0          0    -> 192.168.72.40:http           Masq    1      0          0  [[email protected] ~]# ipvsadm-save >/etc/sysconfig/ipvsadm   //儲存負載分配策略 [[email protected] ~]# ipvsadm -ln //以數字形式檢視策略,Masq表示NAT模式 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 12.0.0.254:80 rr -> 192.168.72.30:80 Masq 1 0 0 -> 192.168.72.40:80 Masq 1 0 0 ```

20221012110324.png

20221012110217.png

20221012110526.png

20221012110624.png

20221012110800.png

20221012111043.png

20221012111339.png

20221012111444.png

20221012111648.png

20221012112438.png

win10客戶機訪問測試

win10客戶機,閘道器地址設定為負載排程器的外網IP。

瀏覽器訪問負載排程器的外網IP地址12.0.0.254。