LVS負載均衡群集——NAT模式實操

語言: CN / TW / HK
時間 2022-10-13 07:15:09
主題:

群集概述

1.1 群集的含義

  • Cluster，叢集、群集
  • 由多臺主機構成，但對外只表現為一一個整體，只提供一-個訪問入口(域名或IP地址)， 相當於一臺大型計算機。

1.2 使用群集的原因

問題：

網際網路應用中，隨著站點對硬體效能、響應速度、服務穩定性、資料可靠性等要求越來越高，單臺伺服器已經無法滿足負載均衡及高可用的要求。

解決方法：

  • 使用價格昂貴的小型機、大型機。（縱向擴容）
  • 使用多臺相對廉價的普通伺服器構建服務群集。（橫向擴容）

LVS群集技術：

  • 在企業中常用的一種群集技術一LVS （Linux Virtual Server, Linux虛擬伺服器）
  • 通過整合多臺伺服器，使用LVS來達到伺服器的高可用和負載均衡，並以同一個IP地址對外提供相同的服務。

1.3 群集的目的

  • 提高效能：計算密集應用。如天氣預報，核試驗模擬。
  • 降低成本：相對百萬美元的超級計算機，價格便宜。
  • 提高可擴充套件性：只要增加叢集節點即可。
  • 增強可靠性：多個節點完成相同功能，避免單點失敗。

二、企業群集分類

根據群集所針對的目標差異，可分為三種類型：

  • 負載均衡群集
  • 高可用群集
  • 高效能運算群集

2.1 負載均衡群集（Load Balance Cluster）

  • 提高應用系統的響應能力、儘可能處理更多的訪問請求、減少延遲為目標，獲得高併發、負載(LB)的整體效能；
  • LB的負載分配依賴於主節點的分流演算法，將來自客戶機的訪問請求分擔給多個伺服器節點，從而緩解整個系統的負載壓力。例如，“DNS輪詢”、“反向代理” 等。

2.2 高可用群集（High Availability Cluster）

  • 提高應用系統的可靠性、儘可能地減少中斷時間為目標，確保服務的連續性，達到高可用(HA) 的容錯效果。
  • HA的工作方式包括雙工和主從兩種模式，雙工即所有節點同時線上；主從則只有主節點線上，但當出現故障時從節點能自動切換為主節點。例如，“故障切換” 、“雙機熱備” 等。

2.3 高效能運算群集（High Performance Computer Cluster）

  • 以提高應用系統的CPU運算速度、擴充套件硬體資源和分析能力為目標，獲得相當於大型、超級計算機的高效能運算（HPC）能力。
  • 高效能依賴於"分散式運算”、 “平行計算”，通過專用硬體和軟體將多個伺服器的CPU、記憶體等資源整合在一起，實現只有大型、超級計算機才具備的計算能力。例如，'雲端計算”、 “網格計算”等。

三、負載均衡群集

3.1 負載均衡群集架構

第一層，負載排程器(Load Balancer或Director) 負載均衡層

訪問整個群集系統的唯一入口，對外使用所有伺服器共有的VIP地址，也稱為群集 IP地址。通常會配置主、備兩臺排程器實現熱備份，當主排程器失效以後能夠平滑 替換至備用排程器，確保高可用性。

第二層，伺服器池(Server Pool) WEB應用層

群集所提供的應用服務、由伺服器池承擔，其中每個節點具有獨立的RIP地址(真 實IP)，只處理排程器分發過來的客戶機請求。當某個節點暫時失效時，負載排程 器的容錯機制會將其隔離，等待錯誤排除以後再重新納入伺服器池。

第三層，共享儲存(Share Storage) 確保多臺伺服器使用的是相同的資源

為伺服器池中的所有節點提供穩定、一致的檔案存取服務，確保整個群集的統一性 共享儲存可以使用NAS裝置，或者提供NFS共享服務的專用伺服器。

（因為節點伺服器的資源都是由NAS或NFS提供，所以NAS或NFS需要做主備、或分散式，從而實現高可用。）

1.png

3.2 負載均衡群集的工作模式

負載均衡群集是目前企業用得最多的群集型別。

群集的負載排程技術有三種工作模式：

  • 1、地址轉換（NAT模式）
  • 2、IP隧道（IP-TUN）
  • 3、直接路由（DR模式）

通常使用 NAT和DR，使用最多的是DR模式。

3.2.1 NAT模式（地址轉換）

地址轉換

  • Network Address Translation，簡稱NAT模式
  • 類似於防火牆的私有網路結構，負載排程器作為所有伺服器節點的閘道器，即作為客戶機 的訪問入口，也是各節點回應客戶機的訪問出口。
  • 伺服器節點使用私有IP地址，與負載排程器位於同一個物理網路，安全性要優於其他兩 種方式。
  • 缺點：由於NAT的負載均衡器既作為使用者的訪問請求入口，也作為節點伺服器響應請求的出口，承載兩個方向的壓力，排程器的效能會成為整個叢集的瓶頸。

工作模式-NAT.png

3.2.2 TUN模式（IP隧道）

IP隧道：

  • IP Tunnel ，簡稱TUN模式。
  • 採用開放式的網路結構，負載排程器僅作為客戶機的訪問入口，各節點通過各自的Internet連線直接回應客戶機，而不再經過負載排程器。承載的壓力比NAT小。
  • 伺服器節點分散在網際網路中的不同位置，具有獨立的公網IP地址，通過專用IP隧道與負載排程器相互通訊。
  • 缺點：成本很高。
  • 這種模式一般應用於特殊場景，比如將節點伺服器分佈在全國各地，防止被物理攻擊（如地震、戰爭等），做災備。

工作模式-TUN.png

3.2.3 DR模式（直接路由）

直接路由：

  • Direct Routing，簡稱DR模式。
  • 採用半開放式的網路結構，與TUN模式的結構類似，負載排程器僅作為客戶機的訪問入口，各節點通過各自的Internet連線直接回應客戶機，而不再經過負載排程器。承載的壓力比NAT小。
  • 但各節點並不是分散在各地，而是與排程器位於同一個物理網路。
  • 負載排程器與各節點伺服器通過本地網路連線，不需要建立專用的IP隧道。

工作模式-DR.png

四、LVS虛擬伺服器

4.1 LVS虛擬伺服器簡介

Linux Virtual Server：

  • 針對Linux核心開發的負載均衡
  • 1998年5月，由我國的章文嵩博士建立
  • 官方網站：www.linuxvirtualserver.org/
  • LVS實際上相當於基於IP地址的虛擬化應用，為基於IP地址和內容請求分發的負載均衡提出來一種高效的解決方法

4.2 LVS相關術語

DS：Director Server。指的是前端負載均衡器。

RS：Real Server。節點伺服器，後端真實的工作伺服器。

VIP：向外部直接面向用戶請求，作為使用者請求的目標的IP地址。

DIP：Director Server IP，主要用於和內部主機通訊的IP地址。

RIP：Real Server IP，後端伺服器的IP地址。

CIP：Client IP，訪問客戶端的IP地址。

4.2 LVS的負載排程演算法

（1）固定排程演算法：rr, wrr， dh，sh

rr：輪詢演算法（Round Robin）

  • 將請求依次分配給不同的RS節點，即RS節點中均攤分配。適合於RS所有節點處理效能接近的情況。
  • 將收到的訪問請求安裝順序輪流分配給群集指定各節點（真實伺服器），均等地對待每一臺伺服器，而不管伺服器實際的連線數和系統負載。

wrr：加權輪詢排程（Weighted Round Robin）

  • 依據不同RS的權重值分配任務。權重值較高的RS將優先獲得任務，並且分配到的連線數將比權值低的RS更多。相同權值的RS得到相同數目的連線數。
  • 保證效能強的伺服器承擔更多的訪問流量。

dh：目的地址雜湊排程（destination hashing）

  • 以目的地址為關鍵字查詢一個靜態hash表來獲得所需RS。

sh：源地址雜湊排程（source hashing）

  • 以源地址為關鍵字查詢--個靜態hash表來獲得需要的RS。

（2）動態排程演算法： wlc，lc，1blc

lc：最小連線數排程（ Least Connections）

  • ipvs表儲存了所有活動的連線。LB會比較將連線請求傳送到當前連線最少的RS。
  • 根據真實伺服器已建立的連線數進行分配，將收到的訪問請求優先分配給連線數最少的節點。

wlc：加權最小連線數排程（Weighted Least Connections）

  • 假設各臺RS的權值依次為Wi，當前tcp連線數依次為Ti，依次取Ti/Wi為最小的RS作為下一個分配的RS。
  • 在伺服器節點的效能差異較大時，可以為真實伺服器自動調整權重。
  • 效能較高的節點將承擔更大比例的活動連線負載。

lblc：基於地址的最小連線數排程(locality-based least-connection)

  • 將來自同一個目的地址的請求分配給同一-臺RS，此時這臺伺服器是尚未滿負荷的。否則就將這個請求分配給連線數最小的RS，並以它作為下一次分配的首先考慮。

4.3 載入 ip_vs 通用模組

LVS現在已成為 Linux 核心的一部分，預設編譯為 ip_vs 模組，必要時能夠自動調動。

在CentOS 7 系統中，手動載入 ip_vs 模組的命令如下：

modprobe ip_vs     //手動載入 ip_vs 模組  ​  cat /proc/net/ip_vs   //檢視當前系統中ip_vs模組的版本資訊 複製程式碼

4.4 載入 LVS 所有的負載排程演算法

LVS 所有的負載排程演算法檔案在 /usr/lib/modules/3.10.0-693.el7.x86_64/kernel/net/netfilter/ipvs/ 目錄下：

[root@zzl ipvs]# pwd  /usr/lib/modules/3.10.0-693.el7.x86_64/kernel/net/netfilter/ipvs  [root@zzl ipvs]# ls  ip_vs_dh.ko.xz     ip_vs_lc.ko.xz     ip_vs_sh.ko.xz  ip_vs_ftp.ko.xz   ip_vs_nq.ko.xz     ip_vs_wlc.ko.xz  ip_vs.ko.xz       ip_vs_pe_sip.ko.xz ip_vs_wrr.ko.xz  ip_vs_lblc.ko.xz   ip_vs_rr.ko.xz  ip_vs_lblcr.ko.xz ip_vs_sed.ko.xz

20221012092113.png

載入所有的負載排程演算法：

[root@zzl ipvs]# ls | grep -o "^[^.]*" //過濾出所有排程演算法的名稱  ip_vs_dh  ip_vs_ftp  ip_vs  ip_vs_lblc  ip_vs_lblcr  ip_vs_lc  ip_vs_nq  ip_vs_pe_sip  ip_vs_rr  ip_vs_sed  ip_vs_sh  ip_vs_wlc  ip_vs_wrr  [root@zzl ipvs]# for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modF filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done  ip_vs_dh  ip_vs_ftp  ip_vs  ip_vs_lblc  ip_vs_lblcr  ip_vs_lc  ip_vs_nq  ip_vs_pe_sip  ip_vs_rr  ip_vs_sed  ip_vs_sh  ip_vs_wlc  ip_vs_wrr 可以將載入排程演算法的命令寫入指令碼中：

#!/bin/bash  a=$(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*")  ​  for i in $a  do     echo $i     #檢視單個模組的詳細資訊     /sbin/modinfo -F filename $i >/dev/null 2>&1     #載入演算法模組     /sbin/modprobe $i  done

ipvsadm工具

ipvsadm是一個工具，同時它也是一條命令，用於管理LVS的策略規則。

ipvsadm是ipvs的管理器，需要yum安裝。

ipvsadm工具的作用：

LVS群集建立與管理：

  • 建立虛擬伺服器
  • 新增、刪除伺服器節點
  • 檢視群集及節點情況
  • 儲存負載分配策略

ipvsadm 命令選項說明：

| 選項 | 功能 | | ----- | -------------------------------------------------- | | -A | 新增虛擬伺服器 | | -D | 刪除整個虛擬伺服器 | | -s | 指定負載排程演算法(輪詢: rr、加權輪詢: wrr、 最少連線: lc、 加權最少連線: wlc) | | -a | 表示新增真實伺服器(節點伺服器) | | -t | 指定VIP地址及TCP埠 （排程器使用） | | -r | 指定RIP地址及TCP埠 （節點伺服器使用） | | -m | 表示使用NAT群集模式 | | -g | 表示使用DR模式 | | -i | 表示使用TUN模式 | | -w | 設定權重（權重為0時表示暫停節點） ，預設值為1 | | -p 60 | 表示保持長連線60秒。預設值就是60秒。 | | -l | 列表檢視LVS虛擬伺服器（預設為檢視所有） | | -n | 以數字形式顯示地址、埠等資訊，常與“-l”選項組合使用。-l需要在-n之前。ipvsadm -ln |

六、LVS-NAT模式操作例項

實驗內容：

LVS排程器作為Web伺服器池的閘道器，LVS兩塊網絡卡，分別連線內外網，使用輪詢（rr）排程演算法。

實驗環境：

一臺NFS伺服器： 192.168.72.192/24

兩臺WEB伺服器： 192.168.72.30/24，192.168.72.40/24

一臺LVS負載排程伺服器（2塊網絡卡）： 內網192.168.72.10/24（ens33)，外網12.0.0.254/24（ens36）

win10 客戶機： 12.0.0.200/24

6.1 部署NFS共享儲存服務(NFS伺服器：192.168.72.192/24)

#1、關閉防火牆  [root@nfs ~]# systemctl disable --now firewalld  [root@nfs ~]# setenforce 0  ​  #2、安裝nfs-utils、rpcbind軟體包  [root@nfs ~]# yum install nfs-utils rpcbind -y  ​  #3、新建共享目錄，並建立站點檔案  [root@nfs ~]# mkdir /share/  [root@nfs ~]# cd /share/  [root@nfs share]# mkdir tt nn  [root@nfs share]# echo "tt is a girl" > tt/index.html  [root@nfs share]# echo "nn is a boy" > nn/index.html  ​  #4、修改共享配置檔案，設定共享策略  [root@nfs share]# pwd   /share  [root@nfs share]# vim /etc/exports  /share/tt  192.168.72.0/24  /share/nn  192.168.72.0/24  ​  #5、啟動兩個服務，檢視本機的NFS共享目錄  [root@nfs share]# systemctl start rpcbind  [root@nfs share]# systemctl start nfs  [root@nfs share]# showmount -e        //檢視本機發布的NFS共享目錄

20221012095314.png

20221012095407.png

20221012095534.png

20221012095646.png

部署兩臺WEB伺服器（節點伺服器）

第一臺web伺服器（192.168.72.30/24）

#1、關閉防火牆  [root@web1 ~]# systemctl stop firewalld  [root@web1 ~]# setenforce 0    #2、安裝httpd  [root@web1 ~]# yum install -y httpd    #3、檢視nfs伺服器的共享資訊  [root@web1 ~]# showmount -e 192.168.72.192  Export list for 192.168.72.192:  /share/nn 192.168.72.0/24  /share/tt 192.168.72.0/24  showmount -e 192.168.72.192  ​  #4、掛載站點。將NFS伺服器的共享目錄/share/tt/，掛載到httpd服務的根目錄  #法一：臨時掛載  [root@web1 ~]# mount 192.168.72.192:/share/tt/ /var/www/html  [root@web1 ~]# df           //檢視掛載是否成功  [root@web1 ~]# cat /var/www/html/index.html //檢視站點檔案  tt is a girl  ​  #法二：永久掛載  vim /etc/fstab  192.168.72.192:/share/tt/ /var/www/html/       nfs     defaults,_netdev 0 0  mount -a      #5、指定閘道器，閘道器地址設定為負載排程器的內網地址  [root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33  GATEWAY=192.168.72.10  #DNS1=8.8.8.8    #6、重啟網路服務，開啟httpd服務  [root@web1 ~]# systemctl restart network  [root@web1 ~]# systemctl start httpd

20221012095951.png

20221012100045.png

20221012100243.png

20221012100447.png

20221012101211.png

第二臺web伺服器（192.168.72.40/24）

#1、指定閘道器，閘道器地址設定為負載排程器的內網地址  [root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33  GATEWAY=192.168.72.10  #DNS1=8.8.8.8  [root@web2 ~]# systemctl restart network  ​  #2、關閉防火牆  [root@web2 ~]# systemctl stop firewalld  [root@web2 ~]# setenforce 0  ​  #3、安裝httpd  [root@web2 ~]# yum install -y httpd      #4、檢視nfs伺服器的共享資訊  [root@web1 ~]# showmount -e 192.168.72.192  Export list for 192.168.72.192:  /share/nn 192.168.72.0/24  /share/tt 192.168.72.0/24  showmount -e 192.168.72.192    5. #掛載NFS的共享目錄  #法一：臨時掛載  [root@web2 ~]# mount 192.168.72.192:/share/nn/ /var/www/html  [root@web2 ~]# df           //檢視掛載是否成功  [root@web2 ~]# cat /var/www/html/index.html  nn is a boy  ​  #法二：永久掛載  vim /etc/fstab  192.168.72.192:/share/nn/ /var/www/html/       nfs     defaults,_netdev 0 0  mount -a      6. #開啟httpd服務  [root@web1 ~]# systemctl start httpd

20221012101640.png

20221012101740.png

20221012101858.png

20221012105806.png

部署LVS負載排程伺服器

內網網絡卡：192.168.72.10（ens33） ，外網網絡卡：12.0.0.254（ens36）

```  #1、新增一塊網絡卡，我這裡是ens36，配置網絡卡，重啟網路  [root@www ~]# cd /etc/sysconfig/network-scripts/  [root@www network-scripts]# vim ifcfg-ens33  #GATEWAY=192.168.72.2     //將網絡卡和DNS伺服器地址註釋掉  #DNS1=8.8.8.8  [root@www network-scripts]# cp ifcfg-ens33 ifcfg-ens36  [root@www network-scripts]# vim ifcfg-ens36  IPADDR=12.0.0.254       //設定IP地址  NETMASK=255.255.255.0  #GATEWAY=192.168.72.2  #DNS1=8.8.8.8  [root@www network-scripts]# systemctl restart network  ​  #2、關閉防火牆  [root@www ~]# systemctl stop firewalld  [root@www ~]# setenforce 0  ​  #3、開啟路由轉發功能  [root@www ~]# vim /etc/sysctl.conf  net.ipv4.ip_forward = 1   //新增這一行  [root@www ~]# sysctl -p         //讀取修改後的配置  net.ipv4.ip_forward = 1  ​  #4、配置SNAT策略（如果內網想主動連線外網的話，需要配置SNAT策略）  [root@www ~]# iptables -t nat -F  [root@www ~]# iptables -t nat -A POSTROUTING -s 192.168.72.0/24 -o ens36 -j SNAT --to 12.0.0.254  [root@www ~]# iptables -nL POSTROUTING -t nat  ​  #5、載入LVS核心模組  [root@www ~]# modprobe ip_vs         //載入ip_vs模組  [root@www ~]# cat /proc/net/ip_vs   //檢視ip_vs模組的版本  #載入LVS所有排程演算法  [root@www ~]# for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done  ​  #6、安裝ipvsadm管理工具，開啟服務  [root@www ~]# mount /dev/sr0 /mnt  [root@www ~]# yum install -y ipvsadm #開啟服務前必須儲存負載分配策略，生成/etc/sysconfig/ipvsadm檔案。如果該檔案不存在，服務無法啟動。  [root@www ~]# ipvsadm-save >/etc/sysconfig/ipvsadm  [root@www ~]# systemctl start ipvsadm.service  ​  #7、配置負載分配策略（NAT模式只需要在負載器上配置，節點伺服器不需要特殊配置）  [root@www ~]# ipvsadm -C   //清空原有規則

#指定指定VIP地址及TCP埠，-s rr 指定負載排程策略為輪詢  [root@www ~]# ipvsadm -A -t 12.0.0.254:80 -s rr

#先指定虛擬伺服器再新增真實伺服器地址，-r指定真實伺服器地址，-m指定nat模式。-w指定權重值，權重為1時可省略不寫  [root@www ~]# ipvsadm -a -t 12.0.0.254:80 -r 192.168.72.30:80 -m -w 1
 [root@www ~]# ipvsadm -a -t 12.0.0.254:80 -r 192.168.72.40:80 -m -w 1  [root@www ~]# ipvsadm     //檢視策略  IP Virtual Server version 1.2.1 (size=4096)  Prot LocalAddress:Port Scheduler Flags    -> RemoteAddress:Port           Forward Weight ActiveConn InActConn  TCP localhost.localdomain:http rr    -> 192.168.72.30:http           Masq    1      0          0    -> 192.168.72.40:http           Masq    1      0          0  [root@www ~]# ipvsadm-save >/etc/sysconfig/ipvsadm   //儲存負載分配策略 [root@www ~]# ipvsadm -ln //以數字形式檢視策略，Masq表示NAT模式 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 12.0.0.254:80 rr -> 192.168.72.30:80 Masq 1 0 0 -> 192.168.72.40:80 Masq 1 0 0 ```

20221012110324.png

20221012110217.png

20221012110526.png

20221012110624.png

20221012110800.png

20221012111043.png

20221012111339.png

20221012111444.png

20221012111648.png

20221012112438.png

win10客戶機訪問測試

win10客戶機，閘道器地址設定為負載排程器的外網IP。

瀏覽器訪問負載排程器的外網IP地址12.0.0.254。

「」