LVS負載均衡羣集——NAT模式實操

語言: CN / TW / HK
時間 2022-10-13 07:15:09
主題:

羣集概述

1.1 羣集的含義

  • Cluster，集羣、羣集
  • 由多台主機構成，但對外只表現為一一個整體，只提供一-個訪問入口(域名或IP地址)， 相當於一台大型計算機。

1.2 使用羣集的原因

問題：

互聯網應用中，隨着站點對硬件性能、響應速度、服務穩定性、數據可靠性等要求越來越高，單台服務器已經無法滿足負載均衡及高可用的要求。

解決方法：

  • 使用價格昂貴的小型機、大型機。（縱向擴容）
  • 使用多台相對廉價的普通服務器構建服務羣集。（橫向擴容）

LVS羣集技術：

  • 在企業中常用的一種羣集技術一LVS （Linux Virtual Server, Linux虛擬服務器）
  • 通過整合多台服務器，使用LVS來達到服務器的高可用和負載均衡，並以同一個IP地址對外提供相同的服務。

1.3 羣集的目的

  • 提高性能：計算密集應用。如天氣預報，核試驗模擬。
  • 降低成本：相對百萬美元的超級計算機，價格便宜。
  • 提高可擴展性：只要增加集羣節點即可。
  • 增強可靠性：多個節點完成相同功能，避免單點失敗。

二、企業羣集分類

根據羣集所針對的目標差異，可分為三種類型：

  • 負載均衡羣集
  • 高可用羣集
  • 高性能運算羣集

2.1 負載均衡羣集（Load Balance Cluster）

  • 提高應用系統的響應能力、儘可能處理更多的訪問請求、減少延遲為目標，獲得高併發、負載(LB)的整體性能；
  • LB的負載分配依賴於主節點的分流算法，將來自客户機的訪問請求分擔給多個服務器節點，從而緩解整個系統的負載壓力。例如，“DNS輪詢”、“反向代理” 等。

2.2 高可用羣集（High Availability Cluster）

  • 提高應用系統的可靠性、儘可能地減少中斷時間為目標，確保服務的連續性，達到高可用(HA) 的容錯效果。
  • HA的工作方式包括雙工和主從兩種模式，雙工即所有節點同時在線；主從則只有主節點在線，但當出現故障時從節點能自動切換為主節點。例如，“故障切換” 、“雙機熱備” 等。

2.3 高性能運算羣集（High Performance Computer Cluster）

  • 以提高應用系統的CPU運算速度、擴展硬件資源和分析能力為目標，獲得相當於大型、超級計算機的高性能運算（HPC）能力。
  • 高性能依賴於"分佈式運算”、 “並行計算”，通過專用硬件和軟件將多個服務器的CPU、內存等資源整合在一起，實現只有大型、超級計算機才具備的計算能力。例如，'雲計算”、 “網格計算”等。

三、負載均衡羣集

3.1 負載均衡羣集架構

第一層，負載調度器(Load Balancer或Director) 負載均衡層

訪問整個羣集系統的唯一入口，對外使用所有服務器共有的VIP地址，也稱為羣集 IP地址。通常會配置主、備兩台調度器實現熱備份，當主調度器失效以後能夠平滑 替換至備用調度器，確保高可用性。

第二層，服務器池(Server Pool) WEB應用層

羣集所提供的應用服務、由服務器池承擔，其中每個節點具有獨立的RIP地址(真 實IP)，只處理調度器分發過來的客户機請求。當某個節點暫時失效時，負載調度 器的容錯機制會將其隔離，等待錯誤排除以後再重新納入服務器池。

第三層，共享存儲(Share Storage) 確保多台服務器使用的是相同的資源

為服務器池中的所有節點提供穩定、一致的文件存取服務，確保整個羣集的統一性 共享存儲可以使用NAS設備，或者提供NFS共享服務的專用服務器。

（因為節點服務器的資源都是由NAS或NFS提供，所以NAS或NFS需要做主備、或分佈式，從而實現高可用。）

1.png

3.2 負載均衡羣集的工作模式

負載均衡羣集是目前企業用得最多的羣集類型。

羣集的負載調度技術有三種工作模式：

  • 1、地址轉換（NAT模式）
  • 2、IP隧道（IP-TUN）
  • 3、直接路由（DR模式）

通常使用 NAT和DR，使用最多的是DR模式。

3.2.1 NAT模式（地址轉換）

地址轉換

  • Network Address Translation，簡稱NAT模式
  • 類似於防火牆的私有網絡結構，負載調度器作為所有服務器節點的網關，即作為客户機 的訪問入口，也是各節點回應客户機的訪問出口。
  • 服務器節點使用私有IP地址，與負載調度器位於同一個物理網絡，安全性要優於其他兩 種方式。
  • 缺點：由於NAT的負載均衡器既作為用户的訪問請求入口，也作為節點服務器響應請求的出口，承載兩個方向的壓力，調度器的性能會成為整個集羣的瓶頸。

工作模式-NAT.png

3.2.2 TUN模式（IP隧道）

IP隧道：

  • IP Tunnel ，簡稱TUN模式。
  • 採用開放式的網絡結構，負載調度器僅作為客户機的訪問入口，各節點通過各自的Internet連接直接回應客户機，而不再經過負載調度器。承載的壓力比NAT小。
  • 服務器節點分散在互聯網中的不同位置，具有獨立的公網IP地址，通過專用IP隧道與負載調度器相互通信。
  • 缺點：成本很高。
  • 這種模式一般應用於特殊場景，比如將節點服務器分佈在全國各地，防止被物理攻擊（如地震、戰爭等），做災備。

工作模式-TUN.png

3.2.3 DR模式（直接路由）

直接路由：

  • Direct Routing，簡稱DR模式。
  • 採用半開放式的網絡結構，與TUN模式的結構類似，負載調度器僅作為客户機的訪問入口，各節點通過各自的Internet連接直接回應客户機，而不再經過負載調度器。承載的壓力比NAT小。
  • 但各節點並不是分散在各地，而是與調度器位於同一個物理網絡。
  • 負載調度器與各節點服務器通過本地網絡連接，不需要建立專用的IP隧道。

工作模式-DR.png

四、LVS虛擬服務器

4.1 LVS虛擬服務器簡介

Linux Virtual Server：

  • 針對Linux內核開發的負載均衡
  • 1998年5月，由我國的章文嵩博士創建
  • 官方網站：www.linuxvirtualserver.org/
  • LVS實際上相當於基於IP地址的虛擬化應用，為基於IP地址和內容請求分發的負載均衡提出來一種高效的解決方法

4.2 LVS相關術語

DS：Director Server。指的是前端負載均衡器。

RS：Real Server。節點服務器，後端真實的工作服務器。

VIP：向外部直接面向用户請求，作為用户請求的目標的IP地址。

DIP：Director Server IP，主要用於和內部主機通訊的IP地址。

RIP：Real Server IP，後端服務器的IP地址。

CIP：Client IP，訪問客户端的IP地址。

4.2 LVS的負載調度算法

（1）固定調度算法：rr, wrr， dh，sh

rr：輪詢算法（Round Robin）

  • 將請求依次分配給不同的RS節點，即RS節點中均攤分配。適合於RS所有節點處理性能接近的情況。
  • 將收到的訪問請求安裝順序輪流分配給羣集指定各節點（真實服務器），均等地對待每一台服務器，而不管服務器實際的連接數和系統負載。

wrr：加權輪詢調度（Weighted Round Robin）

  • 依據不同RS的權重值分配任務。權重值較高的RS將優先獲得任務，並且分配到的連接數將比權值低的RS更多。相同權值的RS得到相同數目的連接數。
  • 保證性能強的服務器承擔更多的訪問流量。

dh：目的地址哈希調度（destination hashing）

  • 以目的地址為關鍵字查找一個靜態hash表來獲得所需RS。

sh：源地址哈希調度（source hashing）

  • 以源地址為關鍵字查找--個靜態hash表來獲得需要的RS。

（2）動態調度算法： wlc，lc，1blc

lc：最小連接數調度（ Least Connections）

  • ipvs表存儲了所有活動的連接。LB會比較將連接請求發送到當前連接最少的RS。
  • 根據真實服務器已建立的連接數進行分配，將收到的訪問請求優先分配給連接數最少的節點。

wlc：加權最小連接數調度（Weighted Least Connections）

  • 假設各台RS的權值依次為Wi，當前tcp連接數依次為Ti，依次取Ti/Wi為最小的RS作為下一個分配的RS。
  • 在服務器節點的性能差異較大時，可以為真實服務器自動調整權重。
  • 性能較高的節點將承擔更大比例的活動連接負載。

lblc：基於地址的最小連接數調度(locality-based least-connection)

  • 將來自同一個目的地址的請求分配給同一-台RS，此時這台服務器是尚未滿負荷的。否則就將這個請求分配給連接數最小的RS，並以它作為下一次分配的首先考慮。

4.3 加載 ip_vs 通用模塊

LVS現在已成為 Linux 內核的一部分，默認編譯為 ip_vs 模塊，必要時能夠自動調動。

在CentOS 7 系統中，手動加載 ip_vs 模塊的命令如下：

modprobe ip_vs     //手動加載 ip_vs 模塊  ​  cat /proc/net/ip_vs   //查看當前系統中ip_vs模塊的版本信息 複製代碼

4.4 加載 LVS 所有的負載調度算法

LVS 所有的負載調度算法文件在 /usr/lib/modules/3.10.0-693.el7.x86_64/kernel/net/netfilter/ipvs/ 目錄下：

[[email protected] ipvs]# pwd  /usr/lib/modules/3.10.0-693.el7.x86_64/kernel/net/netfilter/ipvs  [[email protected] ipvs]# ls  ip_vs_dh.ko.xz     ip_vs_lc.ko.xz     ip_vs_sh.ko.xz  ip_vs_ftp.ko.xz   ip_vs_nq.ko.xz     ip_vs_wlc.ko.xz  ip_vs.ko.xz       ip_vs_pe_sip.ko.xz ip_vs_wrr.ko.xz  ip_vs_lblc.ko.xz   ip_vs_rr.ko.xz  ip_vs_lblcr.ko.xz ip_vs_sed.ko.xz

20221012092113.png

加載所有的負載調度算法：

[[email protected] ipvs]# ls | grep -o "^[^.]*" //過濾出所有調度算法的名稱  ip_vs_dh  ip_vs_ftp  ip_vs  ip_vs_lblc  ip_vs_lblcr  ip_vs_lc  ip_vs_nq  ip_vs_pe_sip  ip_vs_rr  ip_vs_sed  ip_vs_sh  ip_vs_wlc  ip_vs_wrr  [[email protected] ipvs]# for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modF filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done  ip_vs_dh  ip_vs_ftp  ip_vs  ip_vs_lblc  ip_vs_lblcr  ip_vs_lc  ip_vs_nq  ip_vs_pe_sip  ip_vs_rr  ip_vs_sed  ip_vs_sh  ip_vs_wlc  ip_vs_wrr 可以將加載調度算法的命令寫入腳本中：

#!/bin/bash  a=$(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*")  ​  for i in $a  do     echo $i     #查看單個模塊的詳細信息     /sbin/modinfo -F filename $i >/dev/null 2>&1     #加載算法模塊     /sbin/modprobe $i  done

ipvsadm工具

ipvsadm是一個工具，同時它也是一條命令，用於管理LVS的策略規則。

ipvsadm是ipvs的管理器，需要yum安裝。

ipvsadm工具的作用：

LVS羣集創建與管理：

  • 創建虛擬服務器
  • 添加、刪除服務器節點
  • 查看羣集及節點情況
  • 保存負載分配策略

ipvsadm 命令選項説明：

| 選項 | 功能 | | ----- | -------------------------------------------------- | | -A | 添加虛擬服務器 | | -D | 刪除整個虛擬服務器 | | -s | 指定負載調度算法(輪詢: rr、加權輪詢: wrr、 最少連接: lc、 加權最少連接: wlc) | | -a | 表示添加真實服務器(節點服務器) | | -t | 指定VIP地址及TCP端口 （調度器使用） | | -r | 指定RIP地址及TCP端口 （節點服務器使用） | | -m | 表示使用NAT羣集模式 | | -g | 表示使用DR模式 | | -i | 表示使用TUN模式 | | -w | 設置權重（權重為0時表示暫停節點） ，默認值為1 | | -p 60 | 表示保持長連接60秒。默認值就是60秒。 | | -l | 列表查看LVS虛擬服務器（默認為查看所有） | | -n | 以數字形式顯示地址、端口等信息，常與“-l”選項組合使用。-l需要在-n之前。ipvsadm -ln |

六、LVS-NAT模式操作實例

實驗內容：

LVS調度器作為Web服務器池的網關，LVS兩塊網卡，分別連接內外網，使用輪詢（rr）調度算法。

實驗環境：

一台NFS服務器： 192.168.72.192/24

兩台WEB服務器： 192.168.72.30/24，192.168.72.40/24

一台LVS負載調度服務器（2塊網卡）： 內網192.168.72.10/24（ens33)，外網12.0.0.254/24（ens36）

win10 客户機： 12.0.0.200/24

6.1 部署NFS共享存儲服務(NFS服務器：192.168.72.192/24)

#1、關閉防火牆  [[email protected] ~]# systemctl disable --now firewalld  [[email protected] ~]# setenforce 0  ​  #2、安裝nfs-utils、rpcbind軟件包  [[email protected] ~]# yum install nfs-utils rpcbind -y  ​  #3、新建共享目錄，並創建站點文件  [[email protected] ~]# mkdir /share/  [[email protected] ~]# cd /share/  [[email protected] share]# mkdir tt nn  [[email protected] share]# echo "tt is a girl" > tt/index.html  [[email protected] share]# echo "nn is a boy" > nn/index.html  ​  #4、修改共享配置文件，設置共享策略  [[email protected] share]# pwd   /share  [[email protected] share]# vim /etc/exports  /share/tt  192.168.72.0/24  /share/nn  192.168.72.0/24  ​  #5、啟動兩個服務，查看本機的NFS共享目錄  [[email protected] share]# systemctl start rpcbind  [[email protected] share]# systemctl start nfs  [[email protected] share]# showmount -e        //查看本機發布的NFS共享目錄

20221012095314.png

20221012095407.png

20221012095534.png

20221012095646.png

部署兩台WEB服務器（節點服務器）

第一台web服務器（192.168.72.30/24）

#1、關閉防火牆  [[email protected] ~]# systemctl stop firewalld  [[email protected] ~]# setenforce 0    #2、安裝httpd  [[email protected] ~]# yum install -y httpd    #3、查看nfs服務器的共享信息  [[email protected] ~]# showmount -e 192.168.72.192  Export list for 192.168.72.192:  /share/nn 192.168.72.0/24  /share/tt 192.168.72.0/24  showmount -e 192.168.72.192  ​  #4、掛載站點。將NFS服務器的共享目錄/share/tt/，掛載到httpd服務的根目錄  #法一：臨時掛載  [[email protected] ~]# mount 192.168.72.192:/share/tt/ /var/www/html  [[email protected] ~]# df           //查看掛載是否成功  [[email protected] ~]# cat /var/www/html/index.html //查看站點文件  tt is a girl  ​  #法二：永久掛載  vim /etc/fstab  192.168.72.192:/share/tt/ /var/www/html/       nfs     defaults,_netdev 0 0  mount -a      #5、指定網關，網關地址設置為負載調度器的內網地址  [[email protected] ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33  GATEWAY=192.168.72.10  #DNS1=8.8.8.8    #6、重啟網絡服務，開啟httpd服務  [[email protected] ~]# systemctl restart network  [[email protected] ~]# systemctl start httpd

20221012095951.png

20221012100045.png

20221012100243.png

20221012100447.png

20221012101211.png

第二台web服務器（192.168.72.40/24）

#1、指定網關，網關地址設置為負載調度器的內網地址  [[email protected] ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33  GATEWAY=192.168.72.10  #DNS1=8.8.8.8  [[email protected] ~]# systemctl restart network  ​  #2、關閉防火牆  [[email protected] ~]# systemctl stop firewalld  [[email protected] ~]# setenforce 0  ​  #3、安裝httpd  [[email protected] ~]# yum install -y httpd      #4、查看nfs服務器的共享信息  [[email protected] ~]# showmount -e 192.168.72.192  Export list for 192.168.72.192:  /share/nn 192.168.72.0/24  /share/tt 192.168.72.0/24  showmount -e 192.168.72.192    5. #掛載NFS的共享目錄  #法一：臨時掛載  [[email protected] ~]# mount 192.168.72.192:/share/nn/ /var/www/html  [[email protected] ~]# df           //查看掛載是否成功  [[email protected] ~]# cat /var/www/html/index.html  nn is a boy  ​  #法二：永久掛載  vim /etc/fstab  192.168.72.192:/share/nn/ /var/www/html/       nfs     defaults,_netdev 0 0  mount -a      6. #開啟httpd服務  [[email protected] ~]# systemctl start httpd

20221012101640.png

20221012101740.png

20221012101858.png

20221012105806.png

部署LVS負載調度服務器

內網網卡：192.168.72.10（ens33） ，外網網卡：12.0.0.254（ens36）

```  #1、添加一塊網卡，我這裏是ens36，配置網卡，重啟網絡  [[email protected] ~]# cd /etc/sysconfig/network-scripts/  [[email protected] network-scripts]# vim ifcfg-ens33  #GATEWAY=192.168.72.2     //將網卡和DNS服務器地址註釋掉  #DNS1=8.8.8.8  [[email protected] network-scripts]# cp ifcfg-ens33 ifcfg-ens36  [[email protected] network-scripts]# vim ifcfg-ens36  IPADDR=12.0.0.254       //設置IP地址  NETMASK=255.255.255.0  #GATEWAY=192.168.72.2  #DNS1=8.8.8.8  [[email protected] network-scripts]# systemctl restart network  ​  #2、關閉防火牆  [[email protected] ~]# systemctl stop firewalld  [[email protected] ~]# setenforce 0  ​  #3、開啟路由轉發功能  [[email protected] ~]# vim /etc/sysctl.conf  net.ipv4.ip_forward = 1   //添加這一行  [[email protected] ~]# sysctl -p         //讀取修改後的配置  net.ipv4.ip_forward = 1  ​  #4、配置SNAT策略（如果內網想主動連接外網的話，需要配置SNAT策略）  [[email protected] ~]# iptables -t nat -F  [[email protected] ~]# iptables -t nat -A POSTROUTING -s 192.168.72.0/24 -o ens36 -j SNAT --to 12.0.0.254  [[email protected] ~]# iptables -nL POSTROUTING -t nat  ​  #5、加載LVS內核模塊  [[email protected] ~]# modprobe ip_vs         //加載ip_vs模塊  [[email protected] ~]# cat /proc/net/ip_vs   //查看ip_vs模塊的版本  #加載LVS所有調度算法  [[email protected] ~]# for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done  ​  #6、安裝ipvsadm管理工具，開啟服務  [[email protected] ~]# mount /dev/sr0 /mnt  [[email protected] ~]# yum install -y ipvsadm #開啟服務前必須保存負載分配策略，生成/etc/sysconfig/ipvsadm文件。如果該文件不存在，服務無法啟動。  [[email protected] ~]# ipvsadm-save >/etc/sysconfig/ipvsadm  [[email protected] ~]# systemctl start ipvsadm.service  ​  #7、配置負載分配策略（NAT模式只需要在負載器上配置，節點服務器不需要特殊配置）  [[email protected] ~]# ipvsadm -C   //清空原有規則

#指定指定VIP地址及TCP端口，-s rr 指定負載調度策略為輪詢  [[email protected] ~]# ipvsadm -A -t 12.0.0.254:80 -s rr

#先指定虛擬服務器再添加真實服務器地址，-r指定真實服務器地址，-m指定nat模式。-w指定權重值，權重為1時可省略不寫  [root@www ~]# ipvsadm -a -t 12.0.0.254:80 -r 192.168.72.30:80 -m -w 1
 [[email protected] ~]# ipvsadm -a -t 12.0.0.254:80 -r 192.168.72.40:80 -m -w 1  [[email protected] ~]# ipvsadm     //查看策略  IP Virtual Server version 1.2.1 (size=4096)  Prot LocalAddress:Port Scheduler Flags    -> RemoteAddress:Port           Forward Weight ActiveConn InActConn  TCP localhost.localdomain:http rr    -> 192.168.72.30:http           Masq    1      0          0    -> 192.168.72.40:http           Masq    1      0          0  [[email protected] ~]# ipvsadm-save >/etc/sysconfig/ipvsadm   //保存負載分配策略 [[email protected] ~]# ipvsadm -ln //以數字形式查看策略，Masq表示NAT模式 IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 12.0.0.254:80 rr -> 192.168.72.30:80 Masq 1 0 0 -> 192.168.72.40:80 Masq 1 0 0 ```

20221012110324.png

20221012110217.png

20221012110526.png

20221012110624.png

20221012110800.png

20221012111043.png

20221012111339.png

20221012111444.png

20221012111648.png

20221012112438.png

win10客户機訪問測試

win10客户機，網關地址設置為負載調度器的外網IP。

瀏覽器訪問負載調度器的外網IP地址12.0.0.254。

「」