LVS (DR, NAT)模式應用

第一部分: DR模式配置

OS:   Redhat AS4U4 內核：2.6.9-42

Server1: 192.168.1.91 (負載伺服器)

虛擬服務IP: 192.168.1.99

Realserver: 192.168.1.92 (集群伺服器)

實驗目的:

在負載伺服器上，配置LVS（DR模式），做web伺服器的集群。實現最終使用者訪問虛擬IP，負載伺服器，將請求分發到集群下的伺服器，由集群伺服器輪流提供web服務。

   Redhat AS4U4的內核版本已經集成了ipvsadm功能模組，所以不需要安裝，直接使用即可。

  如果要用高版本的ipvsadm, 到[url]http://www.linuxvirtualserver.org/software/[/url] 注意對應自己的內核版本ipvsadm-1.24.tar.gz

tar zxvf ipvsadm-1.24.tar.gz

cd ipvsadm-1.24

make

make install

注意在make時可能會出現很多錯誤的資訊，請按照如下操作就可以心編譯正常

ln -s /usr/src/kernels/2.6.9-22.EL-i686/ /usr/src/linux

一、負載伺服器

編輯一個shell檔，執行後，即啟用LVS功能。

vi  /tmp/lvs.sh

#!/bin/bash

vip=192.168.1.99

rs1=192.168.1.91

rs2=192.168.1.92

gw=192.168.1.1

#set virttual ip address

/sbin/ifconfig eth1:0 $vip broadcast $vip netmask 255.255.255.255 up

/sbin/route add -host $vip dev eth1:0

#clear ipvs tables

/sbin/ipvsadm -C

#set LVS  Server

/sbin/ipvsadm -A -t $vip:80 -s rr

/sbin/ipvsadm -a -t $vip:80 -r $rs1:80 -g

/sbin/ipvsadm -a -t $vip:80 -r $rs2:80 -g

#run lvs

/sbin/ipvsadm

因為此實驗本負載伺服器也提供web服務，所以要在/var/www/html下建立一個測試檔 index.html，然後service httpd start 啟動http服務。

二、集群伺服器

所有集群伺服器忽略ARP回應，在每台群伺服器上都要進行如下設置

vi /tmp/lvs.sh

#!/bin/bash

vip=192.168.1.99

/sbin/ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up

/sbin/route add -host $vip dev lo:0

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

sysctl –p

在 /var/www/html 下新建立一個index.html測試檔，然後 service httpd start啟動http服務。

三、測試

在用戶端反復訪問：http:.//192.168.1.99 如果能輪流顯示出 192.168.1.91 和192.168.1.92的http測試檔，即LVS(DR模式)配置完成。

第二部分: NAT 模式配置

OS:   Redhat AS4U4 內核：2.6.9-42

Server1: eth0: 192.168.1.91 (負載伺服器對外IP)

eth1: 192.168.3.1

Realserver: 192.168.3.2 (集群伺服器)

遮罩: 255.255.255.0  閘道: 192.168.3.1

  實驗目的:

在負載伺服器上，配置LVS（NAT模式），做web伺服器的集群。實現最終使用者訪問負載伺服器的對外IP，負載伺服器，將請求分發到集群下的伺服器，由集群伺服器輪流提供web服務。

 負載伺服器

  需要在此伺服器上配置NAT功能,使其eth1網卡所接的3.0網段能夠通過它進行與外網進行聯繫.

   需要配置LVS功能,以實現集群功能.

以下是shell檔內容

vi /tmp/lvs-nat.sh

#!/bin/bash

echo "1">/proc/sys/net/ipv4/ip_forward

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

#echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects

iptables -F

iptables -X

iptables -t nat -F

iptables -t nat -X

iptables -t nat -A POSTROUTING -s 192.168.3.0/24 -o eth1 -j MASQUERADE

ipvsadm -C

ipvsadm -A -t 192.168.1.91:80 -s rr

ipvsadm -a -t 192.168.1.91:80 -r 192.168.3.1:80 -m

ipvsadm -a -t 192.168.1.91:80 -r 192.168.3.2:80 -m

ipvsadm -a -t 192.168.1.91:80 -r 192.168.3.3:80 -m

ipvsadm

 集群中的節點伺服器,只需要將網卡的IP及閘道配置好,可以實現負載分擔功能.

附：　LVS介紹

1.LVS系統結構與特點

使用LVS架設的伺服器集群系統從體系結構上看是透明的，最終用戶只感覺到一個虛擬伺服器.物理伺服器之間可以通過高速的LAN或分佈在各地的WAN相連。最前端是負載等化器，它負責將各種服務請求分發給後面的物理伺服器，讓整個集群表現得象一個服務於同一IP位址的虛擬伺服器。

LVS集群系統具有良好的可擴展性和高可用性。

可擴展性是指，LVS集群建立後，可以很容易地根據實際的需要增加或減少物理伺服器。而高可用性是指當檢測到伺服器節點或服務進程出錯、失效時，集群系統能夠自動進行適當的重新調整系統。

2.LVS是如何工作的

Linux Virtual Server的主要是在負載等化器上實現的，負載等化器是一台加了LVS Patch的2.2.x版內核的Linux系統。LVS Patch可以通過重新編譯內核的方法加入內核，也可以當作一個動態的模組插入現在的內核中。

負載等化器可以運行在以下三種模式下中的一種或幾種： 1）Virtual Server via NAT（VS-NAT）：用位址翻譯實現虛擬伺服器；2）Virtual Server via IP Tunneling （VS-TUN）：用IP隧道技術實現虛擬伺服器；3）Virtual Server via Direct Routing（VS-DR）：用直接路由技術實現虛擬伺服器。

另外，還需要根據LVS應用對物理伺服器進行恰當的配置。

以下將分別講述一下三種模式的工作原理和優缺點。

2.1.Virtual server via NAT（VS-NAT）

Virtual Server via NAT方法的最大優點是集群中的物理伺服器可以使用任何支援TCP/IP作業系統，物理伺服器可以分配Internet的保留私有位址，只有負載等化器需要一個合法的IP位址。

這種實現方法的最大的缺點是擴展性有限。當伺服器節點（普通PC伺服器）資料增長到20個或更多時,負載等化器將成為整個系統的瓶頸，因為所有的請求包和應答包都需要經過負載等化器再生。假使TCP包的平均長度是536位元組的話，平均包再生延遲時間大約為60us（在Pentium處理器上計算的，採用更快的處理器將使得這個延遲時間變短），負載等化器的最大容許能力為8.93M/s，假定每台物理伺服器的平臺容許能力為400K/s來計算，負責等化器能為22台物理伺服器計算。

Virtual Server via NAT能夠滿足許多伺服器的服務性能需求。即使是是負載等化器成為整個系統的瓶頸，如果是這樣也有兩種方法來解決它。一種是混合處理，另一種是採用Virtual Server via IP tunneling或Virtual Server via direct routing。如果採用混合處理的方法，將需要許多同屬單一的RR DNS域。你採用Virtual Server via IP tunneling或Virtual Server via direct routing以獲得更好的可擴展性。也可以嵌套使用負載等化器，在最前端的是VS-Tunneling或VS-Drouting的負載等化器，然後後面採用VS-NAT的負載等化器。

2.2.Virtual server via IP tunneling（VS-TUN）

採用VS-NAT方式，請求與應答包都需要經過負載等化器，那麼當伺服器節點增長到20個或更多時，這個負載等化器就可能成為新的瓶頸。我們發現，許多Internet服務（例如WEB伺服器）的請求包很短小，而應答包通常很大。

而使用VS-TUN方式的話，負載等化器只負責將請求包分發給物理伺服器，而物理伺服器將應答包直接發給用戶。所以，負載等化器能處理很巨大的請求量，這種方式，一台負載均衡能為超過100台的物理伺服器服務，負載等化器不再是系統的瓶頸。使用VS-TUN方式，如果你的負載等化器擁有100M的全雙工網卡的話，就能使得整個Virtual Server能達到1G的輸送量。

IP tunneling（IP隧道）能夠用於架構一個高性能的virtual server，非常適合構建virtual proxy server，因為當代理伺服器收到了請求，能夠讓最終用戶直接與伺服器聯繫。

但是，這種方式需要所有的伺服器支援IP Tunneling(IP Encapsulation)協議，我僅在Linux系統上實現了這個，如果你能讓其它作業系統支援，還在探索之中。

2.3.Virtual Server via Direct Routing（VS-DR）

就象VS-TUN一下，在VS-DR方式下，負載等化器也只是分發請求，應答包通過單獨的路由方法返回給用戶端。這種方式能夠大大提高Virtual Server的可擴展性。與VS-TUN相比，VS-DR這種實現方式不需要隧道結構，但它要求負載等化器的網卡必須與物理網卡在一個物理段上。

而且VS-DR模式，可以使用大多數作業系統做為物理伺服器，其中包括：Linux 2.0.36、2.2.9、2.2.10、2.2.12；Solaris 2.5.1、2.6、2.7；FreeBSD 3.1、3.2、3.3；NT4.0無需打補丁；IRIX 6.5；HPUX11等