linux下基于LVS的高可用性负载均衡

LVS的三种负载均衡模式
调度器的实现技术中，IP负载均衡技术是效率最高的，IP虚拟服务器软件(IPVS)是在linux内核中实现的。
NAT模式
    NAT用法本来是因为网络IP地址不足而把内部保留IP地址通过映射转换成公网地址的一种上网方式（原地址NAT）。如果把NAT的过程稍微变化，就可以成为负载均衡的一种方式。原理其实就是把从客户端发来的IP包的IP头目的地址在DR上换成其中一台REAL SERVER的IP地址并发至此REAL SERVER，而REAL SERVER则在处理完成后把数据经过DR主机发回给客户端，DR在这个时候再把数据包的原IP地址改为DR接口上的IP地址即可。期间，无论是进来的流量，还是出去的流量，都必须经过DR。
IP隧道模式
    隧道模式则类似于VPN的方式，使用网络分层的原理，在从客户端发来的数据包的基础上，封装一个新的IP头标记（不完整的IP头，只有目的IP部）发给REAL SERVER，REAL SERVER收到后，先把DR发过来的数据包的头给解开，还原其数据包原样，处理后，直接返回给客户端，而不需要再经过DR。需要注意的是，由于REAL SERVER需要对DR发过来的数据包进行还原，也就是说必须支持IP TUNNEL协议。所以，在REAL SERVER的内核中，必须编译支持IP TUNNEL这个选项。IP TUNNEL也在Networking options里面。
直接路由模式
    直接路由模式比较特别，很难说和什么方面相似，前2种模式基本上都是工作在网络层上（三层），而直接路由模式则应该是工作在数据链路层上（二层）。其原理为，DR和REAL SERVER都使用同一个IP对外服务。但只有DR对ARP请求进行响应，所有REAL SERVER对本身这个IP的ARP请求保持静默。也就是说，网关会把对这个服务IP的请求全部定向给DR，而DR收到数据包后根据调度算法，找出对应的REAL SERVER，把目的MAC地址改为REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER收到这个数据包，则等于直接从客户端收到这个数据包无异，处理后直接返回给客户端。由于DR要对二层包头进行改换，所以DR和REAL SERVER之间必须在一个广播域，也可以简单的理解为在同一台交换机上。
LVS的八种调度算法
　　LVS已实现了以下八种调度算法：
　　1.轮叫调度（Round-Robin Scheduling）
  调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。
　　2.加权轮叫调度（Weighted Round-Robin Scheduling）
  调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
　　3.最小连接调度（Least-Connection Scheduling）
  调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。
　　4.加权最小连接调度（Weighted Least-Connection Scheduling）
  在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值
　　5.基于局部性的最少链接（Locality-Based Least Connections Scheduling）
   基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。
　　6.带复制的基于局部性最少链接（Locality-Based Least Connections with Replication Scheduling）
   带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度
　　7.目标地址散列调度（Destination Hashing Scheduling）
    目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空
　　8.源地址散列调度（Source Hashing Scheduling）
    源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
  杂项　　　　　　　　　VS/NAT　　　　  VS/TUN　　　　　   VS/DR
服务器操作系统　　　　  任意　　　　　　支持隧道　　　　   多数(支持Non-arp )
服务器网络　　　　　　  私有网络　　　　局域网/广域网　　  局域网
服务器数目(100M网络)    10-20　　　　　 100　　　　　　　  多(100)
服务器网关　　　　　　  负载均衡器　　　自己的路由　　　   自己的路由
效率　　　　　　　　　  一般　　　　　　高　　　　　　　   最高
所需软件：
ipvsadm-1.24.tar.gz：LVS的管理配置工具
libnet1.1.2.tar.gz：网络庫文件,模拟了一块虚拟网卡,通过libnet发包,libpcap收包.经过测试正常的arp包和ping包都能够正常收到.heartbeat时用的
heartbeat-2.0.4.tar.：支持心跳的软件
内核源代码：支持2.4.23以后版本的内核源代码。        
一、负载均衡
NAT （这种形式必须是双网卡，真是服务器在director的内网里）
   
1. 在director上安装ipvsadm
    1. ln -s /usr/src/kernels/2.6.18-92.el5-i686/ /usr/src/linux
      在/usr/src目录下建立连接符号linux
    2.tar zxvf ipvsadm-1.24.tar.gz -C /usr/local/src/
     -C ：配合tar命令，把源码包释放到指定目录
    3.cd /usr/local/src/ipvsadm-1.24
    4.make
    5.make install
    6.ipvsadm -v
     使用这个命令测试安装成功，成功应该出现如下一行
     ipvsadm v1.24 2005/12/10 (compiled with popt and IPVS v1.2.1)
    7.配置在虚拟主机中启用转发功能（临时开启(立即生效）
   echo "1">/proc/sys/net/ipv4/ip_forward    (因为虚拟主机在服务前段主要是负责ip的转发的，所以这项要启动)
     永久开启(重启服务器或NETWROK服务后生效)：
     [root@ssn src]# vi /etc/sysctl.conf
     修改这个值为“1”net.ipv4.ip_forward = 1
    8. 清除ipvsadm表
       ipvsadm -C （大写C）
    9.增加一个新的虚拟服务器
     ipvsadm -A -t 192.168.254.35:80 -s rr
     -A:在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
     -t：说明虚拟服务器提供的是tcp 的服务。
     -s：使用的调度算法。
   10.增加真是服务器（比如有两个）
     [root@localhost ~]# ipvsadm -a -t 192.168.254.35:80 -r 192.168.1.2:80 -m
     [root@localhost ~]# ipvsadm -a -t 192.168.254.35:80 -r 192.168.1.3:80 -m
     -a：在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器。
     -t：说明虚拟服务器提供的是tcp 的服务。
     -r：真实的服务器。
     -m：指定LVS 的工作模式为NAT 模式。
   11.两台realserver上的配置
    在两天realserver上分别设置网关为调度服务器的内网ip，并且启动web服务。
    在两台web上创建两个内容不同的页面，以方便测试。
    #vi /var/www/html/index.html   （这里写one）
     # vi /var/www/html/index.html  （这里写two）
   12. 测试
    在客户端多次访问director上的虚拟ip（ipvsadm -A -t 192.168.254.35:80 -s rr）
    因为用的调度算法是rr轮询，所以，应该每次刷新时，交替显示one和two。
    然后在director上使用ipvsadm命令查看会发现已经转发了多次（这里是7次）
   之前：
[root@localhost ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddressort Scheduler Flags
  -> RemoteAddressort           Forward Weight ActiveConn InActConn
TCP  192.168.254.35:http rr
  -> 192.168.1.3:http             Masq    1      0          0        
  -> 192.168.1.2:http             Masq    1      0          0  
   之后：
[root@localhost ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddressort Scheduler Flags
  -> RemoteAddressort           Forward Weight ActiveConn InActConn
TCP  192.168.254.35:http rr
  -> 192.168.1.3:http             Masq    1      0          7        
  -> 192.168.1.2:http             Masq    1      0          7   
DR配置（这种模式包括路由器都在同一个网段里）

1.安装ipvsadm
2.配置director
   1）ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up
   在eth0网卡上绑定第二个ip地址，就是虚拟ip。
   2）route add -host $VIP dev eth0:0
   添加一条路由，让虚拟ip可以在eth0：0这个网卡上通过
   3）配置ipvsadm调度:
    ipvsadm -C （清空表）
    ipvsadm -A -t $VIP:80 -s rr
    ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
    ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
    ipvsadm -a -t $VIP:80 -r $RIP3:80 -g
  3.realserver配置
     1）ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
       在lo网卡上绑定第二个ip地址，就是虚拟ip
        route add -host $VIP dev lo:0
      添加一条路由，让虚拟ip可以在lo：0这个网卡上通过
    2）#vi /etc/sysctl.conf
       net.ipv4.conf.lo.arp_ignore = 1
       net.ipv4.conf.lo.arp_announce = 2
       net.ipv4.conf.all.arp_ignore = 1
       net.ipv4.conf.all.arp_announce = 2
     这几个选项是让realserver不响应arp请求
脚本：
director上建立 lvsdr.sh名字的脚本，然后执行它,sh lvsdr.sh stop|start
只需要改下VIP\RIP1\RIP2\GW的地址就行了，后面的不用动。
#!/bin/sh
#create in 20060812 by ghb
# description: start LVS of Directorserver
VIP=192.168.0.100
RIP1=192.168.0.127
RIP2=192.168.0.128
GW=192.168.0.1
. /etc/rc.d/init.d/functions
case $1 in
start)
echo "start LVS of DirectorServer"
# set the Virtual IP Address
/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev eth0:0
#Clear IPVS table
/sbin/ipvsadm -C
#set LVS
/sbin/ipvsadm -A -t $VIP:80 -s rr #(如果需要session保持添加-p 默认保持300秒)
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
#/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -g
#Run LVS
/sbin/ipvsadm
#end
;;
stop)
echo "close LVS Directorserver"
/sbin/ipvsadm -C
;;
*)
echo "Usage: $0" {start|stop}
exit 1
esac

realserver：
#!/bin/bash
#description : start realserver
#create in 20060812 by ghb
VIP=192.168.0.100
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
#end

高可用性（HA）
http://haoyi.blog.51cto.com/207720/52954
ipvsadm参考命令：
1，virtual-service-address:是指虚拟服务器的ip 地址
2，real-service-address:是指真实服务器的ip 地址
3，scheduler：调度方法
ipvsadm 的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p
[timeout]] [-M netmask]
命令选项解释：
有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可
以。
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也
就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为-R 选项可读的格式
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器
记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说
明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的
VRRP 功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
其他的选项:
-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务
[vip:port] or [real-server-ip:port]
-u --udp-service service-address 说明虚拟服务器提供的是udp 的服务
[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 说明是经过iptables 标记过的服务类型。
-s --scheduler scheduler 使用的调度算法，有这样几个选项
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
默认的调度算法是： wlc.
-p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客
户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真实的服务器[Real-Server:port]
-g --gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）
-i --ipip 指定LVS 的工作模式为隧道模式
-m --masquerading 指定LVS 的工作模式为NAT 模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组播的同步接口
-c --connection 显示LVS 目前的连接 如：ipvsadm -L -c
--timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout
--daemon 显示同步守护进程状态
--stats 显示统计信息
--rate 显示速率信息
--sort 对虚拟服务器和真实服务器排序输出
--numeric -n 输出IP 地址和端口的数字形式