集群及高可用，集群可用
集群及高可用，集群可用
1》集群：
随着互联网的发展，大量的客户端请求蜂拥而至，同时服务器的负载也越来越大，然而单台服务器的负载又是有限的，这样就会导致服务器响应客户端请求的时间越长， 甚至产生拒绝服务的情况；另外目前的网站多数是7*24小时提供不间断网络服务，如果仅采用单点服务器对外提供网络服务，那么在出现单点故障时，将导致整个网络服务中 断，这时我们需要部署集群架构，最终将成百上千台主机有机地结合在一起，以满足当前大数据时代的海量访问负载。在部署集群环境时可以选择的产品有很多，有些是基于 硬件实现的，有些是基于软件实现的，其中负载均衡的硬件设备有F5的GIG-IP,Radware的AppDirector，以及梭子鱼的负载均衡设备等；软件有基于Linux的LVS,Nginx和 HAProxy等产品，在集群环境中的核心是负载均衡以及高可用；
2》LVS负载均衡简介：
LVS(Linux Virtual Server)即Linux虚拟服务器，目前LVS已经被集成到Linux内核模块中，该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，终端互联网 用户从外部访问公司的外部负载均衡服务器，终端用户的WEB请求会发送给LVS调度器，调度器根据自己预设的算法决定将请求发送给后端的某台WEB服务器，比如轮询算法 可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也都是相同 的服务，最终用户不管访问哪台真实的服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的，最后根据LVS工作模式的不同，真实服务器会选择不同的方式将 用户所需要的数据发送给终端用户，LVS工作模式分为NAT模式，TUN模式以及DR模式；
1>基于NAT的LVS负载均衡：
NAT即网络地址转换，其作用是通过数据报头的修改，使位于企业内部的私有IP可以访问外网，以及外部用户可以访问位于公司内部的私有IP地址主机，VS/NAT 工作模式是LVS负载调度器使用两块网卡配置不同的IP地址，eth0设置为私钥IP与内部网络通过交换设备相互连接，eth1设置为外网IP与外部网络连通；
第一步：用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网IP地址，相对于真实服务器而言，LVS的外网IP又称为VIP(Virtual IP Address)，用户 通过访问VIP，即可连接后端的真实服务器，而这一切对用户而言都是透明的，用户以为自己访问的就是真实的服务器，但他并不知道自己访问的VIP仅 仅是一个调度器，也不清楚后端的真实服务器到底在哪里，有多少台真实服务器；
第二步：用户将数据请求发送至外网IP地址，此时LVS将根据预设的算法选择后端的一台真实服务器，将数据请求包发送给真实服务器，并且在转发之前LVS会 修改数据包中的目标地址以及目标端口，目标地址与目标端口将被修改为选中的真实服务器IP地址以及相应的端口；
第三步：真实的服务器将响应数据包返回给LVS调度器，调度器在得到响应数据包后会将源地址与源端口修改为VIP及调度器相应的端口，修改完成后，由调度器 将响应数据包发送给终端用户，另外由于LVS调度器有一个连接Hash表，该表中会记录连接请求及转发信息，当同一个连接的下一个数据包发送给调度 器时，从该Hash表中可以直接找到之前的连接记录，并根据该记录信息选出相同的真实服务器及端口信息；
2>基于TUN的LVS负载均衡：
在LVS(NAT)模式的集群环境中，由于所有的数据请求及响应的数据包都需要经过LVS调度器转发，如果后端服务器的数量大于10台，则调度器就会成为整个 集群环境的瓶颈，我们知道数据请求包往往远远小于响应数据包的大小，因为响应数据包中包含有客户端需要的具体数据，所以LVS（TUN)的思路就是将请求与响 应数据分离，让调度器仅处理数据请求，而让真实服务器将响应数据包直接返回给客户端，VS/TUN工作模式中的IP隧道（IP tunning）是一种数据包封装技术，它 可以将原始数据包封装并添加新的包头（内容包括新的源地址及端口，目标地址及端口），从而实现将一个目标为调度器VIP的数据包封装，通过隧道转发给后端的 真实服务器，通过将客户端发送调度器的原始数据包封装，并在其基础上添加新的数据包头（修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口）， LVS(TUN)模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数据；
3>基于DR的LVS负载均衡：
在LVS(TUN)模式下，由于需要在LVS调度器与真实服务器之间创建隧道连接，这同样会增加服务器的负担，与LVS(TUN)类似，DR模式也叫直接路由模式，该模 式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器，最终由后端真实服务器负责将响应数据包发送返回给客户端，与隧道模式不同的是，直接路 由模式要求调度器与后端服务器必须在一个局域网内，VIP地址需要在调度器与后端所有的服务器间共享，因为最终的真实服务器给客户端回应数据包时需要设置源地 址为VIP地址，目标IP为客户端IP，这样客户端访问的是调度器的VIP地址，回应的源地址也依然是该VIP地址（真实服务器上的VIP），客户端是感觉不到后端服务器 存在的，由于多台计算机都设置了同样一个VIP地址，所以在直接路由模式中要求调度器的VIP地址是对外可见的，客户端需要将请求数据包发送到调度器主机，而所 有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上，也就是该网络设备并不会向外广播自己的MAC及对应的IP地址，真实服务器的VIP对外界是不可见的， 但真实服务器却可以接收目标地址为VIP的网络请求，并在回应数据包时将源地址设置为该VIP地址，调度器根据算法在选出真实服务器后，在不修改数据报文的情况 下，将数据帧的MAC地址修改为选出的服务器的MAC地址，通过交换机将该数据帧转发给真实服务器，整个过程中，真实服务器的VIP不需要对外界可见；
******因为调度器与真实服务器都设置了VIP地址，所以这里要求所有的真实服务器要禁止对VIP地址的ARP响应，方法是通过arp_ignore与arp_announce来实现的：
vim /etc/sysctl.conf
net.ipv4.conf.eth0.arp_ignore = 1
net.ipv4.conf.eth0.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
sysctl -p
3》LVS复制均衡调度算法：
根据前面的介绍，我们了解了LVS的三种模式，但不管实际环境中采用的是哪种模式，调度器进行调度的策略与算法都是LVS的核心技术，LVS在内核中主要实现了以下 八种调度算法：
轮询调度；
加权轮询调度；
最小连接调度；
加权最小连接调度；
基于局部性最少的连接；
带复制的基于局部性最少连接；
目标地址散列调度；
源地址散列调度；
轮询算法（RR）：按依次循环的方式将请求调度到不同的服务器上，该算法最大的特定就是实现简单，轮询算法假设所有的服务器处理请求的能力都是一样的，调度器会 将所有的请求平均分配给每个真实服务器；
加权轮询算法（WRR）：主要是对轮询算法的一种优化与补充，LVS会考虑每台服务器的性能，并给每台服务器添加一个权值，如果服务器A的权值为1，服务器B的权值 为2，则调度器调度到服务器B的请求回事服务器A的两倍，权值越高的服务器，处理的请求越多；
最小连接调度算法（LC）：把请求调度到连接数最小的服务器上，而加权最小连接算法（WLC）则是给每个服务器一个权值，调度器会尽可能保持服务器连接数量与权值 之间的平衡；
基于局部性的最少连接调度算法（lblc）：是请求数据包的目标IP地址的一种调度算法，该算法先根据请求的目标IP地址寻找最近目标IP地址所使用的服务器，如果这台服 务器依然可用，并且有能力处理该请求，调度器会尽量选择相同的服务器，否则会继续选择其他可行的服务器；带复制的基于局 部性最少连接算法记录的不是一个目标IP与一台服务器之间连接记录，它会维护一个目标IP到一组服务器之间的映射关系，防止 单点服务器负载过高；
目标地址散列调度算法（DH）:是根据目标IP地址通过散列函数将目标IP与服务器建立映射关系，出现服务器不可用或负载过高的情况下，发往该目标IP的请求会固定发给 该服务器；
源地址散列调度算法（SH）：与目标地址散列调度算法类似，但它是根据源地址散列算法进行行静态分配固定的服务器资源；
4》部署LVS服务：
LVS现在已经集成在Linux内核模块中，但整个LVS环境中又分为内核层与用户层，内核层复制核心算法的实现，用户层需要安装ipvsadm工具，通过命令将管理员需要 的工作模式与实现算法传递给内核来实现，LVS的内核模块名称为Ip_vs，我们可以使用YUM方式安装ipvsadm,也可以自行去官网下载使用源码安装；
1>YUM安装：
YUM安装需要确保本机可以连接YUM源，可以从YUM源中下载RPM格式软件包；
yum -y install ipvsadm
2>源码安装：
源码安装需要使用YUM安装相关的依赖软件包，Ipvsadm源码软件可以从官方网站下载，下载后使用标准的make,make install,编译，安装即可；
#yum -y install gcc popt popt-devel popt-static libn1 libn1-devel
#wget http://www.linuxvirtualserver.org/softwart/kernel-2.6/ipvsadm-1.26.tar.gz
#tar -xvf ipvsadm-1.26.tar.gz -C /usr/src
#cd /usr/src/ipvsadm-1.26
#make
#make install
3>相关命令：
无论使用哪种方式安装ipvsadm软件，安装完成后都会生成一个同名的命令工具，我们需要使用该命令来管理配置LVS虚拟服务器组和相应的调度算法；
ipvsadm命令的描述和用法如下：
描述：Linux虚拟服务器管理工具；
用法：ipvsadm 选项 服务器地址 -s 算法
ipvsadm 选项 服务器地址 -r 真实服务器地址【工作模式】【权重】
选项：
-A 添加一个虚拟服务，使用IP地址，端口号，协议来唯一定义一个虚拟服务；
-E 编辑一个虚拟服务；
-D 删除一个虚拟服务
-C 清空虚拟服务表
-R 从标准输入中还原虚拟服务规则
-S 保存虚拟服务规则至标准输出，输出的规则可以使用-R导入还原
-a 在虚拟服务中添加一台真实服务器
-e 在虚拟服务中编辑一台真实服务器
-d 在虚拟服务中减少一台真实服务器
-L 显示虚拟服务列表
-t 使用TCP服务，该参数后需要跟主机与端口信息
-u 使用UDP服务，该参数后需要跟主机与端口信息
-s 指定LVS所采用的调度算法
-r 设置真实服务器IP地址与端口信息
-g 设置LVS工作模式为DR直连路由模式
-i 设置LVS工作模式为TUN隧道模式
-m 设置LVS工作模式为NAT地址转换模式
-w 设置指定服务器的权重
-c 连接状态，需要配合-L使用
-n 数字格式输出
命令示例：
添加一个虚拟服务，设置调度算法为轮询，所有使用的TCP协议访问124.126.147.168的80端口的请求，最终被调度器通过NAT模式转发给了 192.168.0.1,192.168.0.2,192.168.0.3这三台主机的80端口：
service ipvsadm save 保存调度规则
sed -l /ip_forward/s/0/1/ /etc/sysctl.conf 重新加载sysctl.conf
查看LVS规则表：
查看当前IPVS调度状态：
删除为虚拟服务提供WEB功能的真实服务器192.168.0.3：
[root@hadoop-master ~]# ipvsadm -d -t 124.126.147.168:80 -r 192.168.0.3
虚拟服务规则表备份与还原：
修改虚拟服务的调度算法：
[root@hadoop-master ~]# ipvsadm -E -t 124.126.147.168:80 -s wrr
创建一个使用WRR算法的虚拟服务，工作模式为直接路由（DR）模式，在该虚拟服务上添加两台真实服务器，并为每台真实服务器设置权重：
5》常见问题分析：
1>路由转发功能：
在LVS(NAT)工作模式中，LVS调度器必须能够提供数据转发功能，而系统默认的规则没有开启路由转发功能，需要手动修改/etc/sysctl.conf文件开启该功能；
2>在LVS(NAT)工作模式中，调度器处理担当调度的角色外，还需要担当路由的角色，但系统的防火墙转发规则默认禁止转发，因此需要将转发规则清空：
iptables -F
Iptables -X
service iptables save
3>在LVS(DR)工作模式下，由于所有的真实服务器都配置了VIP地址，因此需要设置服务器不进行针对VIP地址的ARP广播，Linux中可以直接通过arp_ignore与 arp_announce来实现；
arp_ignore用来定义网卡在响应外部ARP请求时的响应级别：
0：默认值，任何网络接口收到ARP请求后，如果本机的任意接口有该MAC，则予以响应；
1：某个网络接口收到ARP请求后，判断请求的MAC地址是否是本接口，是则回应，否则不回应，LVS调度器会将客户请求转发给真实服务器的eth0接口，而 真实服务器的VIP地址配置在回环设备上；
arp_announce用来定义网卡广播ARP包时的级别：
0：默认值，任何网络接口接收到ARP请求后，如果本机的任意接口有该MAC，则予以响应；
1：尽量避免响应MAC地址非本网络接口MAC地址的ARP请求；
2：不响应MAC地址非本网络接口MAC地址的ARP请求；
评论暂时关闭