Linux 高可用（HA）集群之keepalived+lvs

一:前言

Keepalived使用的vrrp协议方式，虚拟路由冗余协议 (Virtual Router Redundancy Protocol，简称VRRP);Keepalived的目的是模拟路由器的高可用，一般Keepalived是实现前端高可用，常用的前端高可用的组合有，就是我们常见的LVS+Keepalived、Nginx+Keepalived、HAproxy+Keepalived。总结一下，Keepalived中实现轻量级的高可用，一般用于前端高可用，且不需要共享存储，一般常用于两个节点的高可用。

提到高可用我们再来把Heartbeat、Corosync、Keepalived这三个集群组件互相比较一下.

650) this.width=650;" src="https://www.itdaan.com/imgs/1/1/5/8/57/012a5c8222ee5c37a15aabcf835e8ce8.jpe" title="高可用.png" alt="wKioL1QhZ9vSsHIKAAC1lFSjuyg554.jpg">

二:keepalived

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

在路由器上配上静态路由就会产生单点故障,那该怎么办呢?VRRP就应用而生了,VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器.

VRRP工作原理,在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。

VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以，在一个虚拟路由器中，不管谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置，对客户端来说，这种主从的切换是透明的。

在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息(VRRPAdvertisement message)，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)，多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。由于安全性考虑，VRRP包使用了加密协议进行加密

三:为什么要用keepalived+lvs

lvs是一个在四层上实现后端realserver的负载均衡的集群，lvs遗留下两个问题，一个是lvs的单点故障；第二个是lvs不能检测后端realserver的健康状态检查。

解决lvs的单点故障就用到了高可用集群：

①、可以是heartbeat+ldirectord这种重量级的；

②、可以是keepalived+lvs这种轻量级的解决方案。(本博客主要写keepalived+lvs轻量级的解决方案),

解决lvs不能检测后端realserver的健康状态也后很多种方法：

①、可以在lvs上写脚本ping后端realserver的ip地址，ping几次发现ip地址ping不通则在ipvs规则里面删除，当后端服务器可以ping了，则把后端realserver添加到ipvs规则里面。

②、可以在lvs上写脚本请求后端realserver的测试几次网页文件，查看状态码是否为200，不是则在ipvs规则里面清楚，当测试网页返回的状态吗是200之后，则把后端realserver添加到ipvs规则里面

③、以上两种方法都是依赖于脚本，keepalived的出现解决了不依赖于脚本，也可以对后端realserver的健康状态检查，keepalived的配置文件里面可以自行生成ipvs的规则，并且自行检测后端realserver的状态，当后端realserver不能提供服务了，keepalived会自行将其在ipvs规则里面删除，当后端realserver可以提供服务了，又自行的在ipvs规则里面添加。

三:配置keepalived实现HTTP高可用

1) 环境准备

CentOS 6.5 X86_64

ipvsadm.x86_64 0:1.25-10.el6

keepalived.x86_64 0:1.2.7-3.el6

httpd-2.2.15-29.el6.centos.x86_64

2)试验拓扑图

650) this.width=650;" src="https://www.itdaan.com/imgs/6/7/8/0/71/fa9817f0fa3f580ad464a3a062787fa9.jpe" title="keepalive+HTTP.png" alt="wKioL1Qemnyzd2z0AAC0_eipHEQ471.jpg">

试验拓扑图中VIP为172.16.16.7.节点node1为172.16.16.1,节点node2为172.16.16.5

3)配置master

vim/etc/keepalived/keepalived.confglobal_defs
{
notification_email
{
stu16@llh.com#接收邮件地址
}
notification_email_fromkanotify@magedu.com#发送邮件地址
smtp_connect_timeout3
smtp_server127.0.0.1
router_idLVS_DEVEL
}
vrrp_scriptchk_mantaince_down{#定义检测机制
script"[[-f/etc/keepalived/down]]&&exit1||exit0"
interval1#每个多长时间检测一次
weight-2#当在/etc/keepalived/下创建一个down文件时执行下面的命令权重减2.
fall3#从正常到失败检测几次完成
raise3#从失败到正常需要检测几次

}
vrrp_instanceVI_1{
interfaceeth1
stateMASTER#BACKUPforslaverouters#当在被节点上修改为BACKUP
priority101#100forBACKUP#被节点的priority数值要小于主节点
virtual_router_id16#主机routeID,
garp_master_delay1
authentication{
auth_typePASS
auth_passpassword#输入验证密码
}
track_interface{
eth0#配置IP地址所在的网卡
}
virtual_ipaddress{
172.16.16.7/16deveth0labeleth0:0#配置的IP地址
}
track_script{#调用检测机制
chk_mantaince_down
}
notify_master"/etc/rc.d/init.d/httpdstart"#当成为master时就启动http服务
notify_backup"/etc/rc.d/init.d/httpdstop"#当成为backup时就关闭http服务
notify_fault"/etc/rc.d/init.d/httpdstop"
}

4)将配置文件同步到slave

scp/etc/keepalived/keepalived.confroot@172.16.16.5:/etc/keepalived/修改配置文件global_defs{notification_email{stu16@llh.com#接收邮件地址}notification_email_fromkanotify@magedu.com#发送邮件地址smtp_connect_timeout3smtp_server127.0.0.1router_idLVS_DEVEL}vrrp_scriptchk_mantaince_down{#定义检测机制script"[[-f/etc/keepalived/down]]&&exit1||exit0"interval1#每个多长时间检测一次weight-2#当在/etc/keepalived/下创建一个down文件时执行下面的命令权重减2.fall3#从正常到失败检测几次完成raise3#从失败到正常需要检测几次}vrrp_instanceVI_1{interfaceeth1stateBACKUP#BACKUPforslaverouters#此处修改为BACKUPpriority100#100forBACKUP#此处修改为100virtual_router_id16#主机routeID,garp_master_delay1authentication{auth_typePASSauth_passpassword#输入验证密码}track_interface{eth0#配置IP地址所在的网卡}virtual_ipaddress{172.16.16.7/16deveth0labeleth0:0#配置的IP地址}track_script{#调用检测机制chk_mantaince_down}notify_master"/etc/rc.d/init.d/httpdstart"#当成为master时就启动http服务notify_backup"/etc/rc.d/init.d/httpdstop"#当成为backup时就关闭http服务notify_fault"/etc/rc.d/init.d/httpdstop"}

5)启动keepalive

[root@node1~]#servicekeepalivedstart正在启动keepalived：[确定][root@node2~]#servicekeepalivedstart正在启动keepalived：[确定]

四:keepalive+lvs 实现LVS双主高可用

1)试验拓扑图

650) this.width=650;" src="https://www.itdaan.com/imgs/4/1/4/1/7/5705ea77c7dbd8b52fdffb815ab5e9e9.jpe" title="lvs双主.png" alt="wKioL1Qeq6DC_ossAAGsTuAN2uU939.jpg">

2)配置RIP1服务

因为RIP服务器配置的有VIP地址所以外面有请求VIP时他也会进行相应，而我们这里是为了实现DR转发，不能让他进行响应，我们需要对RIP的端口信息进行隐藏。echo1>/proc/sys/net/ipv4/conf/eth0/arp_ignore#忽略其他端口发来的请求信息echo2>/proc/sys/net/ipv4/conf/eth0/arp_announce#不广播自己的端口信息echo1>/proc/sys/net/ipv4/conf/all/arp_ignoreecho2>/proc/sys/net/ipv4/conf/all/arp_announceifconfigeth0192.168.16.2/24upifconfiglo:0172.16.16.7netmask255.255.255.255broadcast172.16.16.7routeadd-host172.16.16.7devlo:0响应的信息通过lo:0端口，为了使响应的IP地址为VIifconfiglo:1172.16.16.8netmask255.255.255.255broadcast172.16.16.8routeadd-host172.16.16.8devlo:1

3)配置RIP2服务

echo1>/proc/sys/net/ipv4/conf/eth0/arp_ignore#忽略其他端口发来的请求信息echo2>/proc/sys/net/ipv4/conf/eth0/arp_announce#不广播自己的端口信息echo1>/proc/sys/net/ipv4/conf/all/arp_ignoreecho2>/proc/sys/net/ipv4/conf/all/arp_announceifconfigeth0192.168.16.3/24upifconfiglo:0172.16.16.7netmask255.255.255.255broadcast172.16.16.7routeadd-host172.16.16.7devlo:0响应的信息通过lo:0端口，为了使响应的IP地址为VIifconfiglo:1172.16.16.8netmask255.255.255.255broadcast172.16.16.8routeadd-host172.16.16.8devlo:1

4)配置master

global_defs{notification_email{linuxedu@foxmail.commageedu@126.com}notification_email_fromkanotify@magedu.comsmtp_connect_timeout3smtp_server127.0.0.1router_idLVS_DEVEL}vrrp_scriptchk_schedown{script"[[-f/etc/keepalived/down]]&&exit1||exit0"#创建down文件权重减2interval2weight-2}vrrp_instanceVI_1{interfaceeth0stateMASTER#此节点为主节点priority101virtual_router_id51garp_master_delay1authentication{auth_typePASSauth_passpassword}track_interface{eth0}virtual_ipaddress{172.16.16.7/16deveth0labeleth0:0#配置对外的VIP地址}track_script{chk_schedown}}vrrp_instanceVI_2{interfaceeth0stateBACKUP#此节点为被节点priority100virtual_router_id50garp_master_delay1authentication{auth_typePASSauth_pass12345678}track_interface{eth0}virtual_ipaddress{172.16.16.8/16deveth0labeleth0:1#配置对外的VIP地址}track_script{chk_schedown}}virtual_server172.16.16.780#配置一个VIP工作在TCP的80端口上{delay_loop6#lb_algorr#负载均衡的调度算法lb_kindDR#工作在DR模型上persistence_timeout50#是否启用IPVS持久连接protocolTCP#采用的是TCP协议#sorry_server192.168.16.21358#所有服务挂了,出现的提示页面.要在这台服务器上开启http服务real_server192.168.16.280#后面RIP地址{weight1#权重HTTP_GET{url{path/status_code200#取得主页面的状态,状态码为200就意味着请求成功;也可写入md5码,但要制定静态码}connect_timeout3#每次测试3秒nb_get_retry3#测试次数delay_before_retry3#测试失败在测试3次}}real_server192.168.16.380{weight1HTTP_GET{url{path/status_code200}connect_timeout3nb_get_retry3delay_before_retry3}}}virtual_server172.16.16.880#配置一个VIP工作在TCP的80端口上{delay_loop6#lb_algorr#负载均衡的调度算法lb_kindDR#工作在DR模型上#persistence_timeout50#是否启用IPVS持久连接,这项要注销.连接50S才会切换protocolTCP#采用的是TCP协议#sorry_server192.168.16.21358#所有服务挂了,出现的提示页面.要在这台服务器上开启http服务real_server192.168.16.280#后面RIP地址{weight1#权重HTTP_GET{url{path/status_code200#取得主页面的状态,状态码为200就意味着请求成功;也可写入md5码,但要制定静态码}connect_timeout3#每次测试3秒nb_get_retry3#测试次数delay_before_retry3#测试失败在测试3次}}real_server192.168.16.380{weight1HTTP_GET{url{path/status_code200}connect_timeout3nb_get_retry3delay_before_retry3}}}

5)配置backup

global_defs{notification_email{linuxedu@foxmail.commageedu@126.com}notification_email_fromkanotify@magedu.comsmtp_connect_timeout3smtp_server127.0.0.1router_idLVS_DEVEL}vrrp_scriptchk_schedown{script"[[-f/etc/keepalived/down]]&&exit1||exit0"#创建down文件权重减2interval2weight-2}vrrp_instanceVI_1{interfaceeth0stateBACKUP#此节点为被节点priority100virtual_router_id51garp_master_delay1authentication{auth_typePASSauth_passpassword}track_interface{eth0}virtual_ipaddress{172.16.16.7/16deveth0labeleth0:0#配置对外的VIP地址}track_script{chk_schedown}}vrrp_instanceVI_2{interfaceeth0stateMASTER#此节点为主节点priority101virtual_router_id50garp_master_delay1authentication{auth_typePASSauth_pass12345678}track_interface{eth0}virtual_ipaddress{172.16.16.8/16deveth0labeleth0:1#配置对外的VIP地址}track_script{chk_schedown}}virtual_server172.16.16.780#配置一个VIP工作在TCP的80端口上{delay_loop6#lb_algorr#负载均衡的调度算法lb_kindDR#工作在DR模型上persistence_timeout50#是否启用IPVS持久连接protocolTCP#采用的是TCP协议#sorry_server192.168.16.21358#所有服务挂了,出现的提示页面.要在这台服务器上开启http服务real_server192.168.16.280#后面RIP地址{weight1#权重HTTP_GET{url{path/status_code200}connect_timeout3nb_get_retry3delay_before_retry3}}real_server192.168.16.380{weight1HTTP_GET{url{path/status_code200}connect_timeout3nb_get_retry3delay_before_retry3}}}virtual_server172.16.16.880#配置一个VIP工作在TCP的80端口上{delay_loop6lb_algorrlb_kindDR#persistence_timeout50protocolTCP#sorry_server192.168.16.21358real_server192.168.16.280#后面RIP地址{weight1#权重HTTP_GET{url{path/status_code200}connect_timeout3#每次测试3秒nb_get_retry3#测试次数delay_before_retry3#测试失败在测试3次}}real_server192.168.16.380{weight1HTTP_GET{url{path/status_code200}connect_timeout3nb_get_retry3delay_before_retry3}}}

5)启动keepalive

本文出自 “slayer” 博客，请务必保留此出处http://slayer.blog.51cto.com/4845839/1556734

更多相关文章

随机推荐