MySQL高可用性之Keepalived+Mysql

一版本。

mysql数据库版本：Preconna Server ,MariaDB还是MYSQL

1.mysql三种存储引擎

mysql提供了两种存储引擎，MyISAM,InnoDB.xtraDB

MyISAM没有日志和事物支持。所以I/0性能非常好

InnoDB有日志支持提供事务支持。（通过日志记录，方便恢复。增强了mysql的健壮性）

mysql5.5版本默认为InnoDB

xtraDB是InnoDB存储引擎的增强版本，提供了对更高性能计算机的支持。

2.Percona Server 分支

由 Percona 公司（mysql咨询公司）发布的mysql版本。提供xtraDB引擎，附带了Percona-toolkit等管理工具。

不过percona Server 是闭源的。

3.MariaDB

MariaDB10.0.9版本使用xtraDB引擎。有mysql创始人开发的开源版本。避免甲骨文公司闭源mysql的风险。

二 mysql 命令操作

1.连接mysql

#cd /usr/local/mysql

小技巧；隐藏密码。在命令行下输入

#HISTCONTROL=ignorespace 下面的输入总先输入空格就不会记录内容

#./bin/mysql -h 主机名称 -u 用户名 -p 密码 -h 主机名 -A （可以切换库名）

#./bin/mysql -uroot -p

mysql> show dattabases; (查看数据库名)

mysql> use database (切换数据库)

mysql> show tables (查看database库的表)

mysql> desc table (查看表的结构)

mysql> create database name (创建库)

mysql> create table swa (a int,b varchar(200)); （创建表swa)

mysql> desc swa;

+-------+--------------+------+-----+---------+-------+

+-------+--------------+------+-----+---------+-------+

| a | int(11) | YES | | NULL | |

| b | varchar(200) | YES | | NULL | |

+-------+--------------+------+-----+---------+-------+

mysql> alter table swa add id int(4) default '0';(增加表的字段)

mysql>rename table 原表名 to 新表名;(修改表的名称)

mysql> insert into swa values(11,'aasdfsdfsf'); (插入数据)

mysql> select * from swa;

+------+------------+

| a | b |

+------+------------+

| 11 | aasdfsdfsf |

+------+------------+

mysql> insert into swa values(12,'123424'); (写入内容到swa表)

mysql> select * from swa where a=11;

+------+------------+

| a | b |

+------+------------+

| 11 | aasdfsdfsf |

+------+------------+

mysql> select * from swa where a=12;

+------+--------+

| a | b |

+------+--------+

| 12 | 123424 |

+------+--------+

mysql> drop table name; （删除表）

mysql> drop database name; (删除库)

如果是删除没有的数据库会报错。解决方法：

mysql> drop database if exists name; (在 database 后面判断是否含有数据库)

2.修改密码：在shell下（不在mysql里面）使用/bin/mysqladmin 命令：

格式 mysqladmin -u 用户名 -p 旧密码 password 新密码

# ./bin/mysqladmin -uroot -proot password root123

Warning: Using a password on the command line interface can be insecure.

3.增加新用户/授权用户

格式 grant 权限 on 数据库.数据表 to 用户名@登录主机 identified by '密码'；

如果登陆主机设置成%表示任意主机都可以登录，(十分危险)

mysql> grant select,insert on swa.* to code@localhost identified by '123';

删除用户；（原理：删除 mysql库下的user表的数据）

mysql> drop user code@localhost;

4.备份数据库：在shell下（不在mysql里面）使用/bin/mysqldump 命令

# ./bin/mysqldump -u 用户名 -p 数据库名称 > 路径.sql

# ./bin/mysqldump -u 用户名 -p 数据库名称表名称 > 路径.sql (备份表)

5.还原数据库。

1.在shell命令行下：

./bin/mysql -u 用户名 -p -A 数据库名称< 路径.sql

2.进入数据库

mysql> use swa;

mysql> source 路径.sql;

三 mysql的高可用构架 mysql主从复制 .

123:作为主库mysql:DB1 124：作为从库mysql:DB2

DB1的配置：默认配置文件/etc/my.cnf

[mysqld]

server-id = 1

log-bin=mysql-bin

relay-log = mysql-relay-bin

replicate-wild-ignore-table=mysql.%

replicate-wild-ignore-table=test.%

replicate-wild-ignore-table=information_schema.%

简析含义：

server-id = 1 #节点的识别符，主从的要不一致

log-bin=mysql-bin # 二进制文件的命名格式

relay-log = mysql-relay-bin #从服务器中继日志的格式

replicate-wild-ignore-table #可以忽略同步的数据库名

DB2:slave 的配置也是在/etc/my.cnf的[mysqld]字段

###############slave####################

server_id = 2

#log-bin=mysql-bin

relay-log = mysql-relay-bin

replicate-wild-ignore-table=mysql.%

replicate-wild-ignore-table=test.%

replicate-wild-ignore-table=information_schema.%

#########################################

配置主从；

1.同步数据：

DB1：mysql>FLUSH TABLES WITH READ LOCK; #锁表

> UNLOCK TABLES;#解锁

将DB1的数据拷贝到DB2的位置上。

2.在DB1上给DB2赋予权限：

mysql>grant replication slave on *.* to 'rep_user'@'192.168.1.124' identified by 'rep_user';

mysql> show master status;

+------------------+----------+--------------+------------------+-------------------+

+------------------+----------+--------------+------------------+-------------------+

| mysql-bin.000001 | 334 | | | |

+------------------+----------+--------------+------------------+-------------------+

3.在DB2上配置slave，并开启slave

mysql> change master to master_host='192.168.1.123',master_user='rep_user',master_password='rep_user',master_log_file='mysql-bin.000001',master_log_pos=334;

mysql> start slave;

错误信息：

Last_SQL_Error: Error 'Can't drop database 'swa1'; database doesn't exist' on query. Default database: 'swa1'. Query: 'drop database swa1'

DB2: mysql> stop slave;

mysql> set global sql_slave_skip_counter=1;

msyql > start slave;

也可以反过来做。DB2为主。DB1为从。DB2的my.cnf开启log-bin日志。在DB2上给DB1权限。DB1配置从信息。

如果出现错误：请检查几个地方：

change master to master_host='192.168.1.123',master_user='rep_user',master_password='rep_user',master_log_file='mysql-bin.000001',master_log_pos=334;

这条语句中所有的参数都是","相连的。还有就是这些参数不要写错。

在这些的基础上，再检查:DB1和DB2 是否可以通信 ping.查看3306端口是否开启。安全机制如果不会配的话就关闭。

为了实现高可用：下面安装keepalived实现高可用

下载软件： wget http://www.keepalived.org/software/keepalived-1.2.12.tar.gz

安装软件：

tar xf

cd keepalived-1.2.12

./configure --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-431.5.1.el6.x86_64

错误提示：!!! Can not include OpenSSL headers files.

configure: error: ! OpenSSL is not properly installed on your system

解决方法：# yum install openssl-devel perl-DBI perl-DBD-MySQL -y

（我的监测脚本是perl语言的所以安装了perl的扩展模块）

./configure --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-431.5.1.el6.x86_64

make && make install

两台机器做keepalived：

123：master 124 backup

123的配置

vim keepalived.conf

global_defs {

notification_email {

acassen@firewall.loc

failover@firewall.loc

sysadmin@firewall.loc

}

notification_email_from Alexandre.Cassen@firewall.loc

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id MySQLHA_DEVEL

}

vrrp_script check_mysqld {

script "/etc/keepalived/mysqlcheck/check_slave.pl 127.0.0.1" #这里的脚本一定要有执行权限

interval 2

}

vrrp_instance HA_1 {

state MASTER # 如果主机出现问题，会切换到备机上。等到主机恢复了。切换回主机。

interface eth0

virtual_router_id 80

priority 100

advert_int 2

authentication {

auth_type PASS

auth_pass qweasdzxc

}

track_script {

check_mysqld

}

virtual_ipaddress {

192.168.1.133/24 dev eth0

}

124的配置：vim keepalived.conf

global_defs {

notification_email {

acassen@firewall.loc

failover@firewall.loc

sysadmin@firewall.loc

}

notification_email_from Alexandre.Cassen@firewall.loc

smtp_server 192.168.200.1

smtp_connect_timeout 30

router_id MySQLHA_DEVEL

}

vrrp_script check_mysqld {

script "/etc/keepalived/mysqlcheck/check_slave.pl 127.0.0.1" #检测mysql复制状态的脚本

interval 2

# weight 21 #如果是多台BACKUP的时候开启。2台不开启。容易导致解析错误

}

vrrp_instance HA_1 {

state BACKUP #在DB1和DB2上均配置为BACKUP

interface eth0

virtual_router_id 80

priority 90 #这里的数值不同

advert_int 2

# nopreempt #不抢占模式，只在优先级高的机器上设置即可，优先级低的机器不设置

authentication {

auth_type PASS

auth_pass qweasdzxc

}

track_script {

check_mysqld

}

virtual_ipaddress {

192.168.1.133/24 dev eth0 #mysql的对外服务IP，即VIP

}

下面是check_slave.pl

#!/usr/bin/perl -w

use DBI;

use DBD::mysql;

# CONFIG VARIABLES

$SBM = 120;

$db = "";

$host = $ARGV[0];

$port = 3306;

$user = "root";

$pw = "";

# SQL query

$query = "show slave status";

$dbh = DBI->connect("DBI:mysql:$db:$host:$port", $user, $pw, { RaiseError => 0,PrintError => 0 });

if (!defined($dbh)) {

exit 1;

}

$sqlQuery = $dbh->prepare($query);

$sqlQuery->execute;

$Slave_IO_Running = "";

$Slave_SQL_Running = "";

$Seconds_Behind_Master = "";

while (my $ref = $sqlQuery->fetchrow_hashref()) {

$Slave_IO_Running = $ref->{'Slave_IO_Running'};

$Slave_SQL_Running = $ref->{'Slave_SQL_Running'};

$Seconds_Behind_Master = $ref->{'Seconds_Behind_Master'};

}

$sqlQuery->finish;

$dbh->disconnect();

if ( $Slave_IO_Running eq "No" || $Slave_SQL_Running eq "No" ) {

exit 1;

} else {

if ( $Seconds_Behind_Master > $SBM ) {

exit 1;

} else {

exit 0;

}

这里遇到的问题是脚本没有权限的话。keepalived启动不了VIP，此外这个脚本还需要perl扩展支持。前面已经yum了。

测试；开启另一台同网段的主机。

在123 和124 上分别赋予权限。

# grant all privileges on *.* to 'root'@'新开启的主机ip' identified by 'root';

在新开启的主机上登录；

./bin/mysql -uroot -p -h 192.168.1.133

这里需要注意的是：-h 跟VIP 地址需要 keepalived服务成功启动。不然生成不了VIP。

mysql > show variables like '%hostname%'

mysql >show variables like '%hostname%';

可以查看是登录的是哪台mysql机器。

keepalived工作原理

keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

keepalived主要有三个模块，分别是core、check和vrrp。

core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。

check负责健康检查，包括常见的各种检查方式。

vrrp模块是来实现VRRP协议的。

keepalived的配置文件

keepalived只有一个配置文件keepalived.conf，里面主要包括以下几个配置区域，

分别是global_defs、static_ipaddress、static_routes、vrrp_script、vrrp_instance和

virtual_server。

global_defs区域

主要是配置故障发生时的通知对象以及机器标识

global_defs {

notification_email {

a@abc.com

b@abc.com

... } notification_email_from alert@abc.com

smtp_server smtp.abc.com

smtp_connect_timeout 30 enable_traps

router_id host163}

notification_email 故障发生时给谁发邮件通知。

notification_email_from 通知邮件从哪个地址发出。

smpt_server 通知邮件的smtp地址。

smtp_connect_timeout 连接smtp服务器的超时时间。

enable_traps 开启SNMP陷阱（Simple Network Management Protocol）。

router_id 标识本节点的字条串，通常为hostname，但不一定非得是hostname。故障发生时，邮件通知会用到。

static_ipaddress和static_routes区域

static_ipaddress和static_routes区域配置的是是本节点的IP和路由信息。如果你的机器上已经配置了IP和路由，那么这两个区域可以不用配置。其实，一般情况下你的机器都会有IP地址和路由信息的，因此没必要再在这两个区域配置。

static_ipaddress { 10.210.214.163/24 brd 10.210.214.255 dev eth0

...}static_routes { 10.0.0.0/8 via 10.210.214.1 dev eth0

...}

以上分别表示启动/关闭keepalived时在本机执行的如下命令：

# /sbin/ip addr add 10.210.214.163/24 brd 10.210.214.255 dev eth0# /sbin/ip route add 10.0.0.0/8 via 10.210.214.1 dev eth0# /sbin/ip addr del 10.210.214.163/24 brd 10.210.214.255 dev eth0# /sbin/ip route del 10.0.0.0/8 via 10.210.214.1 dev eth0

注意：请忽略这两个区域，因为我坚信你的机器肯定已经配置了IP和路由。

vrrp_script区域

用来做健康检查的，当时检查失败时会将vrrp_instance的priority减少相应的值。

vrrp_script chk_http_port { script "</dev/tcp/127.0.0.1/80" interval 1 weight -10}

以上意思是如果script中的指令执行失败，那么相应的vrrp_instance的优先级会减少10个点。

vrrp_instance和vrrp_sync_group区域

vrrp_instance用来定义对外提供服务的VIP区域及其相关属性。

vrrp_rsync_group用来定义vrrp_intance组，使得这个组内成员动作一致。举个例子来说明一下其功能：

两个vrrp_instance同属于一个vrrp_rsync_group，那么其中一个vrrp_instance发生故障切换时，另一个vrrp_instance也会跟着切换（即使这个instance没有发生故障）。

vrrp_sync_group VG_1 { group { inside_network # name of vrrp_instance (below) outside_network # One for each moveable IP. ... } notify_master /path/to_master.sh

notify_backup /path/to_backup.sh

notify_fault "/path/fault.sh VG_1" notify /path/notify.sh

smtp_alert}vrrp_instance VI_1 { state MASTER

interface eth0

use_vmac <VMAC_INTERFACE> dont_track_primary

track_interface { eth0

eth1

} mcast_src_ip <IPADDR> lvs_sync_daemon_interface eth1

garp_master_delay 10 virtual_router_id 1 priority 100 advert_int 1 authentication { auth_type PASS

auth_pass 12345678 } virtual_ipaddress { 10.210.214.253/24 brd 10.210.214.255 dev eth0

192.168.1.11/24 brd 192.168.1.255 dev eth1

} virtual_routes { 172.16.0.0/12 via 10.210.214.1 192.168.1.0/24 via 192.168.1.1 dev eth1

default via 202.102.152.1 } track_script { chk_http_port

} nopreempt

preempt_delay 300 debug

notify_master <STRING>|<QUOTED-STRING> notify_backup <STRING>|<QUOTED-STRING> notify_fault <STRING>|<QUOTED-STRING> notify <STRING>|<QUOTED-STRING> smtp_alert}

notify_master/backup/fault 分别表示切换为主/备/出错时所执行的脚本。

notify 表示任何一状态切换时都会调用该脚本，并且该脚本在以上三个脚本执行完成之后进行调用，keepalived会自动传递三个参数（$1 = "GROUP"|"INSTANCE"，$2 = name of group or instance，$3 = target state of transition(MASTER/BACKUP/FAULT)）。

smtp_alert 表示是否开启邮件通知（用全局区域的邮件设置来发通知）。

state 可以是MASTER或BACKUP，不过当其他节点keepalived启动时会将priority比较大的节点选举为MASTER，因此该项其实没有实质用途。

interface 节点固有IP（非VIP）的网卡，用来发VRRP包。

use_vmac 是否使用VRRP的虚拟MAC地址。

dont_track_primary 忽略VRRP网卡错误。（默认未设置）

track_interface 监控以下网卡，如果任何一个不通就会切换到FALT状态。（可选项）

mcast_src_ip 修改vrrp组播包的源地址，默认源地址为master的IP。（由于是组播，因此即使修改了源地址，该master还是能收到回应的）

lvs_sync_daemon_interface 绑定lvs syncd的网卡。

garp_master_delay 当切为主状态后多久更新ARP缓存，默认5秒。

virtual_router_id 取值在0-255之间，用来区分多个instance的VRRP组播。

注意：同一网段中virtual_router_id的值不能重复，否则会出错，相关错误信息如下。

Keepalived_vrrp[27120]: ip address associated with VRID not present in received packet :one or more VIP associated with VRID mismatch actual MASTER advert

bogus VRRP packet received on eth1 !!!receive an invalid ip number count associated with VRID!VRRP_Instance(xxx) ignoring received advertisment...

可以用这条命令来查看该网络中所存在的vrid：tcpdump -nn -i any net 224.0.0.0/8

priority 用来选举master的，要成为master，那么这个选项的值最好高于其他机器50个点，该项取值范围是1-255（在此范围之外会被识别成默认值100）。

advert_int 发VRRP包的时间间隔，即多久进行一次master选举（可以认为是健康查检时间间隔）。

authentication 认证区域，认证类型有PASS和HA（IPSEC），推荐使用PASS（密码只识别前8位）。

virtual_ipaddress vip，不解释了。

virtual_routes 虚拟路由，当IP漂过来之后需要添加的路由信息。

virtual_ipaddress_excluded 发送的VRRP包里不包含的IP地址，为减少回应VRRP包的个数。在网卡上绑定的IP地址比较多的时候用。

nopreempt 允许一个priority比较低的节点作为master，即使有priority更高的节点启动。

首先nopreemt必须在state为BACKUP的节点上才生效（因为是BACKUP节点决定是否来成为MASTER的），其次要实现类似于关闭auto failback的功能需要将所有节点的state都设置为BACKUP，或者将master节点的priority设置的比BACKUP低。我个人推荐使用将所有节点的state都设置成BACKUP并且都加上nopreempt选项，这样就完成了关于autofailback功能，当想手动将某节点切换为MASTER时只需去掉该节点的nopreempt选项并且将priority改的比其他节点大，然后重新加载配置文件即可（等MASTER切过来之后再将配置文件改回去再reload一下）。

当使用track_script时可以不用加nopreempt，只需要加上preempt_delay 5，这里的间隔时间要大于vrrp_script中定义的时长。

preempt_delay master启动多久之后进行接管资源（VIP/Route信息等），并提是没有nopreempt选项。

virtual_server_group和virtual_server区域

virtual_server_group一般在超大型的LVS中用到，一般LVS用不过这东西，因此不多说。

virtual_server IP Port { delay_loop <INT> lb_algo rr|wrr|lc|wlc|lblc|sh|dh

lb_kind NAT|DR|TUN

persistence_timeout <INT> persistence_granularity <NETMASK> protocol TCP

ha_suspend

virtualhost <STRING> alpha

omega

quorum <INT> hysteresis <INT> quorum_up <STRING>|<QUOTED-STRING> quorum_down <STRING>|<QUOTED-STRING> sorry_server <IPADDR> <PORT> real_server <IPADDR> <PORT> { weight <INT> inhibit_on_failure

notify_up <STRING>|<QUOTED-STRING> notify_down <STRING>|<QUOTED-STRING> # HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK HTTP_GET|SSL_GET { url { path <STRING> # Digest computed with genhash digest <STRING> status_code <INT> } connect_port <PORT> connect_timeout <INT> nb_get_retry <INT> delay_before_retry <INT> } }}

delay_loop 延迟轮询时间（单位秒）。

lb_algo 后端调试算法（load balancing algorithm）。

lb_kind LVS调度类型NAT/DR/TUN。

virtualhost 用来给HTTP_GET和SSL_GET配置请求header的。

sorry_server 当所有real server宕掉时，sorry server顶替。

real_server 真正提供服务的服务器。

weight 权重。

notify_up/down 当real server宕掉或启动时执行的脚本。

健康检查的方式，N多种方式。

path 请求real serserver上的路径。

digest/status_code 分别表示用genhash算出的结果和http状态码。

connect_port 健康检查，如果端口通则认为服务器正常。

connect_timeout,nb_get_retry,delay_before_retry分别表示超时时长、重试次数，下次重试的时间延迟。

其他选项暂时不作说明。

keepalived主从切换

主从切换比较让人蛋疼，需要将backup配置文件的priority选项的值调整的比master高50个点，然后reload配置文件就可以切换了。当时你也可以将master的keepalived停止，这样也可以进行主从切换。

keepalived仅做HA时的配置

请看该文档同级目录下的配置文件示例。

说明：

10.210.214.113 为keepalived的备机，其配置文件为113.keepalived.conf

10.210.214.163 为keepalived的主机，其配置文件为163.keepalived.conf

10.210.214.253 为Virtual IP，即提供服务的内网IP地址，在网卡eth0上面

192.168.1.11 为模拟的提供服务的公网IP地址，在网卡eth1上面

用tcpdump命令来捕获的结果如下：

17:20:07.919419 IP 10.210.214.163 > 224.0.0.18: VRRPv2, Advertisement, vrid 1, prio 200, authtype simple, intvl 1s, length 20

LVS+Keepalived配置

注Keepalived与LVS结合使用时一般还会用到一个工具ipvsadm，用来查看相关VS相关状态，关于ipvsadm的用法可以参考man手册。

10.67.15.95为keepalived master，VIP为10.67.15.94，配置文件为95-lvs-keepalived.conf

10.67.15.96为keepalived master，VIP为10.67.15.94，配置文件为96-lvs-keepalived.conf

10.67.15.195为real server

注意：

当使用LVS+DR+Keepalived配置时，需要在real server上添加一条iptables规则（其中dport根据情况添加或缺省）：

# iptables -t nat -A PREROUTING -p tcp -d 10.67.15.94 --dport 80 -j REDIRECT

当使用LVS+NAT+Keepalived配置时，需要将real server的默认路由配置成Director的VIP10.67.15.94，必须确保client的请求是通过10.67.15.94到达real server的。

安装keepalived

从keepalived官网下载合适的版本，解压并执行如下命令完成安装。

# cd keepalived-xxx# ./configure --bindir=/usr/bin --sbindir=/usr/sbin --sysconfdir=/etc --mandir=/usr/share# make && make install

你也可以打成RPM包，然后安装。

说明

我们用到的HA场景如下：两台主机host113和host163，内网IP在eth1网卡上，分别是10.210.214.113和10.210.214.163，VIP为公网IP在eth0上，IP地址是202.102.152.253，网关为202.102.152.1。当VIP在host113上提供服务时，host113上的默认路由为202.102.152.1，提供服务的端口为202.102.152.253:443。host113发生故障需要将VIP及服务切回到host163上的时候，需要以下几步，第一将VIP接管过来，第二添加默认路由202.102.152.1，第三启动在端口202.102.152.253:443上的服务。

如此一来，keepalived需要另外的脚本来完成添加默认路由和启动服务工作，这点和heartbeat中的resources是相同的。目前我进行了测试，发现keepalived速度要比heartbeat快，也就是说效率比heartbeat高。并且，最重要的一点，keepalived支持多个backup。

不要问我为何有以上需求。要为两个不同的域名提供https服务，由于SSL证书问题，必须有两个公网IP地址分别绑定443端口。

当然，通过SNI也可以实现一个公网IP绑定443端口来为多个域名提供https服务，但是这需要浏览器支持（M$的IE浏览器不支持）。（nginx/apache）

吐槽

keepalived的主从切换比较让人蛋疼，需要修改配置文件或停止一方的运行。但是由于keepalived是通过vrrp协议来实现failover（故障转移）的，因此也决定了手动主从切换的不便。

keepalived的文档也很旧了，一直都找不到合适的文档，之前我就一直忽略了vrrp_script这个区域，导致很多事情想不通。

更多相关文章

随机推荐