基于python的mysql复制工具详解

一简介

python-mysql-replication 是基于python实现的 MySQL复制协议工具，我们可以用它来解析binlog 获取日志的insert，update，delete等事件，并基于此做其他业务需求。比如数据更改时失效缓存，监听dml事件通知下游业务方做对应处理。

其项目信息

获取源代码

git clone http://www.github.com/noplay/python-mysql-replication

使用pip 安装

pip install mysql-replication

权限: 可以直接使用复制账号也可以使用其他账号，但是该账号必须 SELECT, REPLICATION SLAVE, REPLICATION CLIENT 权限

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'replicator'@'%' IDENTIFIED BY 'xxxxx';

log_bin=on ，binlog_format=row，binlog_row_image=FULL

该实例提供解析 binlog 各种事件的集合，每个事件也是一个对象。

初始化BinLogStreamReader()实例需要使用的参数如下:

最简单的用法脚本名 pyreplica.py

开启两个窗口，一个窗口执行，另外一个窗口操作mysql 写入或者修改数据

python pyreplica.py

输出如下:

基于该工具提供的日志事件解析我们可以做很多事情，比较有名的工具 binlog2sql 利用该工具解析binlog 做数据回滚。

mysql-replication.py

执行脚本结果如下图

除了解析binlog，我们还可以用python-mysql-replication 做数据全量加增量迁移。比如仅仅迁移某些大表而不是整个库的时候，可以用到。有兴趣的朋友可以想想大概的算法。

总结