快乐学习
前程无忧、中华英才非你莫属!

Day16-MySQL实战之闪回技术(瞬间恢复DML语句所产生的失误)

一、前言

 有几次做测试,不小心删除了几条数据,和误删除表,一般做法是:利用全备+binlog恢复,这样的做法实在是太恶心,也太麻烦!

 然后小编各种百度,了解到Mysql也是有闪回技术的,只是照比Oracle就差很多,因为Oracle官方就是支持的,内置比较厉害的闪回技术玩法了~

 Mysql一般都是一些江湖郎中弄的一些脚本,并且大多数互联网公司还是选择不开源,我勒个去~

找了如下几篇文章:

MySQL Flashback 闪回功能详解
http://www.cnblogs.com/waynechou/p/mysql_flashback_intro.html

大众点评DBA团队用的闪回 技术:


https://github.com/danfengcao/binlog2sql
从MySQL binlog解析出你要的SQL。根据不同选项,你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。

binlog2sql之MySQL数据闪回实践
http://www.cnblogs.com/xuanzhi201111/p/6602489.html

MySQL工具推荐 | 基于MySQL binlog的flashback工具
http://www.tuicool.com/articles/aMVJJve

我个人最终还是选择使用binlog2sql,从命名以及博客用法,安装简易程度,以及功能和性能方面考虑,最终还是选择了大众点评DBA团队的:binlog2sql

二、安装教程和使用方法

 

yum -y install git
yum -y install python-pip
git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql

pip install -r requirements.txt

然后授权个闪回技术的一个sql用户:

GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO sh@'%' IDENTIFIED BY '123456';

权限说明

  • select:需要读取server端information_schema.COLUMNS表,获取表结构的元信息,拼接成可视化的sql语句

  • super/replication client:两个权限都可以,需要执行'SHOW MASTER STATUS', 获取server端的binlog列表

  • replication slave:通过BINLOG_DUMP协议获取binlog内容的权限

解析出标准SQL

 python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'123456' -dtest -t test3 test4 –start-file='mysql-bin.000002'

选项说明

mysql连接配置

-h host; -P port; -u user; -p password

解析模式

--stop-never 持续同步binlog。可选。不加则同步至执行命令时最新的binlog位置。

-K, --no-primary-key 对INSERT语句去除主键。可选。

-B, --flashback 生成回滚语句,可解析大文件,不受内存限制,每打印一千行加一句SLEEP SELECT(1)。可选。与stop-never或no-primary-key不能同时添加。

解析范围控制

--start-file 起始解析文件。必须。

--start-position/--start-pos start-file的起始解析位置。可选。默认为start-file的起始位置。

--stop-file/--end-file 末尾解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never,此选项失效。

--stop-position/--end-pos stop-file的末尾解析位置。可选。默认为stop-file的最末位置;若解析模式为stop-never,此选项失效。

--start-datetime 从哪个时间点的binlog开始解析,格式必须为datetime,如'2016-11-11 11:11:11'。可选。默认不过滤。

--stop-datetime 到哪个时间点的binlog停止解析,格式必须为datetime,如'2016-11-11 11:11:11'。可选。默认不过滤。

对象过滤

-d, --databases 只输出目标db的sql。可选。默认为空。

-t, --tables 只输出目标tables的sql。可选。默认为空。

应用案例

误删整张表数据,需要紧急回滚

闪回详细介绍可参见example目录下《闪回原理与实战》example/mysql-flashback-priciple-and-practice.md

test库tbl表原有数据
mysql> select * from tbl;
+----+--------+---------------------+
| id | name   | addtime             |
+----+--------+---------------------+
|  1 | 小赵   | 2016-12-10 00:04:33 ||  2 | 小钱   | 2016-12-10 00:04:48 ||  3 | 小孙   | 2016-12-13 20:25:00 ||  4 | 小李   | 2016-12-12 00:00:00 |
+----+--------+---------------------+
4 rows in set (0.00 sec)

mysql> delete from tbl;
Query OK, 4 rows affected (0.00 sec)

20:28时,tbl表误操作被清空
mysql> select * from tbl;
Empty set (0.00 sec)

恢复数据步骤

  1. 登录mysql,查看目前的binlog文件

    mysql> show master status;
    +------------------+-----------+
    | Log_name         | File_size |
    +------------------+-----------+
    | mysql-bin.000051 |       967 || mysql-bin.000052 |       965 |
    +------------------+-----------+

  2. 最新的binlog文件是mysql-bin.000052,我们再定位误操作SQL的binlog位置。误操作人只能知道大致的误操作时间,我们根据大致时间过滤数据。

    shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl --start-file='mysql-bin.000052' --start-datetime='2016-12-13 20:25:00' --stop-datetime='2016-12-13 20:30:00'
    输出:
    INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-13 20:26:00', 4, '小李'); #start 317 end 487 time 2016-12-13 20:26:26
    UPDATE `test`.`tbl` SET `addtime`='2016-12-12 00:00:00', `id`=4, `name`='小李' WHERE `addtime`='2016-12-13 20:26:00' AND `id`=4 AND `name`='小李' LIMIT 1; #start 514 end 701 time 2016-12-13 20:27:07
    DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:33' AND `id`=1 AND `name`='小赵' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
    DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-10 00:04:48' AND `id`=2 AND `name`='小钱' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
    DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-13 20:25:00' AND `id`=3 AND `name`='小孙' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05
    DELETE FROM `test`.`tbl` WHERE `addtime`='2016-12-12 00:00:00' AND `id`=4 AND `name`='小李' LIMIT 1; #start 728 end 938 time 2016-12-13 20:28:05

  3. 我们得到了误操作sql的准确位置在728-938之间,再根据位置进一步过滤,使用flashback模式生成回滚sql,检查回滚sql是否正确(注:真实环境下,此步经常会进一步筛选出需要的sql。结合grep、编辑器等)

    shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttbl --start-file='mysql-bin.000052' --start-position=3346 --stop-position=3556 -B > rollback.sql | cat
    输出:
    INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-12 00:00:00', 4, '小李'); #start 728 end 938 time 2016-12-13 20:28:05
    INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-13 20:25:00', 3, '小孙'); #start 728 end 938 time 2016-12-13 20:28:05
    INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:48', 2, '小钱'); #start 728 end 938 time 2016-12-13 20:28:05
    INSERT INTO `test`.`tbl`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:33', 1, '小赵'); #start 728 end 938 time 2016-12-13 20:28:05

  4. 确认回滚sql正确,执行回滚语句。登录mysql确认,数据回滚成功。

    shell> mysql -h127.0.0.1 -P3306 -uadmin -p&apos;admin&apos; < rollback.sql
    
    mysql> select * from tbl;
    +----+--------+---------------------+
    | id | name   | addtime             |
    +----+--------+---------------------+
    |  1 | 小赵   | 2016-12-10 00:04:33 ||  2 | 小钱   | 2016-12-10 00:04:48 ||  3 | 小孙   | 2016-12-13 20:25:00 ||  4 | 小李   | 2016-12-12 00:00:00 |
    +----+--------+---------------------+

限制

  • mysql server必须开启,离线模式下不能解析

  • 参数 binlog_row_image 必须为FULL,暂不支持MINIMAL

优点(对比mysqlbinlog)

  • 纯Python开发,安装与使用都很简单

  • 自带flashback、no-primary-key解析模式,无需再装补丁

  • flashback模式下,更适合闪回实战

  • 解析为标准SQL,方便理解、调试

  • 代码容易改造,可以支持更多个性化解析

实际在Master主机上安装binlog2sql以及测试

安装目录:/usr/local/

使用数据库账号:root

测试数据库:5.5

1、发现问题新建的授权账号,权限估计还是不够,就直接用root用户玩了!

2、 python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uroot -p&apos;zhangtongle123&apos; -dmydb3 -temployee –start-file=&apos;mysql-bin.000016&apos; –start-datetime=&apos;2017-05-10 12:13:08&apos; –stop-datetime=&apos;2017-05-10 12:19:08&apos;

      备注:有的时候linux系统的时间跟互联网时间不一致。这个你得自己坐下时间更改,和同步了!

    

yum install -y ntpdate
service ntpdate start

 3、python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uroot -p&apos;zhangtongle123&apos; -dmydb3 -temployee –start-file=&apos;mysql-bin.000016&apos; –start-position=4 –stop-position=372 -B > rollback.sql | cat

 4、mysql -h127.0.0.1 -P3306 -uroot -p&apos;zhangtongle123&apos; < rollback.sql

恢复一张表,就是这么简单!

打赏

未经允许不得转载:同乐学堂 » Day16-MySQL实战之闪回技术(瞬间恢复DML语句所产生的失误)

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

特别的技术,给特别的你!

联系QQ:1071235258QQ群:226134712
error: Sorry,暂时内容不可复制!