原創工具binlog2sql：從MySQL binlog得到你要的SQL，binlog2sqlbinlog

原創工具binlog2sql：從MySQL binlog得到你要的SQL，binlog2sqlbinlog

binlog2sql是我開發的mysql binlog解析工具，它能幫助你從binlog得到你要的SQL。根據不同設置，你可以得到原始SQL、回滾SQL、去除主鍵的INSERT SQL等。

用途

• 數據回滾
• 主從切換後數據不一致的修復
• 從binlog生成標准SQL，帶來的衍生功能

安裝

$ git clone https://github.com/danfengcao/binlog2sql.git
$ pip install -r requirements.txt

使用

MySQL server必須設置以下參數:

[mysqld]
server-id = 1
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 1000M
binlog-format = row

基本用法

解析出標准SQL

$ python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -d dbname -t table1 table2 --start-file='mysql-bin.000002' --start-pos=1240

輸出：
INSERT INTO d(`did`, `updateTime`, `uid`) VALUES (18, '2016-12-07 14:01:14', 4);
INSERT INTO c(`id`, `name`) VALUES (0, 'b');
UPDATE d SET `did`=17, `updateTime`='2016-12-07 14:01:14', `uid`=4 WHERE `did`=18 AND `updateTime`='2016-12-07 14:01:14' AND `uid`=4 LIMIT 1;
DELETE FROM c WHERE `id`=0 AND `name`='b' LIMIT 1;

解析出回滾SQL

$ python binlog2sql.py --flashback -h127.0.0.1 -P3306 -uadmin -p'admin' -d dbname -t table1 table2 --start-file='mysql-bin.000002' --start-pos=1240

輸出：
INSERT INTO c(`id`, `name`) VALUES (0, 'b');
UPDATE d SET `did`=18, `updateTime`='2016-12-07 14:01:14', `uid`=4 WHERE `did`=17 AND `updateTime`='2016-12-07 14:01:14' AND `uid`=4 LIMIT 1;
DELETE FROM c WHERE `id`=0 AND `name`='b' LIMIT 1;
DELETE FROM d WHERE `did`=18 AND `updateTime`='2016-12-07 14:01:14' AND `uid`=4 LIMIT 1;

選項

mysql連接配置

-h host; -P port; -u user; -p password

解析模式

--realtime 持續同步binlog。可選。不加則同步至執行命令時最新的binlog位置。

--popPk 對INSERT語句去除主鍵。可選。

-B, --flashback 生成回滾語句。可選。與realtime或popPk不能同時添加。

解析范圍控制

--start-file 起始解析文件。必須。

--start-pos start-file的起始解析位置。可選。默認為start-file的起始位置；

--end-file 末尾解析文件。可選。默認為start-file同一個文件。若解析模式為realtime，此選項失效。

--end-pos end-file的末尾解析位置。可選。默認為end-file的最末位置；若解析模式為realtime，此選項失效。

對象過濾

-d, --databases 只輸出目標db的sql。可選。默認為空。

-t, --tables 只輸出目標tables的sql。可選。默認為空。

應用案例

主從切換後數據不一致的修復，詳細描述可參見example/FixOldMasterExtraData.md

1. 提取old master未同步的數據，並對其中的insert語句去除主鍵（為了防止步驟3中出現主鍵沖突）

$ python binlog2sql.py --popPk -h10.1.1.1 -P3306 -uadmin -p'admin' --start-file='mysql-bin.000040' --start-pos=125466 --end-file='mysql-bin.000041' > oldMaster.sql

2. 將old master回滾，開啟同步。同步正常；

$ python binlog2sql.py --flashback -h10.1.1.1 -P3306 -uadmin -p'admin' --start-file='mysql-bin.mysql-bin.000040' --start-pos=125466 --end-file='mysql-bin.000041' | mysql -h10.1.1.1 -P3306 -uadmin -p'admin'

3. 在new master重新導入改造後的sql；

$ mysql -h10.1.1.2 -P3306 -uadmin -p'admin' < oldMaster.sql

限制

• mysql server必須開啟，離線模式下不能解析binlog
• binlog格式必須是行模式
• flashback模式只支持DML，DDL將不做輸出
• flashback模式，一次性處理的binlog不宜過大，不能超過內存大小(有待優化)
• 目前已測試環境
  • Python 2.7
  • MySQL 5.6

優點（對比mysqlbinlog）

• 純Python開發，安裝與使用都很簡單
• 自帶flashback、popPk解析模式，無需再裝補丁
• 解析為標准SQL，方便理解、調試
• 代碼容易改造，可以支持更多個性化解析

聯系我

有任何問題，請與我聯系 [email protected]

歡迎關注binlog2sql (github.com/danfengcao/binlog2sql)

參考資料

[1] 彭立勳, MySQL下實現閃回的設計思路

[2] __七把刀__, MySQL binlog格式解析

[3] noplay, Pure Python Implementation of MySQL replication protocol build on top of PyMYSQL