[[408149]]

本文轉載自微信公眾號「數據和云」，作者崔虎龍。轉載本文請聯系數據和云公眾號。

上次聊到MySQL官方運維工具。這次再了解下常用的開源工具。

目前已收集的并在實際環境中使用過的開源工具如下：

可以說掌握了這些工具(原理和使用技巧)，MySQL的日常運維就更簡單。

備注：介紹中圖片部分是開源社區的，部分是自己按照思路畫的，畫圖有助于理解。

在線DDL變更

pt-osc&gh-ost都是在線變更ddl的工具。

• pt-osc在于觸發器原理

• gh-ost不依賴于觸發器,通過模擬從庫,在binlog中獲取增量變更,再異步應用到ghost表

備注：最終都會有RENAME表名的動作。

備份恢復工具

xtrabackup 二進制在線熱備份工具，支持增量備份。目前物理備份中唯一的選擇。全量方面，其實mysql8.0 clone也算是不錯的選擇。(高版本innobackupex已廢棄)

• mydumper是多線邏輯備份工具，一些自研產品常用的工具，myloader是sql語句導入工具 ，同一個軟件包，跟mydumper結合使用。

壓測工具

• TPCC測試模擬了一個比較復雜的 OLTP應用環境，是一個在線零售公司。此公司對10萬種商品進行銷售，業務模型：批發零售系統，訂單處理下的數據庫的表現。

• sysbench是一個開源的、模塊化的、跨平臺的多線程性能測試工具，可以用來進行CPU、內存、磁盤I/O、線程、數據庫的性能測試。單語句INSERT，SELECT，UPDATE下的數據庫的表現。

區別在于TPCC測試的業務流程，sysbench測試的單語句執行性能。按照自需選擇測試工具。

閃回工具

有時會誤刪或者誤更新數據，binlog格式必須為row，且binlog_row_image=full，并且保留下來的情況下。可以分析binlog回轉SQL語句進行恢復。就是delete→insert ，insert→delete，update→update方式按照時間順序倒序回放。常用的工具有binlog2sql和MyFlash。

大眾點評 binlog2sql：

• 數據庫服務必須在線狀態
• 開發語言Python 2.7, 3.4+
• 僅支持 MySQL 5.6, 5.7

https://github.com/danfengcao/binlog2sql

美團點評 MyFlash：

• 僅支持MySQL 5.6與5.7
• 只能回滾DML(增、刪、改)
• 開發語言c，mysqlbinlog工具配合sed、awk
• 離線解析

https://github.com/Meituan-Dianping/MyFlash

MyFlash做的性能對比：

• binlog2sql是要分析數據庫運行中的一些狀態 和 BINLOG_DUMP協議獲取binlog內容
• mysqlbinlog是因為要把binlog解析的不是標準的SQL語句
• MyFlash是直接生成標準sql語句，效率上更高

慢日志分析

pt-query-digest是 Percona-Toolkit 的組件之一，非常不錯的日志分析工具，優于mysqldumpslow，可以從普通日志、慢查詢日志、二進制日志以及show processlist和tcpdump中對SQL進行分析。

主從一致性驗證

pt-table-checksum 是 Percona-Toolkit 的組件之一，用于檢測MySQL主、從庫的數據是否一致。其原理是在主庫執行基于statement的sql語句來生成主庫數據塊的checksum，把相同的sql語句傳遞到從庫執行，并在從庫上計算相同數據塊的checksum，最后，比較主從庫上相同數據塊的checksum值，由此判斷主從數據是否一致。recursion-method 方式選擇host方式。

其他

• undrop-for-innodb分析ibd文件進行數據恢復工作。當誤刪除數據、無備份，且確保本地ibd文件沒有寫入，數據能恢復。但中文解析可能失敗需注意。
• innodb_rub

innodb_ruby 主要可查看innodb數據庫數據表的各種存儲，解析innodb的文件，用于學習數據庫底層的一些存儲。

備注：這里可以結合官方innnchecksum，分析MySQL8.0的ibd文件結構，便于做個類似的工具

SQL審核web工具

基于Python 及 Django，利于二次開發改造，有開發能力，可以參考。主要是依賴于pt-toolkit進行整合開發的。

• Yearning

自動化SQL語句審核，可對SQL進行自動檢測并執行。DDL/DML語句執行后自動生成回滾語句。前身是Inception。

https://github.com/cookieY/Yearning

• Archery

集成SQL查詢、審核、執行、備份、慢日志管理等功能。

https://github.com/hhyo/Archery

客戶端圖形化管理工具

主要解決數據庫管理員、程序開發者提供可視化的SQL開發、數據操作、以及數據庫管理功能，易學易用。特別是數據導入導出功能和二進制數據轉化圖片方面，比較方便。但對于DBA來說是一個潛在的風險，長時間使用這些工具，命令行易忘記。

從上到下推薦：

• Navicat
• SQLyog
• HeidiSQL：采用 Delphi 開發，支持 Windows 操作系統。支持 MySQL、MariaDB、Percona Server 和微軟的 SQL Server
• MySQL Workbench 官方管理重量級工具
• PhpMyAdmin 安裝部署比較麻煩，早起使用的多

總結

對于MySQL5.7版本這些工具目前支持的都非常友好，但8.0版本目前很多工具不兼容。

工具就是替代一部分功能，提高效率的。MySQL運維中提高工作效率，就需要引入這些工具，也需要使用得當，理解并熟悉用法，才是運維之道。