記一次MySQL刪庫的數據恢復
昨天因為不可描述的原因,數據庫直接被 drop database 刪除。在***時間停止數據庫服務和 Web 服務,備份 MySQL 數據目錄下的所有文件之后,開始走上數據恢復之路。
***次干這種事,各種不得法。因為我們既沒有備份,也沒有開啟 binlog,連 innodb_file_per_tabe_也沒有。一番折騰后向***的朋友圈求救,朋友給了兩個鏈接,最終救了一下命。以下先按編號記下 URL,后續引用之。
1、http://dba.stackexchange.com/questions/23251/is-there-a-way-to-recover-a-dropped-mysql-database
2、https://github.com/chhabhaiya/undrop-for-innodb
3、https://twindb.com/how-to-recover-innodb-dictionary/
其中 URL1 和 URL3 的內容基本上相同,是整個恢復工作的藍本。URL2 是 URL1 中引用的一個 twindb 團隊開發的一個工具,現在他們官方已經刪除了,URL2 是該工具的一個 fork,或者說是備份。
恢復過程以 URL3 為藍本,先去 URL2 git clone 一份代碼下來,然后按其說明編譯,我們在 ubuntu server 14.04 64bit 版本的情況下,成功編譯完成,編譯中需要安裝各種依賴不表。
然后用 stream_parser 處理 ibdata1 文件,接下來恢復 SYS_TABLES 和 SYS_INDEXES,建議此過程中嚴格遵守參考資料,比如把這些資料恢復到 dumps/default 目錄中,而不是隨意起名,以免橫生枝節。
這里還有一個坑,就是 URL3 里用的 c_parser -4f 是會出錯的,而 URL1 里用的是 c_parser -4Df ,就不會出錯,所以大家做的時候一定要把這個 D 加上。感嘆一下,如果不細心的人真的沒法做這事!摔!
接下來按 URL3 的說明把數據字典導入 MySQL。這一步可以不做,按 URL1 里高票答案的方法來獲取索引 ID,比較麻煩。URL3 的方法應該會出這樣的錯:
- ERROR 1148 (42000) at line 2: The used command is not allowed with this MySQL version
這是因為 MySQL 默認不啟用 LOAD DATA LOCAL INFILE 導致的,需要給 mysql 命令加上 --local-infile 參數。這是參考文獻的一個坑。趟過這個坑以后,我可以告訴你一個捷徑,就是 URL2 里的代碼里其實有一個文件 recover_dictionary.sh ,它干的就是恢復數據字典的事情,所以你只要把這個 shell 腳本里的 mysql 都替換成 mysql --local-infile -uroot -pxxxxx 就行,其中 xxxx 是指你的 root 賬號密碼,不過前提是你很聽話的用了前面說的 dumps/default 目錄,不然就再多一輪替換。
接下來的內容,大部分是參考文獻里沒有的了。
恢復數據字典后,就可以用 URL3 介紹的方式找出你對應的所有數據庫和表的索引 ID 了。這個時候就遇到為 c_parser 提供數據表建表語句的問題了,這個問題難就難在先有雞還是先有蛋,一般來說,數據庫都被刪掉了,哪還有辦法去搞出 CREATE TABLE 這種建表語句呢?好就好在我們用的是 django,它對數據遷移的***支持救了我一命。在這里講一句題外話,使用類似 django/ror/laravel 等有數據遷移框架在此就看出多么重要了。只要在根據原有項目做一次 migrate,數據表就建好了,這時候只要用 mysqldump 導出對應表的建表語句即可:
- mysqldump --add-drop-table=0 --add-lock=0 -d DBNAME TABLENAME -uroot -p > xxxx.sql
因為 c_parser 非常弱,只處理 CREATE TABLE 語句,多一點干擾都不行,所以上面的參數都是必要的。
接下來就是參考 URL1 把某一個表的數據恢復出來,這里有一個坑,URL1 里說把數據恢復到 dump.tsv 里,其實是不對的,這里應該用 dumps/default/TABLENAME,別問我為什么知道,我不會告訴你我找這個原因找瞎了眼,好吧,跟你說,因為生成的 load_cmd.sql 里直接引用 dumps/default/TABLENAME,無法設置。所以***我們這里可用的命令是:
- ./c_parser -6f pages-ibdata1/FIL_PAGE_INDEX/0000000000002410.page -t xxxx.sql > dumps/default/TABLENAME 2> load_cmd.sql
把數據恢復出來以后,執行
- mysql --local-infile -uroot -p DBNAME < load_cmd.sql
就可以把數據導進去了,記得在數據庫里查詢一下有沒有成功,如果沒有數據恢復出來,應該是其中的某些環節出了問題。
這樣就成功恢復了某一個表,只要按這里***三條命令(導出建表語句、恢復數據、導入數據)重復地做下去,你就能把基本上所有的數據都恢復出來了。之所以說是 “基本上”,原因是我系統中使用了 utf8mb4 編碼(為了兼容 emoji),結果是如果數據中有 emoji 的內容就會在導入數據的環節出錯,暫時沒有找到辦法恢復這個數據。
以上就是整個恢復過程,枯燥、壓力山大,這種事情我不想再經歷了。如果你也遇到這樣的數據恢復需求,希望這篇筆記能夠幫到你。但也不要指望我能幫到你更多了,我的經驗也僅止于此,天大地大,就此別過,不要找我。謝謝!