成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

MySQL中的binlog和relay-log結構完全詳解

數據庫 MySQL
今天我們來深挖一下mysql的復制機制到底有哪一些,以及binlog和relay-log的結構到底是什么樣子的。

[[342722]]

今天我們來深挖一下mysql的復制機制到底有哪一些,以及binlog和relay-log的結構到底是什么樣子的。

binlog作用

binlog的主要作用是記錄數據庫中表的更改,它只記錄改變數據的sql,不改變數據的sql不會寫入,比如select語句一般不會被記錄,因為他們不會對數據產生任何改動。

用一個實際的場景看下binlog產生的過程,準備sql: 

  1. create table test(text varchar(20));  
  2. insert into test values ('test_text'); 
  3. select * from test;  
  4. flush logs; 

查看binlog 

  1. show binlog events in 'binlog.000029'; 

顯示的結果如下:

binlog

另外,也可以使用mysqlbinlog工具來查看binlog的內容: 

  1. show variables like 'log_%'; #查看日志目錄  
  2. mysqlbinlog --short-form --force-if-open --base64-output=never /usr/local/var/mysql/binlog.000029 

從日志我們可以看到執行了創建表的語句以及一個Format_desc頭和Ratate輪換事件,這個我們會在后面講到,先看幾個字段代表的含義。

Log_name代表日志文件的名稱,比如我這里的查詢是直接查詢binlog.000029,默認的寫法是show binlog events,但是這樣只會查詢到第一個binlog,并不是當前激活狀態的binlog,如果你不知道binlog有哪些,可以用命令: 

  1. show binary logs; #查看binlog列表  
  2. show master status; #查看最新的binlog 

Pos代表文件開始的位置。

Event_type代表事件的類型。

Server_id是創建事件的服務器ID。

End_log_pos代表事件在文件中的結束位置,以上面為例,第一次查詢的結束位置是723,第二次insert之后文件的開始位置就是從723開始。

Info代表事件信息,是一段可讀的文本內容。

binlog日志結構

binlog日志的結構大概是長這樣的,它由索引文件和binlog文件組成,其中binlog事件又包含通用頭、提交頭和事件體3個部分組成。

首先說說索引文件,索引文件的每一行都包含了一個binlog文件的完整文件名(類似host-bin.001),一些命令比如flush logs將所有日志寫入磁盤會影響到索引文件。

每個binlog文件以若干個binlog事件組成,以格式描述事件(Format_description)作為文件頭(上面的binlog圖片Format_desc事件),以日志輪換事件(rotate)作為文件尾。

Format_description包含binlog文件的服務器信息、文件狀態的關鍵信息等。如果服務器關閉或者重啟,則會創建一個新的binlog文件,同時寫入一個新的format_description。他的格式大致如下。 

  1. 2                binlog-version  
  2. string[50]       mysql-server version  
  3. 4                create timestamp  
  4. 1                event header length  
  5. string[p]        event type header lengths 

日志輪換事件則包含下一個binlog的文件名以及開始讀取的位置,它由服務器寫完binlog后添加到文件尾,輪換事件并不會每次都存在,格式如下。 

  1. if binlog-version > 1 {  
  2. 8              position  
  3.  
  4. string[p]      name of the next binlog 

binlog事件包含若干個事務組成的組(group),每個組對應一個事務,如果是create alter語句不屬于事務語句的話,則他們本身就是一個組,每個組要么全部執行,要么都不執行。

binlog事件結構

每個binlog事件由3個部分組成:

  1.  通用頭,包含binlog中所有事件具備的基本信息。
  2.  提交頭,對于不同類型的事件來說,提交頭的內容也不盡相同
  3.  事件體,存儲事件的主要數據,同樣對于不同類型事件也不同。

binlog輪換和清理

從上面的例子我們也可以看出來,binlog并非只有一個,而基于真實的場景來說,始終寫一個binlog文件肯定也是不可取的,而binlog輪換主要有3個場景:

  1.  服務器啟動,每次服務器啟動都會生成一個新的binlog文件。
  2.  達到最大大小,可以通過binlog-cache-size控制大小,達到最大大小后將更換。
  3.  顯示刷新,flush logs將所有日志寫入磁盤,這時候會創建一個新的文件寫入,從第一個例子也能看出來執行完之后生成了一個新的日志binlog.000030的文件并且開始的位置是4。

隨著時間的推移,我們的binlog文件會越來越多,這時候有兩種方式可以清除binlog:

  1.  通過設置expire-logs-days控制想保留的binlog日志文件天數,系統將會自動清理。
  2.  通過PURGE BINARY LOGS手動清理

relay-log結構

relay-log中繼日志是連接master和slave的核心,我們來深入了解一下它的結構和使用。

image-20200909161115718

relay-log的結構和binlog非常相似,只不過他多了一個master.info和relay-log.info的文件。

master.info記錄了上一次讀取到master同步過來的binlog的位置,以及連接master和啟動復制必須的所有信息。

relay-log.info記錄了文件復制的進度,下一個事件從什么位置開始,由sql線程負責更新。

上一篇文章我們提到了整個復制流程的過程大概是這個樣子:

知道binlog和relay-log的結構之后,我們重新梳理一下整個鏈路的流程,這里我們假定master.info和relay-log.info都是存在的情況:

  1.  Master收到客戶端請求語句,在語句結束之前向二進制日志寫入一條記錄,可能包含多個事件。
  2.  此時,一個Slave連接到Master,Master的dump線程從binlog讀取日志并發送到Slave的IO線程。
  3.  IO線程從master.info讀取到上一次寫入的最后的位置。
  4.  IO線程寫入日志到relay-log中繼日志,如果超過指定的relay-log大小,寫入輪換事件,創建一個新的relay-log。
  5.  更新master.info的最后位置
  6.  SQL線程從relay-log.info讀取進上一次讀取的位置
  7.  SQL線程讀取日志事件
  8.  在數據庫中執行sql
  9.  更新relay-log.info的最后位置
  10.  Slave記錄自己的binlog日志

但是在這里IO和SQL線程有會產生重復事件的問題,舉一個場景:

  1.  先記錄中繼日志,然后更新master.info位置
  2.  此時服務器崩潰,寫入master.info失敗
  3.  服務器恢復,再次同步從master.info獲取到的是上一次的位置,會導致事件重復執行

既然會有這個問題還為什么要這樣做呢?假設反過來,先更新master.info再記錄中繼日志,這樣帶來的問題就是丟失數據了。而mysql認為丟失比重復更嚴重,所以要先刷新日志,保大還是保小mysql幫你做了決定。 

 

責任編輯:龐桂玉 來源: Python中文社區
相關推薦

2023-11-23 13:17:39

MySQL?數據庫

2024-05-30 08:03:17

2025-06-06 07:02:43

2020-08-20 12:10:42

MySQL日志數據庫

2024-03-14 14:18:58

MySQL業務設計事務

2010-09-02 14:53:19

DHCP Relay

2009-10-15 13:49:23

結構化布線系統

2023-01-09 08:01:48

MySQL日志中繼

2024-05-28 00:10:00

JavaMySQL數據庫

2010-09-01 09:07:22

DHCP Relay

2025-01-15 13:19:09

MySQL日志事務

2009-11-05 13:38:45

Internet接入

2021-07-12 08:06:32

Java

2024-12-16 00:00:05

MySQL二進制數據

2010-09-08 17:15:45

SQL循環結構

2009-02-11 10:08:53

Cookie屬性JSP

2012-02-06 17:22:44

MySQL

2021-01-26 13:47:08

MySQL存儲數據

2024-08-28 13:09:50

2018-10-12 11:11:39

Oracle內存結構
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 一区二区三区欧美 | 一区二区三区久久 | 成人自拍视频网站 | 综合网中文字幕 | 欧美一区二区三区在线 | 天天拍天天操 | 久久综合九九 | 欧美激情va永久在线播放 | 亚洲精品一区中文字幕乱码 | 色黄爽 | 午夜在线小视频 | 国产精品视频一区二区三区不卡 | 久久久久久网站 | 国产9 9在线 | 中文 | 精品国产免费人成在线观看 | 日本亚洲欧美 | 在线天堂免费中文字幕视频 | 一级在线视频 | 久草在线 | 久久久亚洲成人 | 国产不卡视频在线 | 欧美成人精品在线观看 | 精品日韩一区二区 | 日韩电影在线一区 | 久久国产精品亚洲 | 成人黄视频在线观看 | 欧美不卡在线 | 国产特级毛片 | 天天干狠狠操 | 一区欧美| 特黄级国产片 | 天天色综 | 一级片网站视频 | 久久久噜噜噜久久中文字幕色伊伊 | 国产韩国精品一区二区三区 | 国产九九精品 | 亚洲一区二区三区四区五区午夜 | av一区二区三区在线观看 | 91麻豆精品国产91久久久更新资源速度超快 | 日韩av在线免费 | 九九av |