[[360762]]

本文轉(zhuǎn)載自微信公眾號(hào)「IT界農(nóng)民工」，作者萊烏 。轉(zhuǎn)載本文請(qǐng)聯(lián)系IT界農(nóng)民工公眾號(hào)。  

Mysql 中數(shù)據(jù)是要落盤的，這點(diǎn)大家都知道。讀寫磁盤速度是很慢的，尤其和內(nèi)存比起來更是沒的說。但是，我們平時(shí)在執(zhí)行 SQL 時(shí)，無論寫操作還是讀操作都能很快得到結(jié)果，并沒有預(yù)想中的那么慢。

可能你會(huì)說我有索引啊，有索引當(dāng)然快了。但是鐵子，索引文件也是存儲(chǔ)在磁盤上的，查找過程會(huì)產(chǎn)生磁盤 I/O。如果同時(shí)對(duì)某行數(shù)據(jù)進(jìn)行多次操作，那豈不是要重復(fù)產(chǎn)生很多次磁盤 IO 嗎?

可能你想到了，那我把數(shù)據(jù)存在內(nèi)存里不就可以了嗎?內(nèi)存速度比磁盤快，這準(zhǔn)沒毛病。沒錯(cuò)，那該怎么存呢? 這就是我們今天所要講的主題——緩沖池(buffer pool)。

各位看官，請(qǐng)跟我來~

- 思維導(dǎo)圖 -

初識(shí)緩沖池

上邊我們提到過了，執(zhí)行 SQL 對(duì)某一行進(jìn)行操作時(shí)，總不能每次都直接進(jìn)行磁盤操作吧。好歹有個(gè)緩沖地帶，不然每次都深入老巢這誰受得了。

這不緩沖池就應(yīng)運(yùn)而生了，簡(jiǎn)單來說就是一塊內(nèi)存區(qū)域。它存在的原因之一是為了避免每次都去訪問磁盤，把最常訪問的數(shù)據(jù)放在緩存里，提高數(shù)據(jù)的訪問速度。

了解了它的作用，接下來讓我們先來看下緩沖池在整個(gè) Mysql 架構(gòu)里處于什么樣的地方，有一個(gè)宏觀的認(rèn)識(shí)。

我們?cè)賮砜纯此膬?nèi)部組成部分。在緩沖池中，除數(shù)據(jù)頁和索引頁外還有多種類型：

緩沖池的應(yīng)用

緩沖池你也了解了，可能此時(shí)你最關(guān)注的是它在 SQL 執(zhí)行時(shí)起了一個(gè)什么樣的作用。上篇文章中我們簡(jiǎn)單的提到過一條 SQL 語句的執(zhí)行過程，但并未涉及到緩沖池相關(guān)的問題。這期我們?nèi)允且砸粭l SQL 來作為切入點(diǎn)。

當(dāng)一條 SQL 執(zhí)行的時(shí)候，如果是讀操作，要查找的數(shù)據(jù)所在的數(shù)據(jù)頁在內(nèi)存中時(shí)，則將結(jié)果返回。否則會(huì)把對(duì)應(yīng)的數(shù)據(jù)頁加載到內(nèi)存中，然后再返回結(jié)果。

同樣對(duì)于寫操作來說。如果要修改的行所在的數(shù)據(jù)頁在內(nèi)存中，則修改后返回對(duì)應(yīng)的結(jié)果(當(dāng)然還有后續(xù)操作)。如果不在的話，則會(huì)從磁盤里將該行所對(duì)應(yīng)的數(shù)據(jù)頁讀到內(nèi)存中再進(jìn)行修改。

好了，現(xiàn)在讓我們回到開始時(shí)候的問題。為什么操作磁盤慢，但是 SQL 執(zhí)行卻不慢呢。到這里相信你也差不多知道了吧。

緩沖池的存在，很大程度減少了磁盤 I/O 帶來的開銷。要操作的數(shù)據(jù)行所在的數(shù)據(jù)頁如果存在于緩存中的話，就不需要從磁盤中進(jìn)行讀取。這樣在執(zhí)行后就可以很快拿到結(jié)果。

緩沖池的預(yù)讀機(jī)制

我們可以看出來，只要不存在或減少磁盤 I/O，執(zhí)行速度自然就會(huì)變快。那么對(duì)于加載數(shù)據(jù)頁這種無法避免的磁盤 I/O 來說是否有更好的方式呢?既然避免不了，那減少磁盤 I/O 的次數(shù)總可以吧?

這就是我們要講的 Mysql 中「預(yù)讀」的新特性，它是 Innodb 通過在緩沖池中提前讀取多個(gè)數(shù)據(jù)頁來優(yōu)化 I/O 的一種方式。因?yàn)榇疟P讀寫的時(shí)候，是按照頁的方式來讀取的(你可以理解為固定大小的數(shù)據(jù)，例如一頁數(shù)據(jù)為 16K)，每次至少讀入一頁的數(shù)據(jù)，如果下次讀取的數(shù)據(jù)就在頁中，就不用再去磁盤上讀取了，從而減少了磁盤 I/O。

可以在命令行通過如下命令查看對(duì)應(yīng)的頁大小：

緩沖池的空間管理

你可能會(huì)有疑問，緩沖池這么洋氣的東西，為什么不把所有的數(shù)據(jù)都放到緩沖池里呢?這樣速度豈不是美滋滋，放到磁盤里慢的跟老牛拉車一樣。

哎，哥，醒醒，拋開內(nèi)存的易失性不談，緩沖池也是有大小限制的。那你可能又有疑惑了，既然緩沖池有大小限制，那我每次都讀入的數(shù)據(jù)頁怎么來管理呢。別的數(shù)據(jù)頁都占了地兒了，哪有我的位置?

這里我們來聊聊緩沖池的空間管理，其實(shí)對(duì)緩沖池進(jìn)行管理的關(guān)鍵部分是如何安排進(jìn)池的數(shù)據(jù)并且按照一定的策略淘汰池中的數(shù)據(jù)，保證池中的數(shù)據(jù)不“溢出”，同時(shí)還能保證常用數(shù)據(jù)留在池子中。

傳統(tǒng) LRU 淘汰法

緩沖池是基于傳統(tǒng)的 LRU 方法來進(jìn)行緩存頁管理的，我們先來看下如果使用 LRU 是如何管理的。

LRU，全稱是 Least Recently Used，中文名字叫作「最近最少使用」。從名字上就很容易理解了。

這里分兩種情況：

(1)緩存頁已在緩沖池中

這種情況下會(huì)將對(duì)應(yīng)的緩存頁放到 LRU 鏈表的頭部，無需從磁盤再進(jìn)行讀取，也無需淘汰其它緩存頁。

如下圖所示，如果要訪問的數(shù)據(jù)在 6 號(hào)頁中，則將 6 號(hào)頁放到鏈表頭部即可，這種情況下沒有緩存頁被淘汰。

(2)緩存頁不在緩沖池中

緩存頁不在緩沖中，這時(shí)候就需要從磁盤中讀入對(duì)應(yīng)的數(shù)據(jù)頁，將其放置在鏈表頭部，同時(shí)淘汰掉末尾的緩存頁

如下圖所示，如果要訪問的數(shù)據(jù)在 60 號(hào)頁中，60 號(hào)頁不在緩沖池中，此時(shí)加載進(jìn)來放到鏈表的頭部，同時(shí)淘汰掉末尾的 17 號(hào)緩存頁。

是不是看上去很簡(jiǎn)單，同時(shí)也能滿足緩沖池淘汰緩存頁的方法?但是我們來思考幾個(gè)問題：

• 預(yù)讀失效

上面我們提到了緩沖池的預(yù)讀機(jī)制可能會(huì)預(yù)先加載相鄰的數(shù)據(jù)頁。假如加載了 20、21 相鄰的兩個(gè)數(shù)據(jù)頁，如果只有頁號(hào)為 20 的緩存頁被訪問了，而另一個(gè)緩存頁卻沒有被訪問。此時(shí)兩個(gè)緩存頁都在鏈表的頭部，但是為了加載這兩個(gè)緩存頁卻淘汰了末尾的緩存頁，而被淘汰的緩存頁卻是經(jīng)常被訪問的。這種情況就是預(yù)讀失效，被預(yù)先加載進(jìn)緩沖池的頁，并沒有被訪問到，這種情況是不是很不合理。

• 緩沖池污染

還有一種情況是當(dāng)執(zhí)行一條 SQL 語句時(shí)，如果掃描了大量數(shù)據(jù)或是進(jìn)行了全表掃描，此時(shí)緩沖池中就會(huì)加載大量的數(shù)據(jù)頁，從而將緩沖池中已存在的所有頁替換出去，這種情況同樣是不合理的。這就是緩沖池污染，并且還會(huì)導(dǎo)致 MySQL 性能急劇下降。

冷熱數(shù)據(jù)分離

這樣看來，傳統(tǒng)的 LRU 方法并不能滿足緩沖池的空間管理。因此，Msyql 基于 LRU 設(shè)計(jì)了冷熱數(shù)據(jù)分離的處理方案。

也就是將 LRU 鏈表分為兩部分，一部分為熱數(shù)據(jù)區(qū)域，一部分為冷數(shù)據(jù)區(qū)域。

當(dāng)數(shù)據(jù)頁第一次被加載到緩沖池中的時(shí)候，先將其放到冷數(shù)據(jù)區(qū)域的鏈表頭部，1s(由 innodb_old_blocks_time 參數(shù)控制) 后該緩存頁被訪問了再將其移至熱數(shù)據(jù)區(qū)域的鏈表頭部。

可能你會(huì)有疑惑了，為什么要等 1s 后才將其移至熱數(shù)據(jù)區(qū)域呢?你想想，如果數(shù)據(jù)頁剛被加載到冷數(shù)據(jù)區(qū)就被訪問了，之后再也不訪問它了呢?這不就造成熱數(shù)據(jù)區(qū)的浪費(fèi)了嗎?要是 1s 后不訪問了，說明之后可能也不會(huì)去頻繁訪問它，也就沒有移至熱緩沖區(qū)的必要了。當(dāng)緩存頁不夠的時(shí)候，從冷數(shù)據(jù)區(qū)淘汰它們就行了。

另一種情況，當(dāng)我的數(shù)據(jù)頁已經(jīng)在熱緩沖區(qū)了，是不是緩存頁只要被訪問了就將其插到鏈表頭部呢?不用我說你肯定也覺得不合理。熱數(shù)據(jù)區(qū)域里的緩存頁是會(huì)被經(jīng)常訪問的，如果每訪問一個(gè)緩存頁就插入一次鏈表頭，那整個(gè)熱緩沖區(qū)里就異常騷動(dòng)了，你想想那個(gè)畫面。

那咋整呢?Mysql 中優(yōu)化為熱數(shù)據(jù)區(qū)的后 3/4 部分被訪問后才將其移動(dòng)到鏈表頭部去，對(duì)于前 1/4 部分的緩存頁被訪問了不會(huì)進(jìn)行移動(dòng)。

好了，到這里關(guān)于 buffer pool 的知識(shí)就講完了。這期里我們講了 buffer pool 能使 SQL 執(zhí)行變快的原因，同時(shí)還講了有關(guān) buffer pool 空間的管理方式。歡迎在留言區(qū)里進(jìn)行討論。

總結(jié)

緩沖池的應(yīng)用

• 緩沖池很大程度減少了磁盤 I/O 帶來的開銷，通過將操作的數(shù)據(jù)行所在的數(shù)據(jù)頁加載到緩沖池可以提高 SQL 的執(zhí)行速度。

緩沖池的預(yù)讀機(jī)制

• 為了減少磁盤 I/O，Innodb 通過在緩沖池中提前讀取多個(gè)數(shù)據(jù)頁來進(jìn)行優(yōu)化，這種方式叫作預(yù)讀。

緩沖池的空間管理

• 傳統(tǒng)的LRU方法對(duì)于緩沖池來說，會(huì)導(dǎo)致預(yù)讀失效和緩沖池污染兩種情況，因此這種傳統(tǒng)的方式并不適用緩沖池的空間管理。
• 基于對(duì) LRU 方法的優(yōu)化，Msyql 設(shè)計(jì)了冷熱數(shù)據(jù)分離的處理方案，將LRU鏈表分為熱數(shù)據(jù)區(qū)和冷數(shù)據(jù)區(qū)兩部分，這樣就可以解決預(yù)讀失效和緩沖池污染的情況。