弱隔離級(jí)別 & 事務(wù)并發(fā)問題
介紹弱隔離級(jí)別
為什么要有弱隔離級(jí)別
如果兩個(gè)事務(wù)操作的是不同的數(shù)據(jù), 即不存在數(shù)據(jù)依賴關(guān)系, 則它們可以安全地并行執(zhí)行。但是當(dāng)出現(xiàn)某個(gè)事務(wù)修改數(shù)據(jù)而另一個(gè)事務(wù)同時(shí)要讀取該數(shù)據(jù), 或者兩個(gè)事務(wù)同時(shí)修改相同數(shù)據(jù)時(shí), 就會(huì)出現(xiàn)并發(fā)問題。
在應(yīng)用程序的開發(fā)中,我們通常會(huì)利用鎖進(jìn)行并發(fā)控制,確保臨界區(qū)的資源不會(huì)出現(xiàn)多個(gè)線程同時(shí)進(jìn)行讀寫的情況,這其實(shí)就對(duì)應(yīng)了事務(wù)的最高隔離級(jí)別:可串行化。可串行化隔離意味著數(shù)據(jù)庫保證事務(wù)的最終執(zhí)行結(jié)果與串行 (即一次一個(gè), 沒有任何并發(fā)) 執(zhí)行結(jié)果相同。
那么為什么應(yīng)用程序中可以提供可串行化的隔離級(jí)別,而數(shù)據(jù)庫卻不能呢?其實(shí)根本原因就是應(yīng)用程序?qū)εR界區(qū)大多是內(nèi)存操作,而數(shù)據(jù)庫要保證持久性(Durability),需要把臨界區(qū)的數(shù)據(jù)持久化到磁盤,可是磁盤操作比內(nèi)存操作要慢好幾個(gè)數(shù)量級(jí),一次隨機(jī)訪問內(nèi)存、 固態(tài)硬盤 和 機(jī)械硬盤,對(duì)應(yīng)的操作時(shí)間分別為幾十納秒、幾十微秒和幾十毫秒,這會(huì)導(dǎo)致持有鎖的時(shí)間變長,對(duì)臨界區(qū)資源的競爭將會(huì)變得異常激烈,數(shù)據(jù)庫的性能則會(huì)大大降低。
所以,數(shù)據(jù)庫的研究者就對(duì)事務(wù)定義了隔離級(jí)別這個(gè)概念,也就是在高性能與正確性之間做一個(gè)權(quán)衡,相當(dāng)于明確地告訴使用者,我們提供了正確性差一點(diǎn)但是性能好一點(diǎn)的模式,以及正確性好一點(diǎn)但是性能差一點(diǎn)的模式,使用者可以根據(jù)自己的業(yè)務(wù)場景來選擇一個(gè)合適的隔離級(jí)別。
弱隔離級(jí)別帶來的風(fēng)險(xiǎn)
弱隔離級(jí)別就是非串行化隔離級(jí)別。
較弱的隔離級(jí)別, 它可以防止某些并發(fā)問題,但并非全部的并發(fā)問題。
使用這些弱隔離級(jí)別,事務(wù)并發(fā)執(zhí)行時(shí),可能會(huì)出現(xiàn)異常情況,帶來一些難以捉摸的隱患,因此,我們需要了解弱隔離級(jí)別存在的并發(fā)問題以及如何防范存在的并發(fā)問題。 然后, 我們就可以使用所掌握的工具和方法來構(gòu)建正確、 可靠的應(yīng)用。
各種隔離級(jí)別
SQL-92 標(biāo)準(zhǔn)定義了 4 種事務(wù)的隔離級(jí)別:讀未提交(Read Uncommitted)、讀已提交(Read Committed)、可重復(fù)讀(Repeatable Read)和可串行化(Serializable),在后面的發(fā)展過程中,又增加了快照隔離級(jí)別(Snapshot Isolation)。
不同的弱隔離級(jí)別解決了不同的并發(fā)問題(正確性問題),同時(shí)也存在一些并發(fā)問題。
下面是各種隔離級(jí)別及對(duì)應(yīng)的并發(fā)問題:
- :heavy_check_mark:代表該隔離級(jí)別已解決該并發(fā)問題;
- :x:代表該隔離級(jí)別未解決該并發(fā)問題。
SQL 標(biāo)準(zhǔn)對(duì)隔離級(jí)別的定義還是存在一些缺陷,某些定義模棱兩可,不夠精確,且不能做到與實(shí)現(xiàn)無關(guān),所以上面的表格只是對(duì)常見的隔離級(jí)別并發(fā)問題的定義,你可以把它當(dāng)成一個(gè)通用的標(biāo)準(zhǔn)參考。
當(dāng)你使用某一個(gè)數(shù)據(jù)庫時(shí),需要讀一下它的文檔,確定好它的每一種隔離級(jí)別具體的并發(fā)問題。
- MySQL 的默認(rèn)隔離級(jí)別為:可重復(fù)讀。
- Oracle、PostgreSQL 的默認(rèn)隔離級(jí)別為:讀已提交
事務(wù)并發(fā)執(zhí)行時(shí),存在的并發(fā)問題
如果兩個(gè)事務(wù)操作的是不同的數(shù)據(jù), 即不存在數(shù)據(jù)依賴關(guān)系, 則它們可以安全地并行執(zhí)行。但是當(dāng)出現(xiàn)某個(gè)事務(wù)修改數(shù)據(jù)而另一個(gè)事務(wù)同時(shí)要讀取該數(shù)據(jù), 或者兩個(gè)事務(wù)同時(shí)修改相同數(shù)據(jù)時(shí), 就會(huì)出現(xiàn)并發(fā)問題。
并發(fā)問題總結(jié):
- 臟寫 :一個(gè)事務(wù)覆蓋了其他事務(wù)尚未提交的寫入。
- 臟讀 :一個(gè)事務(wù)讀到了其他事務(wù)尚未提交的寫入。
- 不可重復(fù)讀 :一個(gè)事務(wù)內(nèi),多次讀取同一個(gè)記錄的結(jié)果不一樣。
- 更新丟失 :兩個(gè)事務(wù)同時(shí)執(zhí)行“讀-修改-寫回”操作序列,事務(wù) A 覆蓋了 事務(wù) B 的寫入,但又沒有包含 事務(wù) B 修改后的值,最終導(dǎo)致了部分更新數(shù)據(jù)發(fā)生了丟失。
- 幻讀 :一個(gè)事務(wù)內(nèi),多次讀取滿足指定條件的數(shù)據(jù),讀出來的結(jié)果不一樣。
- 寫傾斜 :事務(wù)首先查詢數(shù)據(jù),根據(jù)返回的結(jié)果而作出某些決定,然后修改數(shù)據(jù)庫。當(dāng)事務(wù)提交時(shí),支持決定的前提條件已不再成立。
臟寫
一個(gè)事務(wù)覆蓋了其他事務(wù)尚未提交的寫入。
臟讀
一個(gè)事務(wù)讀到了其他事務(wù)尚未提交的寫入。
舉例說明臟讀
事務(wù) B 修改了 x,在事務(wù) B 提交之前,事務(wù) A 讀到了 x 修改后的數(shù)據(jù)。這時(shí)事務(wù) B 回滾了,相當(dāng)于事務(wù) A 讀到了一個(gè)無效的數(shù)據(jù)(未實(shí)際提交到數(shù)據(jù)庫中的數(shù)據(jù)),事務(wù) A 的讀就是臟讀。
不可重復(fù)讀
一個(gè)事務(wù)內(nèi),多次讀取同一個(gè)記錄的結(jié)果不一樣。(一個(gè)事務(wù)能夠讀到另一個(gè)事務(wù)對(duì)同一個(gè)記錄的修改)
舉例說明不可重復(fù)讀
事務(wù) A 讀取了 x,然后事務(wù) B 修改了 x 并提交。這時(shí)事務(wù) A 再次讀取 x,發(fā)現(xiàn)兩次讀取同一個(gè)記錄的結(jié)果不一樣,這就是不可重復(fù)讀。
更新丟失
兩個(gè)事務(wù)同時(shí)執(zhí)行“讀-修改-寫回”操作序列,事務(wù) A 覆蓋了 事務(wù) B 的寫入,但又沒有包含 事務(wù) B 的修改,最終導(dǎo)致了部分更新數(shù)據(jù)發(fā)生了丟失。
舉例說明更新丟失
事務(wù) A 先讀取某記錄,然后事務(wù) B 再讀取某記錄,事務(wù) B 修改并寫回,緊接著 事務(wù) A 修改并寫入。事務(wù) A 覆蓋了 事務(wù) B 的寫入,但又沒有包含 事務(wù) B 的修改,最終導(dǎo)致事務(wù) B 的更新丟失了。
幻讀
一個(gè)事務(wù)內(nèi),多次讀取滿足指定條件的數(shù)據(jù),讀出來的結(jié)果不一樣(一個(gè)事務(wù)能夠讀到另一個(gè)事務(wù)創(chuàng)建的滿足條件的記錄)
舉例說明幻讀
事務(wù) A 讀取一組滿足條件 1 的數(shù)據(jù),之后事務(wù) B 創(chuàng)建了滿足條件 1 的數(shù)據(jù),使其滿足條件 1 并提交,如果事務(wù) A 用相同的 條件 1 再次讀取,得到一組不同于第一次讀取的數(shù)據(jù)。這就叫幻讀。
不可重復(fù)讀和幻讀都是一個(gè)事務(wù)內(nèi),多次執(zhí)行相同的查詢,結(jié)果不一樣。那兩者有什么區(qū)別呢?
- 幻讀 主要說的是,讀到了另一個(gè)事務(wù)的 insert 或者 update 的滿足條件的記錄
- 不可重復(fù)讀 主要說的是,讀到了另一個(gè)事務(wù)對(duì)同一個(gè)記錄的 update
寫傾斜
寫傾斜就是:事務(wù)首先查詢數(shù)據(jù),根據(jù)返回的結(jié)果而作出某些決定,然后修改數(shù)據(jù)庫。當(dāng)事務(wù)提交時(shí),支持決定的前提條件已不再成立。
如何防止并發(fā)問題
現(xiàn)在我們已經(jīng)知道了每一個(gè)隔離級(jí)別可能會(huì)出現(xiàn)的并發(fā)問題,如果當(dāng)前數(shù)據(jù)庫使用了某一個(gè)隔離級(jí)別,我們也知道這個(gè)隔離級(jí)別存在的并發(fā)問題,是否有辦法來避免并發(fā)問題呢?以及對(duì)于避免并發(fā)問題是如何實(shí)現(xiàn)的?
有些并發(fā)問題只能通過提升隔離級(jí)別來避免,接下來,我們就針對(duì)每一種并發(fā)問題一一討論。
防止臟寫
允許臟寫這種并發(fā)問題出現(xiàn)的數(shù)據(jù)庫基本上是不可用的。因此所有的隔離級(jí)別都不允許出現(xiàn)臟寫這種并發(fā)問題。
防止“臟寫”就意味著,寫數(shù)據(jù)庫時(shí), 只會(huì)覆蓋已成功提交的數(shù)據(jù)。
防止臟寫通常的方式是推遲第二個(gè)寫請求,直到前面的事務(wù)完成提交(或者中止)。
數(shù)據(jù)庫通常采用行級(jí)鎖來防止臟寫:如果兩個(gè)事務(wù)同時(shí)嘗試寫入同一個(gè)對(duì)象時(shí) ,以加鎖的方式來確保第二個(gè)寫入等待前面事務(wù)完成(包括中止或提交)。
這種鎖定是由處于讀已提交模式 ( 或更強(qiáng)的隔離級(jí)別) 的數(shù)據(jù)庫自動(dòng)完成的。
防止臟讀
防止 “臟讀”就意味著,讀數(shù)據(jù)庫時(shí), 只能看到已成功提交的數(shù)據(jù)。
如果業(yè)務(wù)中不能接受臟讀,那么隔離級(jí)別要在“讀已提交”隔離級(jí)別或者以上。
當(dāng)有以下需求時(shí),需要防止臟讀:
- 如果事務(wù)需要進(jìn)行多個(gè)操作更新多個(gè)對(duì)象,我們需要保證另一個(gè)事務(wù)或者應(yīng)用層要么看到所有操作執(zhí)行前的狀態(tài),要么看到所有操作完成后的狀態(tài),而不能看到部分操作完成的中間狀態(tài)。如果我們要提供這樣的保證,那么就必須防止臟讀。臟讀意味著另一個(gè)事務(wù)可能會(huì)看到部分更新, 而非全部,觀察到部分更新的數(shù)據(jù)可能會(huì)造成用戶的困惑。
- 如果事務(wù)發(fā)生中止,則所有寫入操作都需要回滾,那么就必須防止臟讀,避免用戶觀察到一些稍后被回滾的數(shù)據(jù), 而這些數(shù)據(jù)實(shí)際并未實(shí)際提交到數(shù)據(jù)庫中。
防止臟讀的解決方案:
- 兩段鎖協(xié)議;
- 存儲(chǔ)數(shù)據(jù)的舊版本和新版本。
一種選擇是使用和防止臟寫相同的鎖,所有試圖讀取該對(duì)象的事務(wù)必須先申請鎖,事務(wù)完成后釋放鎖,從而確保不會(huì)發(fā)生讀取到一個(gè)臟的、 未提交的值。
然而, 加鎖的方式在實(shí)際中并不可行, 因?yàn)檫\(yùn)行時(shí)間較長的寫事務(wù)會(huì)導(dǎo)致許多只讀的事務(wù)等待太長時(shí)間, 這會(huì)嚴(yán)重影響只讀事務(wù)的響應(yīng)時(shí)間。應(yīng)用程序任何局部的性能問題會(huì)擴(kuò)散,進(jìn)而影響整個(gè)應(yīng)用,產(chǎn)生連鎖反應(yīng)。
因此, 大多數(shù)數(shù)據(jù)庫采用了下面的方式來防止臟讀:對(duì)于每個(gè)待更新的對(duì)象, 數(shù)據(jù)庫都會(huì)維護(hù)對(duì)象的兩個(gè)版本(其舊值 和 當(dāng)前持鎖事務(wù)將要設(shè)置的新值)。在事務(wù)提交之前, 其他事務(wù)的讀操作都讀取舊值;僅當(dāng)寫事務(wù)提交之后, 才會(huì)切換到讀取新值。而 MySQL 使用了多版本并發(fā)控制來防止臟讀,多版本比兩個(gè)版本更加通用。
防止不可重復(fù)讀
防止“不可重復(fù)讀”就意味著,一個(gè)事務(wù)執(zhí)行過程中看到的數(shù)據(jù),總是跟這個(gè)事務(wù)在啟動(dòng)時(shí)看到的數(shù)據(jù)是一致的。
不能忍受不可重復(fù)讀的場景:
備份場景 :備份任務(wù)要復(fù)制整個(gè)數(shù)據(jù)庫,這可能需要花費(fèi)幾小時(shí)才能完成。在備份過程中,數(shù)據(jù)可以繼續(xù)寫入數(shù)據(jù)庫。因此,備份里可能包含部分舊版本數(shù)據(jù)和部分新版本數(shù)據(jù)。 如果從這樣的備份進(jìn)行恢復(fù),那么就導(dǎo)致了永久性的不一致。
如果業(yè)務(wù)中不能接受不可重復(fù)讀,那么隔離級(jí)別要在“可重復(fù)讀”隔離級(jí)別或者以上。
在 MySQL 種,可重復(fù)讀隔離級(jí)別即快照級(jí)別隔離。快照級(jí)別隔離的總體想法是:每個(gè)事務(wù)總是在某個(gè)時(shí)間點(diǎn)的一致性快照中讀取數(shù)據(jù)。
為了實(shí)現(xiàn)快照級(jí)別隔離, MySQL 數(shù)據(jù)庫采用了一種被稱為多版本并發(fā)控制(MultiVersion Concurrency Control,MVCC)的機(jī)制。
防止更新丟失
更新丟失可能發(fā)生在這樣一個(gè)操作場景中:應(yīng)用程序從數(shù)據(jù)庫讀取某些值,根據(jù)應(yīng)用邏輯做出修改,然后寫回新值 (read-midify-write 過程)。當(dāng)有兩個(gè)事務(wù)在同樣的數(shù)據(jù)對(duì)象上執(zhí)行類似操作時(shí),后一個(gè)寫操作并不包含前一個(gè)寫操作的修改,最終導(dǎo)致前一個(gè)寫操作的修改丟失。
更新丟失屬于寫事務(wù)并發(fā)沖突。
防止更新丟失,目前有多種可行的解決方案。
- 原子更新操作:許多數(shù)據(jù)庫提供了原子更新操作,以避免在應(yīng)用層代碼完成“讀-修改-寫回”操作序列,如果數(shù)據(jù)庫支持原子更新操作的話,通常這就是防止更新丟失最好的解決方案。
- 原子操作通常采用對(duì)讀取對(duì)象加獨(dú)占鎖的方式來實(shí)現(xiàn),這樣在更新被提交之前其他事務(wù)不可以讀取它。
原子操作的另一種實(shí)現(xiàn)方式是:強(qiáng)制所有的原子操作都在單線程上執(zhí)行。這也是 Redis 防止更新丟失的解決方案
- 顯式的加鎖:既然原子操作采用對(duì)讀取對(duì)象加獨(dú)占鎖的方式來實(shí)現(xiàn),那么我們也可以顯式的鎖定待更新的對(duì)象,使“讀-修改-寫回”操作序列串行執(zhí)行。例如使用 MySQL 的 select ...... for update;
原子更新操作和 顯式的加鎖 都是通過強(qiáng)制“讀-修改-寫回”操作序列串行執(zhí)行來防止丟失更新。
自動(dòng)檢測更新丟失 :先讓“讀-修改-寫回”操作序列并發(fā)執(zhí)行,但如果事務(wù)管理器檢測到了更新丟失風(fēng)險(xiǎn),則會(huì)中止當(dāng)前事務(wù),并強(qiáng)制回退到安全的“讀-修改-寫回”方式。
比較并設(shè)置 :先讓“讀-修改-寫回”操作序列并發(fā)執(zhí)行,如果讀取的內(nèi)容已經(jīng)發(fā)生了變化且值與“舊內(nèi)容”不匹配,則更新失敗,需要應(yīng)用層再次檢查并在必要時(shí)進(jìn)行重試。例如 update t1 set col1 = '新內(nèi)容' where id = 1 and col1 = '舊內(nèi)容';
自動(dòng)檢測更新丟失
PostgreSQL 的可重復(fù)讀, Oracle 的可串行化以及 SQL Server 的快照級(jí)別隔離等,都可以自動(dòng)檢測何時(shí)發(fā)生了更新丟失,然后會(huì)中止違規(guī)的那個(gè)事務(wù)。
但是, MySQL 中 InnoDB 存儲(chǔ)引擎的可重復(fù)讀卻并不支持自動(dòng)檢測更新丟失。
防止幻讀 & 寫傾斜
防止幻讀:
- 使用 可串行化隔離級(jí)別
- 在 MySQL 的 可重復(fù)讀隔離級(jí)別下,使用 select ...... for update;
使用可串行化隔離級(jí)別可以防止幻讀。
可串行化隔離通常被認(rèn)為是最強(qiáng)的隔離級(jí)別。使用可串行化隔離級(jí)別可以防止所有可能的競爭條件。
可串行化隔離保證即使事務(wù)可能會(huì)并行執(zhí)行,但最終的執(zhí)行結(jié)果與每次執(zhí)行一個(gè)事務(wù)(即串行執(zhí)行)的結(jié)果相同。
可串行化隔離級(jí)別的實(shí)現(xiàn)有以下幾種方式:
- 實(shí)際串行執(zhí)行:
- 兩段鎖 + 索引區(qū)間鎖:將兩段鎖與索引區(qū)間鎖結(jié)合使用,實(shí)現(xiàn)可串行化隔離
- 可串行化快照隔離:(這個(gè)暫時(shí)還沒有了解)
MySQL 的可串行化隔離級(jí)別使用了第 2 種方法(兩段鎖 + 索引區(qū)間鎖)
寫傾斜就是:事務(wù)首先查詢數(shù)據(jù),根據(jù)返回的結(jié)果而作出某些決定,然后修改數(shù)據(jù)庫。當(dāng)事務(wù)提交時(shí),支持決定的前提條件已不再成立。寫傾斜可能發(fā)生在這樣一個(gè)操作場景中:
第一步 select:應(yīng)用程序從數(shù)據(jù)庫讀取一組滿足條件 1 的數(shù)據(jù)
第二步 決定:根據(jù)查詢的結(jié)果,應(yīng)用層代碼來決定下一步的操作(有可能繼續(xù),或者報(bào)告錯(cuò)誤井中止)
第三步 寫入:如果應(yīng)用程序決定繼續(xù)執(zhí)行,它將發(fā)起數(shù)據(jù)庫寫入(insert,update 或 delete)并提交事務(wù)。
而第 3 步的這個(gè)寫操作會(huì)改變第 2 步做出決定的前提條件,如果兩個(gè)事務(wù)并發(fā)執(zhí)行這樣的“讀取-決定-寫入”操作序列,那么后一個(gè)寫入改變了前一個(gè)寫入執(zhí)行的前提條件,導(dǎo)致出現(xiàn)意料之外的結(jié)果。
防止寫傾斜
對(duì)于寫傾斜問題,有幾種可能的解決方案:
只使用 可串行化隔離級(jí)別 即可避免寫傾斜(使用索引區(qū)間鎖,避免其他事務(wù)寫入滿足條件的行)
更改“讀取-決定-寫入”操作序列的執(zhí)行順序 為 “寫入-讀取-決定”:先寫入,然后 select 查詢并加獨(dú)占鎖(select ...... for update),最后根據(jù)查詢的結(jié)果來決定是否提交或者放棄。
實(shí)體化沖突,也稱物化沖突:有的業(yè)務(wù)場景 select 查詢的是不滿足給定搜索條件的行(例如 select * from t1 where id != 1)如果第 1 步的查詢根本沒有返回任何行,則 select ...... for update 也就無從加鎖,只能考慮實(shí)體化沖突。
本質(zhì)上這三種可能的解決方案都是對(duì)事務(wù)所依賴的行顯式的加鎖。
對(duì)于實(shí)體化沖突(物化沖突)的說明
如果問題的關(guān)鍵是查詢結(jié)果中沒有對(duì)象(空)可以加鎖,或許可以人為引人一些可加鎖的對(duì)象。這種方法稱為實(shí)體化沖突(或物化沖突),它把幻讀問題轉(zhuǎn)變?yōu)獒槍?duì)數(shù)據(jù)庫中一組具體行的鎖沖突問題。
然而,弄清楚如何實(shí)現(xiàn)實(shí)體化往往也具有挑戰(zhàn)性,實(shí)現(xiàn)過程也容易出錯(cuò),這種把一個(gè)并發(fā)控制機(jī)制降級(jí)為數(shù)據(jù)模型的思路總是不夠優(yōu)雅。出于這些原因,除非萬不得己,沒有其他可選方案,不推薦采用實(shí)體化沖突。