阿里二面:什么是mmap?
平時在面試中你肯定會經常碰見的問題就是:RocketMQ為什么快?Kafka為什么快?什么是mmap?
這一類的問題都逃不過的一個點就是零拷貝,雖然還有一些其他的原因,但是今天我們的話題主要就是零拷貝。
傳統IO
在開始談零拷貝之前,首先要對傳統的IO方式有一個概念。
基于傳統的IO方式,底層實際上通過調用read()和write()來實現。
通過read()把數據從硬盤讀取到內核緩沖區,再復制到用戶緩沖區;然后再通過write()寫入到socket緩沖區,最后寫入網卡設備。
整個過程發生了4次用戶態和內核態的上下文切換和4次拷貝,具體流程如下:
- 用戶進程通過read()方法向操作系統發起調用,此時上下文從用戶態轉向內核態
- DMA控制器把數據從硬盤中拷貝到讀緩沖區
- CPU把讀緩沖區數據拷貝到應用緩沖區,上下文從內核態轉為用戶態,read()返回
- 用戶進程通過write()方法發起調用,上下文從用戶態轉為內核態
- CPU將應用緩沖區中數據拷貝到socket緩沖區
- DMA控制器把數據從socket緩沖區拷貝到網卡,上下文從內核態切換回用戶態,write()返回
那么,這里指的用戶態、內核態指的是什么?上下文切換又是什么?
簡單來說,用戶空間指的就是用戶進程的運行空間,內核空間就是內核的運行空間。
如果進程運行在內核空間就是內核態,運行在用戶空間就是用戶態。
為了安全起見,他們之間是互相隔離的,而在用戶態和內核態之間的上下文切換也是比較耗時的。
從上面我們可以看到,一次簡單的IO過程產生了4次上下文切換,這個無疑在高并發場景下會對性能產生較大的影響。
那么什么又是DMA拷貝呢?
因為對于一個IO操作而言,都是通過CPU發出對應的指令來完成,但是相比CPU來說,IO的速度太慢了,CPU有大量的時間處于等待IO的狀態。
因此就產生了DMA(Direct Memory Access)直接內存訪問技術,本質上來說他就是一塊主板上獨立的芯片,通過它來進行內存和IO設備的數據傳輸,從而減少CPU的等待時間。
但是無論誰來拷貝,頻繁的拷貝耗時也是對性能的影響。
零拷貝
零拷貝技術是指計算機執行操作時,CPU不需要先將數據從某處內存復制到另一個特定區域,這種技術通常用于通過網絡傳輸文件時節省CPU周期和內存帶寬。
那么對于零拷貝而言,并非真的是完全沒有數據拷貝的過程,只不過是減少用戶態和內核態的切換次數以及CPU拷貝的次數。
這里,僅僅有針對性的來談談幾種常見的零拷貝技術。
- mmap+write
mmap+write簡單來說就是使用mmap替換了read+write中的read操作,減少了一次CPU的拷貝。
mmap主要實現方式是將讀緩沖區的地址和用戶緩沖區的地址進行映射,內核緩沖區和應用緩沖區共享,從而減少了從讀緩沖區到用戶緩沖區的一次CPU拷貝。
整個過程發生了4次用戶態和內核態的上下文切換和3次拷貝,具體流程如下:
- 用戶進程通過mmap()方法向操作系統發起調用,上下文從用戶態轉向內核態
- DMA控制器把數據從硬盤中拷貝到讀緩沖區
- 上下文從內核態轉為用戶態,mmap調用返回
- 用戶進程通過write()方法發起調用,上下文從用戶態轉為內核態
- CPU將讀緩沖區中數據拷貝到socket緩沖區
- DMA控制器把數據從socket緩沖區拷貝到網卡,上下文從內核態切換回用戶態,write()返回
mmap的方式節省了一次CPU拷貝,同時由于用戶進程中的內存是虛擬的,只是映射到內核的讀緩沖區,所以可以節省一半的內存空間,比較適合大文件的傳輸。
- sendfile
相比mmap來說,sendfile同樣減少了一次CPU拷貝,而且還減少了2次上下文切換。
sendfile是Linux2.1內核版本后引入的一個系統調用函數,通過使用sendfile數據可以直接在內核空間進行傳輸,因此避免了用戶空間和內核空間的拷貝,同時由于使用sendfile替代了read+write從而節省了一次系統調用,也就是2次上下文切換。
整個過程發生了2次用戶態和內核態的上下文切換和3次拷貝,具體流程如下:
- 用戶進程通過sendfile()方法向操作系統發起調用,上下文從用戶態轉向內核態
- DMA控制器把數據從硬盤中拷貝到讀緩沖區
- CPU將讀緩沖區中數據拷貝到socket緩沖區
- DMA控制器把數據從socket緩沖區拷貝到網卡,上下文從內核態切換回用戶態,sendfile調用返回
sendfile方法IO數據對用戶空間完全不可見,所以只能適用于完全不需要用戶空間處理的情況,比如靜態文件服務器。
- sendfile+DMA Scatter/Gather
Linux2.4內核版本之后對sendfile做了進一步優化,通過引入新的硬件支持,這個方式叫做DMA Scatter/Gather 分散/收集功能。
它將讀緩沖區中的數據描述信息--內存地址和偏移量記錄到socket緩沖區,由 DMA 根據這些將數據從讀緩沖區拷貝到網卡,相比之前版本減少了一次CPU拷貝的過程
整個過程發生了2次用戶態和內核態的上下文切換和2次拷貝,其中更重要的是完全沒有CPU拷貝,具體流程如下:
- 用戶進程通過sendfile()方法向操作系統發起調用,上下文從用戶態轉向內核態
- DMA控制器利用scatter把數據從硬盤中拷貝到讀緩沖區離散存儲
- CPU把讀緩沖區中的文件描述符和數據長度發送到socket緩沖區
- DMA控制器根據文件描述符和數據長度,使用scatter/gather把數據從內核緩沖區拷貝到網卡
- sendfile()調用返回,上下文從內核態切換回用戶態
DMA gather和sendfile一樣數據對用戶空間不可見,而且需要硬件支持,同時輸入文件描述符只能是文件,但是過程中完全沒有CPU拷貝過程,極大提升了性能。
應用場景
對于文章開頭說的兩個場景:RocketMQ和Kafka都使用到了零拷貝的技術。
對于MQ而言,無非就是生產者發送數據到MQ然后持久化到磁盤,之后消費者從MQ讀取數據。
對于RocketMQ來說這兩個步驟使用的是mmap+write,而Kafka則是使用mmap+write持久化數據,發送數據使用sendfile。
總結
由于CPU和IO速度的差異問題,產生了DMA技術,通過DMA搬運來減少CPU的等待時間。
傳統的IOread+write方式會產生2次DMA拷貝+2次CPU拷貝,同時有4次上下文切換。
而通過mmap+write方式則產生2次DMA拷貝+1次CPU拷貝,4次上下文切換,通過內存映射減少了一次CPU拷貝,可以減少內存使用,適合大文件的傳輸。
sendfile方式是新增的一個系統調用函數,產生2次DMA拷貝+1次CPU拷貝,但是只有2次上下文切換。因為只有一次調用,減少了上下文的切換,但是用戶空間對IO數據不可見,適用于靜態文件服務器。
sendfile+DMA gather方式產生2次DMA拷貝,沒有CPU拷貝,而且也只有2次上下文切換。雖然極大地提升了性能,但是需要依賴新的硬件設備支持。