為什么說很多NoSQL的Benchmark是扯淡？
抱歉我用了這么一個標題黨的題目做為標題。
寫這篇文章只是想引起大家的注意：在選擇NoSQL產品時，達到標稱性能，需要諸多限制條件，例如本文主要討論的磁盤I/O。
現在NoSQL的產品已經很多了，很多都宣稱“我們的QPS可以達到十萬，甚至百萬”，但是當我們在生產環境中使用的時候，卻明顯的感覺到，隨著數據文件不斷增大，NoSQL的性能卻指數下降，問題處在哪里了?
這些NOSQL的Benchmark的量都有一個前提“你得內存足夠放下你的全部數據文件”
Case1：有人說，我內存16GB，那只能說明你得數據規模還不夠大……我已經經歷被無數上百GB的數據庫折磨過了。此外，你可能需要在1GB內存的虛擬機上支撐數10GB的數據，比如我現在的情況。
繼續討論，一旦內存放不下全部的數據，會怎么辦呢?
有很多策略，但無非都是訪問磁盤，將數據Cache到內存中。
我們先討論最壞的情況，假定每條記錄的偏移是放在內存中，但所有數據都放在磁盤，我們使用fseek等操作來查詢磁盤。
來看下面的測試代碼。
- void test_fseek_set()
- {
- long offset;
- FILE*fp = NULL;
- long i;
- fp = fopen(FILE_NAME, "r");
- if(!fp)
- {
- printf("Open file fail.\n");
- printf("%s\n",strerror(errno));
- exit(-1);
- }
- for(i=0; i<TIMES; i++)
- {
- //Because random max is 1<<30 - 1
- offset = random() * 10 % MAX_FILE;
- if(fseek(fp, offset, SEEK_SET))
- {
- printf("fseek error.\n");
- printf("%ld",offset);
- printf("%s\n",strerror(errno));
- }
- }
- fclose(fp);
- }
好了，你猜猜上述隨機fseek的程序在一個7200轉的硬盤上，針對一個4GB的文件隨機訪問，能跑多塊?
答案是QPS<=80。
有人說你騙人，我跑的能到1XXX，那么請你執行下述命令清空你內存中的磁盤緩存。
- sync; echo 3 > /proc/sys/vm/drop_caches
很多時候，之所以我們能在小數據時達到NoSQL官方標稱的QPS，而大數據量卻指數下降，都是這些緩存在作怪。說白了，我們很Happy的Benchmark半天，實際是在玩系統的緩存，當然快了。
一旦你的數據文件大于內存磁盤緩存，那么速度會馬上像我列舉的這樣，不會多余80QPS，在一個4GB的文件上。
有人說mmap，我曾經也是這樣YY的，但根據我的測試，事情不是這樣。
我有一個120GB的Tokyo Cabinet數據文件，把內存開滿，它默認會用mmap，然后你會發現top中“VIRT”一列，會顯示為120GB+(換算后)，而我得機器內存卻只 有32GB。這時，當你訪問恰好不在內存中的那部分數據時，操作系統會進行非常耗時的換入換出操作(首先就需要fseek等)。在這臺24核、32GB的 機器上，QPS勉強能達到3000(這已經遠遠低于標稱的QPS),而一旦清空緩存，QPS會迅速跌落到70左右……
可能還會有人說：我沒事閑的為啥要自己清空緩存?
機器不是給你一個NoSQL進程服務的，很多系統其他服務都需要訪問磁盤，讀取文件，漸漸的就會把你Cache起來的內存全部換掉，根據實際測試的 情況，一臺完全閑置的機器，開TT能達到3000, 閑置放置48小時(不開其他服務)， 性能就會驟降到1000左右，再放置72小時左右，就回歸到70的qps了，此時Cache已經基本完全換出。
綜上，mmap不是神，因為你的內存不夠，而其他進程也會爭奪內存來做自己的Cache。
如果你想充分發揮NoSQL的性能，建議用支持集群的NoSQL產品，盡量將全部數據放入內存中。
或者你沒錢購置很多Moster內存的服務器，像我一樣，就不要期望NoSQL能有很驚人的性能了。此時，NoSQL所能帶來的提升，只是關系數據庫所剪掉的那部分開銷，如果你基本沒有什么join，那么可能還會不如關系數據庫。
分析性能，我們不能僅僅看官方的數據比較，要考慮機器的實際情況和自己的數據規模，最終才能分析出瓶頸出在哪里。
對于原作者的觀點，本人提出兩點看法：
- 要充分發揮NoSQL性能，并不是一定要盡量把所有數據放到內存，實際上只要保證了熱數據都能裝在內存中就夠了。
- 作者舉例中的程序，主要用了磁盤seek，磁盤的seek速度慢，原本就是磁盤物理結構的硬傷，所以許多NoSQL存儲采用了變隨機寫為順序寫的方式，減少磁盤seek操作，也是提升IO性能的良方。
【編輯推薦】
