成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

探尋 Redis 內存詭異增長的元兇

作者：付磊
存儲 存儲軟件 Redis
由于哈希表的特性，Redis 中鍵值數量大，不會對存取造成性能影響，但是會出現本文提到的問題。控制鍵個數有幾個建議：無用的鍵值設置過期時間或者定期刪除。

記一次 Redis 內存詭異增長，由于 一次 Redis Rehash 造成的內存暴增。

[[238563]]

一、現象

  • 實例名：r-bp1cxxxxxxxxxd04(主從)
  • 時間：2017-11-16 12:26~12:27
  • 問題：一分鐘內存上漲了2G，如下圖所示：
  • 鍵值規模：6000萬左右

二、Redis內存分析

1. 內存組成

上圖中的內存統計的是Redis的info memory命令中的used_memory屬性，例如：

  1. redis> info memory# Memoryused_memory:9195978072used_memory_human:8.56Gused_memory_rss:9358786560used_memory_peak:10190212744used_memory_peak_human:9.49Gused_memory_lua:38912mem_fragmentation_ratio:1.02mem_allocator:jemalloc-3.6.0 

每個屬性的詳細說明：

計算公式如下：

  1. ​used_memory = 自身內存+對象內存+緩沖內存+lua內存used_rss = used_memory + 內存碎片 

 

2. 內存分析

(1) 自身內存：一個空的Redis占用很小，可以忽略不計

(2) kv內存：key對象 + value對象

(3) 緩沖區：客戶端緩沖區(普通 + slave偽裝 + pubsub)以及aof緩沖區(比較固定，一般沒問題)

(4) Lua：Lua引擎所消耗的內存

3. 內存突增常見問題

(1) kv內存：bigkey、大量寫入

(2) 客戶端緩沖區：一般常見的有普通客戶端緩沖區(例如monitor命令)或者pubsub客戶端緩沖區

三、問題排查

(1) bigkey ? 經掃描未發現bigkey

  1. Sampled67234427keysinthe keyspace! 
  2. Totalkey length inbytesis1574032382(avg len 23.41) 
  3. Biggeststringfound'CCARD_DEVICE_CARD_REF_MAP_KEY_016817000004209'has20862bytes 
  4. Biggest  list found 'CCARD_VALID_DEVICE_TRAIN_QUEUE_KEY'has51items 
  5. Biggest  hash found'CCARD_VALID_DEVICE_TRAIN_MAP_KEY'has51fields67234359 stringswith71767890bytes(100.00%of keys,avg size1.07)67listswith151items(00.00%of keys,avg size2.25)0setswith0members(00.00%of keys,avg size0.00)1hashswith51fields(00.00%of keys,avg size51.00)0zsetswith0members(00.00%of keys,avg size0.00) 

(2) 鍵值個數增加？未發現鍵值有明顯變化

(3) 客戶端緩沖區

由于內存增上去后，長時間沒下落，如果是因為緩沖區問題，會從info clients找到明顯問題，執行后發現：

  1. ​id=80207 addr=10.xx.0.4:63920 fd=46 name= age=624 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  2. id=80215 addr=10.xx.0.23:43489 fd=36 name= age=591 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  3. id=80366 addr=10.xx.0.8:59785 fd=18 name= age=84 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=del read=0 write=0 type=user 
  4. id=80356 addr=10.xx.0.33:32117 fd=13 name= age=114 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  5. id=80064 addr=10.xx.59.4:53446 fd=38 name= age=1070 idle=1070 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=NULL read=0 write=0 type=admin 
  6. id=80276 addr=10.xx.0.23:48511 fd=8 name= age=387 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  7. id=80188 addr=10.xx.0.33:16265 fd=42 name= age=681 idle=3 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  8. id=80326 addr=10.xx.0.32:59779 fd=16 name= age=209 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  9. id=80065 addr=10.xx.59.4:53447 fd=45 name= age=1070 idle=1070 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=NULL read=0 write=0 type=admin 
  10. id=79936 addr=10.xx.0.22:10607 fd=30 name= age=1480 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  11. id=80174 addr=10.xx.0.5:60914 fd=6 name= age=722 idle=2 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  12. id=80300 addr=10.xx.0.22:22757 fd=48 name= age=298 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  13. id=80037 addr=10.xx.0.5:55189 fd=15 name= age=1143 idle=2 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  14. id=80330 addr=10.xx.0.8:48533 fd=17 name= age=199 idle=10 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  15. id=79896 addr=10.xx.0.30:26814 fd=11 name= age=1616 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  16. id=80299 addr=10.xx.0.24:11227 fd=44 name= age=303 idle=3 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  17. id=80086 addr=10.xx.0.32:52526 fd=40 name= age=1002 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  18. id=80202 addr=10.xx.0.33:16658 fd=26 name= age=636 idle=3 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  19. id=80256 addr=10.xx.0.24:60496 fd=19 name= age=448 idle=2 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  20. id=79908 addr=10.xx.0.29:18975 fd=12 name= age=1583 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  21. id=80365 addr=10.xx.0.29:46429 fd=14 name= age=85 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  22. id=79869 addr=10.xx.27.4:48455 fd=35 name= age=1700 idle=1700 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=NULL read=0 write=0 type=admin 
  23. id=80334 addr=10.xx.0.23:50012 fd=39 name= age=189 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  24. id=80041 addr=10.xx.0.32:51107 fd=33 name= age=1132 idle=3 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  25. id=79992 addr=10.xx.0.22:12068 fd=28 name= age=1289 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  26. id=80251 addr=10.xx.0.30:44213 fd=23 name= age=468 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  27. id=80006 addr=10.xx.0.2:45895 fd=31 name= age=1242 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  28. id=80321 addr=10.xx.0.30:48048 fd=5 name= age=224 idle=3 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  29. id=80381 addr=10.xx.0.8:13360 fd=22 name= age=24 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=del read=0 write=0 type=user 
  30. id=80200 addr=10.xx.0.24:59183 fd=24 name= age=640 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  31. id=80113 addr=10.xx.0.2:52492 fd=21 name= age=915 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  32. id=174 addr=11.216.117.242:53027 fd=9 name= age=281390 idle=0 flags=S db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=replconf read=0 write=0 type=admin 
  33. id=79991 addr=10.xx.0.4:48412 fd=25 name= age=1296 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  34. id=80301 addr=127.0.0.1:47869 fd=49 name= age=291 idle=261 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=strlen read=0 write=0 type=admin 
  35. id=80047 addr=10.xx.59.4:53184 fd=41 name= age=1114 idle=1114 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=NULL read=0 write=0 type=admin 
  36. id=80236 addr=10.xx.0.5:62546 fd=47 name= age=516 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  37. id=80364 addr=10.xx.0.4:18794 fd=7 name= age=85 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  38. id=80175 addr=10.xx.0.4:62245 fd=29 name= age=718 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  39. id=80336 addr=10.xx.0.29:45701 fd=50 name= age=180 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  40. id=80050 addr=10.xx.59.4:53188 fd=43 name= age=1114 idle=1114 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=NULL read=0 write=0 type=admin 
  41. id=79765 addr=10.xx.0.2:33832 fd=37 name= age=2027 idle=177 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=info read=0 write=0 type=user 
  42. id=80170 addr=10.xx.0.2:57853 fd=20 name= age=728 idle=24 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  43. id=80390 addr=127.0.0.1:49449 fd=27 name= age=0 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=client read=0 write=0 type=admin 

四、揪出元兇

常用的幾招都用了，還是不行，同事@徑遠幫忙一起分析，懷疑是不是因為Redis的kv哈希表做了 rehash。

1. Redis的kv存儲結構

如下圖所示，Redis的所有kv保存在dict中，其中ht對應兩個哈希表ht[0]和ht[1]，平時一個空閑，一個用于存儲數據，只有當需要rehash時，ht[1]才會用到。

 

2. Redis的字典rehash

為了保證哈希表的負載，當哈希表的元素個數等于哈希表槽數時候，會進行rehash擴容。擴容后h[1]的容量等于第一個大于等于ht[0].size*2的2n，例如hash表的初始化容量是4，那么下一次擴容就是8，以此類推。

3. 測試

(1) 測試方法

先批量寫入到rehash閾值附近，然后在逐條去寫，觀察內存變化。

  1. ​// 為每個鍵設置1天過期時間int expireTime = 60 * 60 * 24;// rehash閾值 - 50為了方便觀察rehash內存變化int rehashThreshold = (int) Math.pow(2, 25) - 50;// 1.批量寫入：pipeline批量寫入，由于是本機測試，這里用10000，實際生產不要這么用Pipeline pipeline = jedis.pipelined(); 
  2. pipeline = jedis.pipelined();for (int i = 0; i < rehashThreshold; i++) { 
  3.     pipeline.setex(String.valueOf(i), expireTime, String.valueOf(i));    if (i % 10000 == 0) { 
  4.         pipeline.sync(); 
  5.     } 
  6. } 
  7. pipeline.sync();// 2.等待寫增量TimeUnit.SECONDS.sleep(5);for (int i = rehashThreshold; i < rehashThreshold + 200; i++) { 
  8.     jedis.setex(String.valueOf(i), expireTime, String.valueOf(i)); 
  9.     TimeUnit.SECONDS.sleep(1); 
  10. } 

(2) 開始測試

(a) 當閾值=215=32768，從下面可以看出到key的個數為32769時，內存漲了一些，但是還不明顯。

  1. ​keys       mem      clients blocked requests            connections32766      4.69M    3       0       32797 (+2)          4 
  2. 32767      4.69M    3       0       32799 (+2)          4 
  3. 32768      4.69M    3       0       32801 (+2)          4 
  4. 32769      5.44M    3       0       32803 (+2)          4 

(b) 當閾值=220=1048576，從下面可以看出到key的個數為1048577時，內存漲了32M。因為rehash會擴容，所以新的哈希表中的槽位變為了221 * 2（因為每個key都設置了過期時間，expires表），指針為8個字節，221 ? 2 ? 8 = 225 = 32MB。

  1. ​keys       mem      clients blocked requests            connections1048574    128.69M  3       0       3364129 (+2)        16 
  2. 1048575    128.69M  3       0       3364131 (+2)        16 
  3. 1048576    128.69M  3       0       3364133 (+2)        16 
  4. 1048577    160.69M  3       0       3364135 (+2)        16 
  5. 1048578    160.69M  3       0       3364137 (+2)        16 

(c) 當閾值=226=67108864，從下面可以看出到key的個數為67108865時，內存漲了2GB。因為rehash會擴容，所以新的哈希表中的槽位變為了227 * 2（因為每個key都設置了過期時間，expires表），指針為8個字節，227 ? 2 ? 8 = 231 = 2GB。

  1. ​keys       mem      clients blocked requests            connections67108862   9.70G    3       0       70473683 (+2)       18 
  2. 67108863   9.70G    3       0       70473685 (+2)       18 
  3. 67108864   9.70G    3       0       70473687 (+2)       18 
  4. 67108865   11.70G   3       0       70473689 (+2)       18 
  5. 67108866   11.70G   3       0       70473691 (+2)       18 
  6. 67108867   11.70G   3       0       70473693 (+2)       18 

回過來看r-bp1c15fd9b142d04的key和內存變化圖，可以發現上面的規則是正確的：

4. 后續觀察

17點時，rehash結束，內存降了增加的2G的一半。

 

五、總結

由于哈希表的特性，Redis 中鍵值數量大，不會對存取造成性能影響，但是會出現本文提到的問題。

控制鍵個數有幾個建議：

  • 無用的鍵值設置過期時間或者定期刪除。
  • 優化鍵值設計：例如可以使用 ziplist hash合并優化部分字符串類型。
  • 未來改進：內核層面支持 rehash 的審計日志以及增強 rehash 的速度。
責任編輯：武曉燕 來源： 服務端思維
Redis內存增長
相關推薦

2018-07-20 08:44:21

Redis內存排查

2017-08-17 09:46:42

大數據諸葛io數據挖掘

2019-10-24 08:43:46

Redis內存NOSQL

2009-06-15 09:47:12

Java程序內存溢出

2009-01-20 11:00:00

網卡網絡故障

2009-09-14 18:41:59

LINQ查詢

2009-09-15 15:07:25

2010-01-23 20:57:48

2013-07-22 09:43:29

2015-07-20 10:23:24

NET內存問題排查

2009-08-19 22:29:12

VMWare系統時間故

2020-02-28 14:48:51

結構系統程序

2024-06-03 10:10:01

2010-08-24 16:13:38

面試

2009-10-22 09:25:28

linux磁盤配額

2011-05-20 11:12:46

惠普綠色商用臺式

2018-04-04 13:44:59

數據庫MySQL延遲

2021-12-29 13:09:59

TalkingData數據智能

2009-07-15 11:33:28

FTP登錄故障

2011-04-11 09:53:06

Oracle
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板： 午夜国产一区 | 欧美福利视频 | 黄色成人国产 | 中文字幕成人在线 | 伊人久久精品 | 精品国产一区二区久久 | 免费视频一区二区 | 午夜小视频在线播放 | 9久久| 亚洲国产成人av | 久久精品二区 | www.亚洲视频.com | 色一阁| 国产一区二区三区在线 | 天天干天天色 | 欧美成人高清 | 日本精品一区二区三区视频 | 伊人亚洲 | 亚洲国产精品久久久久婷婷老年 | 欧美黄色网| 欧美在线精品一区 | 久久久亚洲 | 91在线| 久久精品国产亚洲一区二区 | 国产成人99 | 中文字幕一区在线观看视频 | 亚洲日本成人 | 91 久久 | 欧美激情在线精品一区二区三区 | 亚洲视频一区 | 精品久久久久国产免费第一页 | 有码在线 | 国产精品一区二区不卡 | 99视频免费 | av毛片在线免费观看 | 一级做a爰片性色毛片视频停止 | 成人亚洲视频 | 亚洲精品国产综合区久久久久久久 | 人人玩人人添人人澡欧美 | 天天综合国产 | 国产精品日日做人人爱 |