1. Redis 是什么?
Redis (全稱: Remote Dictionary Server 遠(yuǎn)程字典服務(wù))是一個(gè)開源的使用 ANSI C語言 編寫、支持網(wǎng)絡(luò)、可基于內(nèi)存亦可持久化的日志型、 Key-Value數(shù)據(jù)庫 。
大家可能知道 Redis 是做緩存用的,它實(shí)際上也是一種數(shù)據(jù)庫,可以對經(jīng)常使用到的數(shù)據(jù)進(jìn)行存儲,也就是大家所說的緩存。
官方給出的數(shù)據(jù)是, Redis 能達(dá)到 10w+ 的 QPS( 每秒查詢速度 ) 。
為什么 Redis 的速度比 Mysql 等這種數(shù)據(jù)快呢?
因?yàn)?Redis 存儲的是 key-values 格式的數(shù)據(jù),時(shí)間復(fù)雜度是 O(1) ,即直接通過 key 查詢對應(yīng)的 value 。 而如 Mysql 數(shù)據(jù)庫,底層的實(shí)現(xiàn)是 B+ 樹,時(shí)間復(fù)雜度是 O(logn) 。
最重要的一點(diǎn)是,數(shù)據(jù)庫的數(shù)據(jù)是存儲在磁盤中的,而 Redis 是存儲在內(nèi)存當(dāng)中的,它們的速度差距不言而喻。但 Redis 也支持持久化存儲,這個(gè)后面的常見問題里會提到。
2. Redis 數(shù)據(jù)類型
Redis 支持 5 種數(shù)據(jù)類型: string (字符串)、 hash (哈希)、 list (列表,有序可重復(fù))、 set (集合,無序不可重復(fù))、 zset (有序集合,有序不可重復(fù))。
Redis 中所有數(shù)據(jù)都是字符串, key 是區(qū)分大小寫的。
- string 是最基本的類型,可以包含任何數(shù)據(jù),但是 string 類型的值最大能存儲 512MB 。
- hash 的 value 相當(dāng)于一個(gè) map , value 里面也有對應(yīng)的 key-value ,特別適合存儲對象。一個(gè) hash 可以存儲 2^32-1 個(gè)鍵值對,基本用不完。并且可以修改某一個(gè)屬性值,所以一般用于存儲用戶或其他實(shí)體類的值。
- list 中的 value 按照插入順序排序,可以在列表的頭部和尾部添加新元素。一般用于最新消息的排行或消息隊(duì)列。
- set 存放的是不重復(fù)值的集合,是無序的。并提供了求交集、并集、差集等操作,所以一般用于統(tǒng)計(jì)等功能。
- 與 set 不同的是, zset 是通過分?jǐn)?shù)( score )從小到大進(jìn)行排序的,我們可以指定每個(gè)值的分?jǐn)?shù),分?jǐn)?shù)可以重復(fù)。一般用于排行等功能。
3.Redis常用命令
基于對上面 5 種數(shù)據(jù)類型的了解,接著學(xué)習(xí)一下 Redis 常用命令。更多了命令學(xué)習(xí),推薦大家看一看官方文檔 http://www.redis.cn/commands.html
(1)對stirng的操作
redis命令不區(qū)分大小寫。
下面命令中,str就是key,hello就是value,append為追加命令,如果原來沒有str,就新建一個(gè)。
append str hello //對key為str的鍵追加hello字符串a(chǎn)ppend str redis //str的value變?yōu)閔elloredisset str1 1 //set命令設(shè)置一個(gè)key的value值 str1是key,1是valueget str1 //get命令,獲取一個(gè)key的值 incr str1 //incr命令,執(zhí)行加1操作,比如str1的值會變成2,如果指定的key的value不能表示一個(gè)整數(shù),就會返回一個(gè)錯誤decr str1 //減一操作
(2)對hash的操作
上面說到過,hash的value相當(dāng)于一個(gè)map,所以只設(shè)置值的時(shí)候myhash是key,h1是value里面的key,hello是h1的value
hset myhash h1 hello //設(shè)置一個(gè)key的value值hget myhash h1 //返回hello,myhash為key,h1是value里面的key,兩個(gè)都需要指定hlen myhash //獲取myhash的字段數(shù)量,這里返回1hkeys myhash //獲取myhash所以字段,這里返回h1
(3)對list的操作
mylst是key,a,b,c,d都是value,并且有順序,所以實(shí)際存進(jìn)去后是d,c,b,a
lpush mylist a b c d //lpush,從隊(duì)列左邊入隊(duì)一個(gè)或多個(gè)元素lrange mylist 0 -1 //獲取指定范圍的值,從0開始,-1代表全部,注意這里返回d,c,b,a。rpush mylist 1 2 3 //從右邊入隊(duì),再次lrange的話就是d,c,b,a,1,2,3lpop mylist //從左邊彈出一個(gè)元素,這里彈出d,此時(shí)的mylist就沒有d了
(4)對set的操作
如果我們添加了重復(fù)的元素,不會報(bào)錯,但只會存一個(gè)。如a b b,只會存a b
兩個(gè)集合之間不受影響,即key為myset和myset2兩個(gè)集合里面都可以有a b
sadd myset a b c d //添加一個(gè)或多個(gè)元素到集合里面smembers myset //獲取集合里所有元素,輸出是無序的,隨機(jī)的。這里可能是b,d,c,asrem myset a c //移除myset中的a和c元素,由于不可能重復(fù)也沒順序,所以可以直接指定元素值來移除
(5)對zset的操作
myzset為key,a b c前面的數(shù)字就是score
zadd myzset 2 b 1 a 3 c //添加一個(gè)或多個(gè)元素zrange myzset 0 -1 //獲取指定范圍的值,0開始,-1代表全部。這里返回a,b,c
更多的命令可以看上面網(wǎng)站中的文檔,寫的非常詳細(xì),下面的常見問題中也會提及一些。
4.Redis常見問題
(1)在大量的key中查詢某一固定前綴的key
在實(shí)際的業(yè)務(wù)當(dāng)中,key的命名是有規(guī)范的,比如緩存用戶信息,key的前綴可能會是user。
現(xiàn)在有幾千萬條數(shù)據(jù),查詢user為前綴的key的話,第一下想到的可能會是keys命令
keys user* //user*為正則表達(dá)式
其時(shí)間復(fù)雜度為O(n),雖然性能也算可以,但是在查詢幾千萬條數(shù)據(jù)時(shí)明顯太慢了,花上幾分鐘都不稀奇,而且在查詢出來之前,可能會造成服務(wù)卡頓,占用大量內(nèi)存,顯然是不可取的。
那么這種情況就可以使用scan命令
下面的命令中,math count為可選項(xiàng),可用可不用,所以需要顯示的寫出來。math意味后面會匹配一個(gè)正則表達(dá)式。count代表一次查詢10條。
這個(gè)10條不是強(qiáng)制的,可能會比10條少。
scan 0 math user* count 10 //從0開始,查詢user為前綴的key,一次查詢10條并返回
執(zhí)行上面一句話后,會返回兩個(gè)東西,一個(gè)游標(biāo),代表執(zhí)行到哪了,比如執(zhí)行到了14325。返回的另一個(gè)就是user為前綴的key了。
下次再執(zhí)行這條語句時(shí),把0換成14325,接著上次的位置繼續(xù)查詢。但是游標(biāo)不一定是遞增的,也許下次的游標(biāo)比這次還小,所以存在重復(fù)的隱患。
我們可以在業(yè)務(wù)代碼處循環(huán)查詢,記錄每次返回的游標(biāo),并把查詢的key存入到set當(dāng)中,起到去重的效果。
scan,實(shí)際上就是分批查詢,速度顯然沒有keys快,在查詢大量數(shù)據(jù)時(shí),不會對服務(wù)器造成壓力。數(shù)據(jù)量不大時(shí)依舊推薦keys。
(2)利用Redis實(shí)現(xiàn)分布式鎖
首先了解什么是分布式鎖。即控制分布式系統(tǒng)訪問共享資源的一種方式。
比如系統(tǒng)(或主機(jī))A和B都需要訪問資源DataA時(shí),當(dāng)A先訪問到了DataA,這時(shí)候就需要分布式鎖來把B擋住,防止A和B彼此干擾,保證數(shù)據(jù)的一致性。
額外提一點(diǎn)就是,Redis命令的操作是原子性的,原子性在數(shù)據(jù)庫的事務(wù)中有體現(xiàn),Redis的命令也是原子性的,要么執(zhí)行要么不執(zhí)行,不會出現(xiàn)一個(gè)命令執(zhí)行到一半失敗了,但還是改變了數(shù)據(jù)的問題。
實(shí)現(xiàn)分布式鎖,需要解決一下幾個(gè)問題:
1.互斥性,即任意時(shí)刻只能有一個(gè)客戶端獲取鎖。
2.安全性,鎖只能有持有它的客戶端刪除,不能由其他客戶端刪除。
3.死鎖,即由于某些原因,一些客戶端出現(xiàn)問題不能及時(shí)釋放鎖,導(dǎo)致其他客戶端也不能獲取鎖。
4.容錯,當(dāng)某些Redis節(jié)點(diǎn)出現(xiàn)問題時(shí),客戶端也要能獲取到鎖。
我們可以用setnx實(shí)現(xiàn)鎖的功能。語法:setnx key value
僅當(dāng)key不存在時(shí),才會設(shè)置成功。成功返回1,否則返回0。
1.在對應(yīng)的訪問資源的業(yè)務(wù)代碼處,對指定的key設(shè)值,如果成功了,則代表沒有其他線程執(zhí)行過這段代碼,也就是沒有其他線程訪問這個(gè)資源。
如果設(shè)值失敗,就代表有其他線程占用該資源,就一直等待,直到setnx成功。
2.還有個(gè)問題就是,這個(gè)key是長期有效的,所以還需要用到expire命令,語法:expire key seconds,seconds單位為秒,用以設(shè)置對應(yīng)key的過期時(shí)間。
上面兩步似乎好像是實(shí)現(xiàn)了鎖的功能,但是缺陷也非常明顯,如果成功設(shè)值后,在我設(shè)置時(shí)間之前客戶端就出現(xiàn)問題了怎么辦? 用兩個(gè)命令實(shí)現(xiàn)一個(gè)功能有悖于Redis的原子性 。
在Redis2.6.12版本開始,set有兩個(gè)參數(shù),就是實(shí)現(xiàn)了以上兩個(gè)功能。雖然上面兩步分開的做法是錯的,但是思路是一樣的。
具體語法: set key value ex 10 nx 。ex代表過期時(shí)間,這里設(shè)置10秒過期,nx代表key是要唯一的,即一個(gè)命令實(shí)現(xiàn)了以上兩個(gè)步驟。
最后還有一個(gè)小問題,如果不同資源同時(shí)設(shè)置了鎖key,過期時(shí)間也是一樣的,到期后Redis同時(shí)刪除大量key時(shí),難免會出現(xiàn)卡頓。
解決方法就是在設(shè)置過期值時(shí)加上隨機(jī)值。
3.利用Redis實(shí)現(xiàn)消息隊(duì)列
消息隊(duì)列,簡稱MQ,即消息和隊(duì)列兩個(gè)單詞的首字母縮寫。常見的消息隊(duì)列有RabbitMQ和RocketMQ等,利用Redis實(shí)現(xiàn)消息隊(duì)列只是熟悉下其特點(diǎn),實(shí)際當(dāng)中一般會使用專門的消息隊(duì)列中間件。
如果之前沒了解過消息隊(duì)列,建議搜索一下消息隊(duì)列相關(guān)知識進(jìn)行一下簡單的學(xué)習(xí)。
簡單地說,消息隊(duì)列的作用就是接受客戶端的請求,然后對這些請求依次處理,一般應(yīng)用請求量特別大時(shí),比如秒殺搶購等。上面介紹數(shù)據(jù)類型時(shí)就說到了list一般用于消息隊(duì)列。
看一下list的常見操作,雖然叫做列表,但其特點(diǎn)和數(shù)據(jù)結(jié)構(gòu)的隊(duì)列基本一模一樣。所以在用Redis實(shí)現(xiàn)消息隊(duì)列時(shí),首先肯定會想到list。
1.利用list的話,仿佛 使用rpush生產(chǎn)消息,lpop消費(fèi)消息 就行了。但是有一個(gè)小問題,lpop不會等待rpush的,當(dāng)rpush還沒來得及生成數(shù)據(jù)時(shí),這時(shí)lpop會直接返回null的。
2.既然要等待rpush生成數(shù)據(jù),難免又會想到一個(gè)命令blpop,其語法為:blpop key seconds。 和lpop功能一樣,但是會等待指定的時(shí)間,這段時(shí)間內(nèi)rpush如果生成數(shù)據(jù)的話,blpop會及時(shí)返回。
3. 但是blpop的缺點(diǎn)也很明顯,當(dāng)然這個(gè)缺點(diǎn)也存在于lpop當(dāng)中,就是blpop執(zhí)行完后,代表出隊(duì),rpush生成的這條消息就沒了,而消息隊(duì)列中有的需求是需要多個(gè)消費(fèi)者去接收的。
這時(shí)候就可以用上 Redis的訂閱者模式 ,Redis客戶端可以訂閱任意數(shù)量的頻道(Topic)

在Redis當(dāng)中用subscribe命令訂閱一個(gè)頻道,語法subscribe topic,topic就是自定義的頻道名稱,注意是topic不是key, 不需要事先定義,直接訂閱就行了。
然后用publish生產(chǎn)消息,語法publish topic value,topic就是你想發(fā)布到哪個(gè)頻道,value就是數(shù)據(jù)內(nèi)容,而訂閱了這個(gè)頻道的所有消費(fèi)者都會接收到消息。 注意是及時(shí)收到,不需要你再去手動用命令獲取。
訂閱者模式,的確解決了以上兩種方法的缺點(diǎn),但是其缺陷也很明顯,就是只有處于訂閱者模式,也就是監(jiān)聽狀態(tài)下,消費(fèi)者才會接受到生產(chǎn)者的消息,也就是及時(shí)發(fā)送及時(shí)接收的,一旦Redis客戶端下線,就永遠(yuǎn)不會接收到這個(gè)消息了。
這就回到了前面說到的一句話,實(shí)際當(dāng)中會使用專門的消息隊(duì)列中間件來說實(shí)現(xiàn)這些功能,以上三種方法或多或少可以實(shí)現(xiàn)消息隊(duì)列的功能,但是缺陷也非常明顯。
4.Redis如何做持久化
Redis是基于內(nèi)存當(dāng)中的,那么肯定就會有疑問了,當(dāng)我關(guān)閉主機(jī)或者關(guān)閉了Redis,那Redis的數(shù)據(jù)是不是就全沒了。
持久化的作用就是,把Redis的數(shù)據(jù)存儲到磁盤當(dāng)中,以免Redis的數(shù)據(jù)丟失。
Redis有兩種持久化機(jī)制,默認(rèn)的一種是RDB,另一種是AOF。
1.RDB(快照)持久化會在某個(gè)時(shí)間點(diǎn)保存全量的數(shù)據(jù),快照即針對內(nèi)存進(jìn)行的快速讀取技術(shù)。而這個(gè)時(shí)間點(diǎn)可以由我們的實(shí)際業(yè)務(wù)進(jìn)行時(shí)間策略配置。
RDB會按照時(shí)間周期策略對數(shù)據(jù)以快照的方式保存到磁盤里,并產(chǎn)生一個(gè) dump.rdb的二進(jìn)制文件 。我們可以在redis.conf配置文件中save參數(shù)查看和配置時(shí)間策略。
dump.rdb文件是如何創(chuàng)建的呢? rdb文件可以通過兩個(gè)命令創(chuàng)建 ,一個(gè)是save,一個(gè)是bgsave。 要注意這里的save是redis命令,上面提到的save是配置文件里面的參數(shù)。
save命令會阻塞Redis服務(wù)器進(jìn)程,直到rdb文件創(chuàng)建完成,一般很少使用。
bgsave命令會fork出一個(gè)子進(jìn)程來創(chuàng)建rdb文件,不會阻塞服務(wù)器進(jìn)程。fork即創(chuàng)建一個(gè)與父進(jìn)程幾乎一樣的子進(jìn)程。
bgsave的基本原理:當(dāng)我們使用bgsave命令時(shí),首先會檢查是否存在RDB/AOF子進(jìn)程正在進(jìn)行,有的話就返回錯誤,即當(dāng)我們第一次執(zhí)行了bgsave,在執(zhí)行完之前其他的bgsave會被拒絕執(zhí)行。
如果沒有正在進(jìn)行的子進(jìn)程,就會調(diào)用redis源碼里面的rdbSaveBackground這個(gè)方法,然后利用fork創(chuàng)建一個(gè)子進(jìn)程。
RDB的缺點(diǎn):
1.1.前面提到,在某個(gè)時(shí)間點(diǎn)會進(jìn)行全量數(shù)據(jù)保存,數(shù)據(jù)量大的話由于I/O而嚴(yán)重影響到性能。
1.2.由于RDB是根據(jù)配置文件里面的時(shí)間策略進(jìn)行保存的,如果發(fā)生意外情況,那么上次保存到當(dāng)前時(shí)間段內(nèi)的數(shù)據(jù)會發(fā)生丟失。
2.AOF(Append-Only-File)持久化 會以追加的方式(append)保存除了查詢指令以外所有變更的數(shù)據(jù),其默認(rèn)的文件名稱為 appendonly.aof 。
AOF持久化默認(rèn)是關(guān)閉的,我們可以 在配置文件當(dāng)中找到appendonly參數(shù),把它的參數(shù)內(nèi)容改為yes。
前面說到AOF文件會記錄所有非查詢的所有指令,最后肯定難以避免文件不斷增大的問題,最主要的問題是記錄的很多數(shù)據(jù)是不必要的。
比如循環(huán)更新一個(gè)數(shù)100次,AOF會記錄這100個(gè)過程,而我們只需要最終結(jié)果就行了。
所以, Redis提供了一個(gè)日志重寫的功能解決文件不斷增大的問題 ,可以用BGREWRITEAOF命令手動執(zhí)行。日志重寫在服務(wù)不中斷的情況下也能執(zhí)行, 其基本原理如下 :
1.使用fork創(chuàng)建一個(gè)子進(jìn)程。2.子進(jìn)程把新的AOF寫道一個(gè)臨時(shí)文件里,并不會依賴現(xiàn)有的AOF文件,只需要讀取內(nèi)存中的數(shù)據(jù)。這里就優(yōu)化了很多不必要的數(shù)據(jù)。
3.主進(jìn)程這時(shí)候會依舊將新的變動寫到內(nèi)存里,也會寫到現(xiàn)有的AOF文件里,即使子進(jìn)程重寫失敗,數(shù)據(jù)也不會丟失。4.主進(jìn)程獲取到子進(jìn)程AOF重寫完成的信號后,會把新的變動追加到新的AOF文件里。
5.最后使用新的AOF文件替換掉原來的AOF文件。
如果啟用了AOF持久化,Redis啟動時(shí)會先檢查AOF文件是否存在,如果存在就直接加載AOF文件,如果不存在就檢查RDB文件是否存在,如果存在就加載,不存在就直接啟動Redis。
在Redis4.0之后,推出了RDB-AOF混合持久化方式并作為默認(rèn)方式,RDB全量保存,AOF增量保存,集成了它們各自的優(yōu)點(diǎn)。
5.SpringBoot整合Redis
首先在依賴項(xiàng)里面添加redis啟動器
spring-boot-starter-data-redis
然后在配置文件里面進(jìn)行相關(guān)的配置,更多的配置可以看RedisProperties.java源碼查看。
spring.redis.host=127.0.0.1 #redis地址spring.redis.port=6379 #redis服務(wù)端口號
最后注入相關(guān)的類
//操作的是復(fù)雜類型,比如各種實(shí)體類@AutowiredRedisTemplate redisTemplate//操作的是字符串@AutowiredStringRedisTemplate stringRedisTemplate
SpringBoot框架下對Redis的操作不像Jedis那樣可以直接使用原生的Redis命令,具體的API大家可以自行搜索相關(guān)的文檔。
不過推薦使用一些SpringBoot的Redis工具類,工具類會對 RedisTemplate和StringRedisTemplate的方法進(jìn)行封裝,而封裝后的方法名和Redis原生命令是一樣的。
在這里分享一篇Redis實(shí)戰(zhàn)電子篇給大家,感興趣的朋友轉(zhuǎn)發(fā)+私信Redis即可獲取


