程序員經典面試題,消息隊列怎么用,才能保證萬無一失
據不完全統計,工業級別的代碼,幾乎有三分之二都是在處理異常情況。跟很多面試官聊過,在面試中如何考察一個應試者的思維是否周全,比較好的方法就是考察他是否能夠思考周全,想到所有異常情況的處理方案。相信大家都使用過消息MQ,他可以很好地進行系統解耦,減低變成的復雜度,又可以進行削峰,增加系統在高并發的穩定性,那么使用MQ有哪些注意事項呢?是不是MQ就是萬無一失呢?一條MQ消息從產生到消費,有沒有可能失敗?在哪些環節可能失敗,如何處理?
消息生產失敗
一般來說,從生產者到MQ中間件是通過網絡調用的,是網絡調用就有可能存在失敗。下面這些原因,都有可能造成MQ生產失敗,例如網絡波動,盡管生產者到MQ服務器之間是內網調用,并不意味著網絡調用的成功率就是百分之百,內網調用也會遇到網絡波動,造成調用超時或者失敗。又如調用的MQ機器瞬間Crash掉,這也是有可能造成調用失敗的。面對生產者調用MQ的失敗,我們是容易比較容易處理的,我們只要簡單地進行重試即可,如果重試2-3次失敗,那么非常有可能是出現大問題,這個時候再重試意義不大,需要進行告警,讓開發運維介入,進行處理。
MQ處理存儲失敗
消息到達消息中間件之后,通常是會被存儲起來的,只有被寫入到磁盤中,消息才是真正地被存儲,不會丟失。但是,大部分MQ中間件并不是收到消息就立馬寫入磁盤的,只是由于磁盤的寫入速度相對于內存,現得慢得多得多,所以,像Kafka這樣的消息系統,是會把消息寫到緩沖區中,異步寫入磁盤,如果機器在中途突然斷電,是有可能會丟失消息的。為了解決這個問題,大部分的MQ都是采用分布式部署,消息會在多臺機器上寫入緩存中成功才會返回給業務方成功,由于多臺機器同時斷電的可能性較低,我們可以認為這是比較低成本又可靠的方案。
消費者處理失敗

一般的MQ都有MQ重試機制,如果處理失敗,就會嘗試重復消費這個MQ。這個帶來的問題就是,MQ可能已經成功消費了,但是在通知MQ中間件的時候失敗了,這個時候帶來的結果就是消息重復消費。同理,在生產者重試的時候,也會遇到消息重復消費的問題。這個時候,就要求我們盡量把接口設計得有冪等性,這個時候即便是重復消費,也不用擔心什么問題了。基本上做好這三點,我們就能夠大大地提高我們地系統地可用性了!如果你有興趣,歡迎大家關注我,共同學習,共同進步。大家的支持是我繼續嘮嗑的動力。