成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

MQ為什么會丟消息?如何保證不丟失消息

網絡 通信技術
當生產者往 MQ 中寫數據時,可能出現網絡故障,消息壓根就沒到達 MQ 內部,生產者端對這個異常沒有捕獲,不做任何處理,這種場景會導致消息丟失。

 [[385981]]

本文轉載自微信公眾號「菜鳥飛呀飛」,作者劉進坤。轉載本文請聯系菜鳥飛呀飛公眾號。

一、前言

面大廠時,MQ 這一中間件基本都是必問的,本文是面試時被問到的其中一題的答案。

二、為什么丟消息

一條消息從產生到被消費,中間會經歷三個環節:生產者、MQ 內部、消費者,消息在這三個環節中均有可能出現丟失。

1. 在生產者環節丟失

當生產者往 MQ 中寫數據時,可能出現網絡故障,消息壓根就沒到達 MQ 內部,生產者端對這個異常沒有捕獲,不做任何處理,這種場景會導致消息丟失。

當消息達到 MQ 所在的機器,但是 MQ 出現了異常,返回異常給生產者端,生產者對異常沒做相應處理,導致消息丟失

2. 在 MQ 環節丟失

當消息達到 MQ 內部后,消息會先存于內存當中,然后再持久化到磁盤。如果在消息處于內存當中,還未來得及刷入磁盤時,MQ 所在機器宕機,此時,消息會丟失。

即使消息持久化到磁盤了,但當前機器的磁盤發生損壞,消息依舊會丟失。

3. 在消費者環節丟失消息

  • 當消息達到消費者端時,如果消費者開啟了 Auto ACK,那么消費者消費到消息后,就會自動提交 offset 到 MQ,如果此時消費者還沒來得及處理消息對應的業務邏輯,機器宕機了或者被新手 kill -9 pid 了,此時消息也就被丟失了。即使機器重新恢復后,由于已經提交了之前消息的 offset,所以 MQ 不會再將之前的消息推送給消費者,因此這條消息丟失。(這也是很多文章都說不準使用 kill -9 pid 的其中原因之一)
  • 消費者沒有開啟 Auto ACK,但是消費者消費到消息后,將消息扔到了線程池,然后提交 offset,讓線程池異步去處理消息。如果線程池中的任務還沒處理完,機器宕機或者 OOM 等異常,這也將導致消息沒被處理,從而丟失。

三、如何保證不丟消息

消息在上述三個環節均有可能出現丟失,因此需要保證上述這三個環節均不出現丟數據的可能,才能完全保證消息不丟失。

1. 生產者

當往 MQ 中寫消息出現異常時,采用 try...catch... 捕獲異常,在異常代碼塊中重試。

如果是 RocketMQ,可以直接使用 RokcetMQ 的事務消息,來保證消息不丟失。至于為什么 RocketMQ 為什么能保證消息不丟失。

2. MQ

對于 MQ 而言,要保證消息不丟失,一方面是要保證消息要持久化到磁盤,另一方面是需要保證消息有多個副本。在不同的 MQ 中,對這兩點的處理方式均不太一樣,下面主要以 kafka 和 RocketMQ 為例說明。

對于 kafka 而言,需要保證如下三點:

  1. 要求每個 partition 的副本數大于 1(replication factor > 1)
  2. 要求 kafka 服務端設置 broker.insync.replicas 參數的值大于 1,它的意思是要求至少有一個 flower 在和 leader 同步
  3. 將 acks=all,在寫數據時,要求消息寫到所有的 leader 和 flower 之后,才認為消息寫成功。

對于 RocketMQ 而言,需要保證以下幾點:

  1. 基于 Dledger 的 broker 主從架構,每個主 broker 需要掛至少 2 個 slave broker。
  2. 采用同步刷盤策略。

同步刷盤指的是 MQ 接收到生產的消息時,將消息先寫入到 OS cache 中,然后再將 OS cache 刷入到磁盤后,才返回 success 給生產者;與之對應的是異步刷盤,異步刷盤指的是將將消息寫入到 OS cache 中后就返回 success 給生產者,然后由操作系統決定 OS cache 中的數據什么時候刷入到磁盤。顯然,同步刷盤雖然能保證數據不丟失,但是性能會比較低,同步刷盤時,MQ 的吞吐量沒有異步刷盤高。

3. 消費者

關閉 Auto ACK。消費到消息后,處理完業務邏輯后再手動提交 offset。

不使用異步線程池處理消息。

四、總結

保證消息不丟失是一個非常苛刻的要求,要保證消息不丟失就需要犧牲系統的性能(生產者的處理邏輯變復雜,MQ 的吞吐量降低,消費者消費速度下降等),所以需要結合具體的業務場景來決定是不是需要百分百保證消息不丟失。通常而言,對于核心鏈路:如訂單、交易等相關的業務,基本都需要保證保證消息百分百不丟失。

 

責任編輯:武曉燕 來源: 菜鳥飛呀飛
相關推薦

2024-08-06 09:55:25

2016-10-11 16:31:56

微信服務器消息

2020-10-26 09:19:11

線程池消息

2021-10-22 08:37:13

消息不丟失rocketmq消息隊列

2024-06-18 08:26:22

2020-10-18 07:25:55

MQ消息冪等架構

2022-12-26 18:53:00

MQ宕機倉儲服務

2021-08-04 07:47:18

Kafka消息框架

2024-04-09 09:08:09

Kafka消息架構

2024-01-16 08:24:59

消息隊列KafkaRocketMQ

2021-09-13 07:23:53

KafkaGo語言

2023-09-13 08:14:57

RocketMQ次數機制

2016-11-02 13:12:31

微信離線消息

2022-08-26 05:24:04

中間件技術Kafka

2024-02-26 08:10:00

Redis數據數據庫

2024-11-11 07:05:00

Redis哨兵模式主從復制

2022-03-31 08:26:44

RocketMQ消息排查

2022-12-16 17:15:33

MQRabbitMQ

2025-01-10 08:20:00

MQ消息架構

2025-06-12 09:46:15

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日韩欧美视频 | 亚洲天堂男人的天堂 | tube国产| 久久久久久亚洲精品 | 日本字幕在线观看 | 国产精品亚洲综合 | 国产精品一区在线观看 | 2021狠狠干 | caoporon| 国产高清一区二区 | 91精品国产一区二区在线观看 | 麻豆国产一区二区三区四区 | 99精品一区二区 | 午夜精品久久久久久久 | 99免费精品视频 | 亚洲欧洲精品成人久久奇米网 | 草比网站| 91天堂| 九九热这里 | 欧美一级欧美一级在线播放 | 精品日韩在线 | a黄毛片 | 国产黄色在线观看 | 青青草精品视频 | 国产日韩精品一区 | 成人激情视频在线播放 | 日韩一区二区三区在线观看 | 日韩欧美视频免费在线观看 | 午夜手机在线视频 | av大片在线观看 | 久热精品视频 | 精品一区二区三区在线观看国产 | 欧美日韩高清一区 | 欧美精品tv| 国产91在线 | 欧美 | 欧美一区二区三区精品免费 | 中文久久 | 精品国产91 | 国产三级精品视频 | 国产一区二区 | 欧美一区二区三区视频 |