在很多分布式系統中，我們經常看到它們使用心跳機制，為什么這么多的分布式系統使用心跳機制？心跳機制到底是什么？今天一起來聊一聊。

一、什么是心跳機制？

在分布式系統中，心跳其實就是從一個組件發送到另一個組件的定期消息，用于交換數據或者健康狀態，心跳可以是單向的，也可以是雙向的。

1.單向心跳包

單向心跳包是由一個節點（發送者）定期向另一個節點（接收者）發送消息，而不要求接收者回復。這種方式簡單而高效，適用于一些基本的健康檢查和狀態監控。

優點：

• 實現簡單：發送者只需定期發送心跳包，不需要處理回復邏輯。
• 低延遲：減少了通信的往返時間，適合低延遲應用場景。

缺點：

• 缺乏確認：接收者的狀態信息是單向的，發送者無法確定接收者是否收到心跳包。
• 誤報風險：如果網絡臨時中斷，接收者無法通知發送者，可能導致誤報。

使用場景：

• 基礎監控：如定期發送服務器狀態信息到監控系統。
• 簡單的健康檢查：如負載均衡器檢查后端服務器是否存活。

2.雙向心跳包

雙向心跳包涉及兩個節點之間的雙向通信。一個節點發送心跳包，接收者收到后回復確認消息。這種方式能夠提供更可靠的狀態信息。

優點：

• 確認機制：發送者能確認接收者是否收到心跳包，提高了通信的可靠性。
• 狀態同步：雙方可以交換狀態信息，確保數據的一致性和同步。

缺點：

• 實現復雜：需要處理發送和接收的邏輯，增加了系統的復雜性。
• 潛在延遲：增加了通信的往返時間，可能引入一些延遲。

使用場景：

• 故障檢測：如數據庫主從同步，確保數據一致性。
• 高可靠性應用：如分布式文件系統，確保各節點間的狀態同步。

如下圖：Server1 向 Server2 發送一條單向心跳消息：

二、為什么需要心跳機制？

因為分布式系統可能包含很多服務器，形成錯綜復雜的網絡交互，產生的問題也是形形色色，假如沒有心跳機制，可能會出現以下問題：

• 無法及時感知故障檢測
• 服務器停機時間和錯誤會增加
• 整體分布式系統的可靠性會降低

增加心跳機制后，可以實現以下功能：

• 監控：心跳消息有助于監控分布式系統不同部分的運行狀況和狀態。
• 檢測故障：心跳機制使系統能夠識別組件何時無響應。如果節點錯過了幾個預期的心跳信號，則表明可能存在問題。
• 觸發恢復操作：心跳機制允許系統采取糾正措施，如將任務移動到正常運行的節點、重新啟動故障組件或通知系統管理員介入。
• 負載均衡：通過監控不同節點的心跳信號，負載均衡器可以根據每個節點的響應能力和運行狀況，更有效地在網絡中分配任務。

三、心跳機制是如何工作的？

心跳機制主要涉及兩個主要組件：

• 心跳發送者（節點）：定期發送心跳信號的節點。
• 心跳接收器（監視器）：接收并監視心跳信號的組件。

心跳機制整個過程包含以下幾個步驟：

• 節點定期向監視器發送心跳包，比如每 5/10/30秒發送一次心跳包。
• 監視器接收心跳包，并更新節點的狀態，比如“活動”或“可用”。
• 如果監視器在規定的時間范圍內未收到節點的心跳包，則會將節點標記為“不可用”或“故障”。
• 系統檢測到有異常的節點，需要采取適當的操作，例如重定向流量、啟動故障轉移過程或向管理員發出警報。

心跳包的發送機制通常上有 2種方式：

• Push方式：節點主動向監視器發送心跳包
• Pull方式：監視器會定期查詢節點的狀態

如下圖為一個簡單的心跳健康檢查機制：

四、心跳包類型

心跳包在分布式系統中本質上就是一條信息，只不過會根據不同的業務場景定義成不同的類型，以下是常見的心跳包類型：

(1) 簡單心跳包

• 用途：基本的存在檢測。
• 內容：通常包含節點ID和時間戳。
• 示例：節點每隔一段時間發送一個簡單消息，告知其仍在運行。

(2) 狀態心跳包

• 用途：不僅檢測節點存在，還報告節點狀態。
• 內容：包含節點ID、時間戳、CPU使用率、內存使用率、磁盤狀態等。
• 示例：節點發送詳細的狀態信息，使監視器可以評估其健康狀況。

(3) 負載心跳包

• 用途：報告節點當前負載，以便于負載均衡。
• 內容：包含節點ID、時間戳、當前負載指標（如當前連接數、任務隊列長度等）。
• 示例：負載均衡器根據負載心跳包的信息來調整任務分配。

(4) 自檢心跳包

• 用途：節點自行檢查并報告其健康狀態。
• 內容：包含節點ID、時間戳、自檢結果（如服務健康檢查結果、錯誤日志摘要等）。
• 示例：節點定期運行自檢腳本，并將結果發送給監視器。

(5) 同步心跳包

• 用途：用于多節點之間的狀態同步。
• 內容：包含節點ID、時間戳、同步狀態、最新數據版本等。
• 示例：數據庫集群中的主節點與從節點之間使用同步心跳包來確保數據一致性。

(6) 事件心跳包

• 用途：通知監視器特定事件的發生。
• 內容：包含節點ID、時間戳、事件類型和事件詳細信息。
• 示例：節點在發生重要事件（如重新啟動、故障修復）時發送事件心跳包。

(7) 安全心跳包

• 用途：增強安全性，確保心跳消息的真實性和完整性。
• 內容：包含節點ID、時間戳、簽名信息或加密數據。
• 示例：節點發送的心跳包經過數字簽名，監視器驗證簽名以確保消息未被篡改。

五、心跳機制面臨的問題

因為分布式系統包含了比較多的服務器，而心跳又是在這些服務器之間通過網絡傳播的，因此，使用心跳包也面臨一些挑戰：

• 網絡擁塞：如果管理不當，心跳信號的持續流動可能會導致網絡擁塞。
• 誤報：心跳信號間隔配置不當可能會導致故障檢測出現誤報，誤將運行緩慢但正常的組件標識為故障組件。
• 資源使用：持續監控需要計算資源，必須優化以防止對系統造成不必要的壓力。
• 腦裂場景：在極少數情況下，網絡故障可能會將系統分區，導致雙方節點互相宣布對方死亡，這需要更復雜的故障處理機制。

六、心跳機制的使用場景

心跳機制在分布式系統中有著大量的使用場景，這里列舉幾個實際工作中最常見的例子：

(1) 消息中間件

在消息中間件 RocketMQ中，Broker會通過心跳包和注冊中心 NameServer保持交互，這樣注冊中心就能監控到 Broker的狀態，從而給生產者和消費者提供比較實時的 Broker集群列表。

(2) Kubernetes

在 Kubernetes容器編排平臺中，每個節點都會定期向控制平面發送心跳，以指示其可用性。控制平面使用這些檢測信號來跟蹤節點的運行狀況，并相應地做出調度決策。

(3) Elasticsearch

在 Elasticsearch集群中，節點交換心跳以形成八卦網絡。此網絡使節點能夠相互發現、共享集群狀態信息并檢測節點故障。

(4) Redis Cluster

Redis Cluster集群中的心跳包實現基于 Gossip協議，它是一種分布式通信協議，允許節點周期性地與隨機選擇的其他節點交換狀態信息。Redis Cluster的心跳包稱為 PING和 PONG消息，主要結構如下：

• PING 消息：用于發送節點的狀態信息，包括節點ID、節點角色（主節點或從節點）、槽位信息等。
• PONG 消息：用于響應 PING 消息，確認接收到的狀態信息。

七、總結

心跳機制在分布式系統中起到了重要的作用，因此，了解和掌握心跳機制，對于掌握分布式系統之間如何交互信息和服務器探活有著重要的意義。