[[373385]]

本文轉載自微信公眾號「相遇Linux」，可以通過以下二維碼關注。轉載本文請聯系相遇Linux公眾號。

在Linux內核中有三個watchdog(看門狗)，它們都需要被悉心的喂養照料,分別是：

1. /dev/watchdog

2.softlockup檢測機制

3.hardlockup檢測機制

首先看 1./dev/watchdog，此看門狗該怎樣喂養呢，linux內核中有一段樣例代碼:

samples/watchdog/watchdog-simple.c 
// SPDX-License-Identifier: GPL-2.0 
#include <stdio.h> 
#include <stdlib.h> 
#include <unistd.h> 
#include <fcntl.h> 
 
int main(void) 
{ 
        int fd = open("/dev/watchdog", O_WRONLY); 
        int ret = 0; 
        if (fd == -1) { 
                perror("watchdog"); 
                exit(EXIT_FAILURE); 
        }    
        while (1) { 
                ret = write(fd, "\0", 1);  
                if (ret != 1) { 
                        ret = -1;  
                        break; 
                }    
                sleep(10); 
        }    
        close(fd); 
        return ret; 
} 

此例子中，每隔10秒鐘就會向“/dev/watchdog" 文件寫入0, 這就是喂狗過程，看到這個樣例，好像不太能感受到這個看門狗大的用處，但是放在實際工程中，用處太大了，舉個例子：

某國中央銀行在一臺有 內存4T, 320個cpu核 的Linux服務器上跑一個數據庫程序，數據庫上存有他本國所有人民的銀行賬號信息，當此數據庫程序在運行過程中，發生了IO讀寫錯誤，或者程序bug, 一下卡住了，那么他本國人民就都不能存錢取錢轉賬了，整個國民經濟瞬間癱瘓。

此時想想看，Linux系統有沒有什么機制來解決這種問題了，這時候“/dev/watchdog" 來了，

這個時候只需要在數據庫程序中加上類似上面的樣例程序，每隔10s中就去喂狗一次，

只要數據庫程序卡住，卡住之后就不能喂狗了，等到比如默認60s以后，這只狗就罷工了，立馬會默認觸發服務器重啟。

服務器重啟會重新加載數據庫程序, 或者服務器在重啟過程中，由于服務器與它所在的服務器集群失聯，從而觸發集群中的分腦檢測，把數據庫程序挪到集群中其它設備上跑, 此時就減少了很多損失. 所以這只狗/dev/watchdog 用處太大了。

再來看下它的實現原理:

#ps -ef | grep watchdog 
root       104     2  0  2020 ?        00:00:00 [watchdogd] 
 
#ls -l /dev/watchdog* 
crw------- 1 root root  10, 130 Dec 30 20:04 /dev/watchdog 
crw------- 1 root root 247,   0 Dec 30 20:04 /dev/watchdog0 

看到系統中有個內核線程watchdogd, 和兩個字符文件：/dev/watchdog和/dev/watchdog0

其中watchdogd實時調度類線程負責具體執行喂狗，/dev/watchdog是內核提供給用戶層的通用操作接口文件，用來開啟這只狗，喂狗，查詢狀態等。/dev/watchdog0 是具體的狗子實現，可以基于具體的物理設備實現，或者是softdog內核模塊以軟件的方式(具體使用方法:modprobe softdog)模擬硬件實現。

來看下softdog內核模塊怎樣模擬硬件實現這個功能:

static int __init softdog_init(void) 
        hrtimer_init(&softdog_ticktock, CLOCK_MONOTONIC, HRTIMER_MODE_REL); 
        softdog_ticktock.function = softdog_fire; 
 
static enum hrtimer_restart softdog_fire(struct hrtimer *timer) 
        emergency_restart(); 
 
static int softdog_ping(struct watchdog_device *w) 
        hrtimer_start(&softdog_ticktock, ktime_set(w->timeout, 0), （60s） 
                      HRTIMER_MODE_REL); 

從代碼實現來看，很好理解，在開啟看門狗(open "/dev/watchdog")之后，默認60s以后就會觸發系統重啟，在60s倒計時過程中，只有喂狗(softdog_ping)一次,它就又會恢復到60s以后才會觸發系統重啟，所以只要一直喂狗，emergency_restart()就不會執行,系統就不會重啟。

再來看下 2.softlockup檢測機制 和 3.hardlockup檢測機制。

softlockup檢測機制的喂狗方式是,每cpu上的hrtimer會喚醒一個migration/N內核線程，migration/N每次被喚醒之后都會對某個時間戳進行重置。

hardlockup檢測機制的喂狗方式是，hrtimer每次執行時都會對一個變量進行加一。

關于softlockup和hardlockup檢測機制的具體原理實現和應用場景,我最近發布了一個視頻“Linux常見鎖和lockup檢查機制" 包含了從實現原理(linux內核代碼層)和原理驗證(使用ftrace調試手段)、樣例代碼、動手模擬實驗，可以全方位理解softlockup/hardlockup.