詳解 Kubernetes 中的等待重試機制
作者：海的瀾色
經常使用 Kubernetes 的朋友應該對 CrashLoopBackOff 不陌生，這是一種較常見的 Pod 異常狀態。通常發生在 Pod 內的進程啟動失敗或意外退出（退出碼不為 0），而 Pod 的重啟策略為?OnFailure?或?Always，kubelet 重啟該 Pod 后。
Kubernetes 中有很多需要重試的地方，比如重啟 Pod、CSI 的 PVC 掛載重試等。出錯重試時通常都會等待一個指數增長的時間，本文就來解析這個等待重試的機制。
Pod 的 CrashLoopBackOff 狀態
經常使用 Kubernetes 的朋友應該對 CrashLoopBackOff 不陌生，這是一種較常見的 Pod 異常狀態。通常發生在 Pod 內的進程啟動失敗或意外退出（退出碼不為 0），而 Pod 的重啟策略為 OnFailure 或 Always，kubelet 重啟該 Pod 后。
該狀態表示 Pod 在運行失敗不斷重啟的循環中，而 kubelet 每次重啟的時候都會等待指數級增長的時間。這個重啟等待時間就是通過 backoff 實現的，以下是相關代碼：
// If a container is still in backoff, the function will return a brief backoff error and
// a detailed error message.
func (m *kubeGenericRuntimeManager) doBackOff(pod *v1.Pod, container *v1.Container, podStatus *kubecontainer.PodStatus, backOff *flowcontrol.Backoff) (bool, string, error) {
var cStatus *kubecontainer.Status
for _, c := range podStatus.ContainerStatuses {
if c.Name == container.Name && c.State == kubecontainer.ContainerStateExited {
cStatus = c
break
}
}
if cStatus == nil {
returnfalse, "", nil
}
klog.V(3).InfoS("Checking backoff for container in pod", "containerName", container.Name, "pod", klog.KObj(pod))
// Use the finished time of the latest exited container as the start point to calculate whether to do back-off.
ts := cStatus.FinishedAt
// backOff requires a unique key to identify the container.
key := getStableKey(pod, container)
if backOff.IsInBackOffSince(key, ts) {
if containerRef, err := kubecontainer.GenerateContainerRef(pod, container); err == nil {
m.recorder.Eventf(containerRef, v1.EventTypeWarning, events.BackOffStartContainer,
fmt.Sprintf("Back-off restarting failed container %s in pod %s", container.Name, format.Pod(pod)))
}
err := fmt.Errorf("back-off %s restarting failed container=%s pod=%s", backOff.Get(key), container.Name, format.Pod(pod))
klog.V(3).InfoS("Back-off restarting failed container", "err", err.Error())
returntrue, err.Error(), kubecontainer.ErrCrashLoopBackOff
}
backOff.Next(key, ts)
returnfalse, "", nil
}backoff 的用法
使用 backoff 的方法很簡單，只需要用到 .IsInBackOffSince 和 .Next 方法：
func startBackoff() {
backOff := flowcontrol.NewBackOff(5*time.Second, 60*time.Second)
backOffID := "test"
lastDo := time.Now()
t := time.NewTicker(1 * time.Second)
defer t.Stop()
forrange t.C {
if backOff.IsInBackOffSince(backOffID, lastDo) { // 判斷當前是否應該執行
continue
}
fmt.Printf("doing work after %s\n", time.Now().Sub(lastDo))
backOff.Next(backOffID, time.Now()) // 標記已經執行過了
lastDo = time.Now()
}
}以上代碼的輸出結果：
doing work after 1.001035775s
doing work after 5.999162394s
doing work after 10.9999193s
doing work after 21.000754631s
doing work after 40.999154124s
...也可以對特定 id 重新計時：
backOff.Reset(backOffID)將所有 id 全部清除：
backOff.GC()backoff 的實現原理
backoff 的實現就百來行代碼，短小精悍。主結構體內定義了每個 id 對應的任務執行時間和等待時間。
在記錄當前執行時間時，將等待時間設置為上一次等待時間乘 2，實現等待時間指數級增長的效果：
func (p *Backoff) Next(id string, eventTime time.Time) {
p.Lock()
defer p.Unlock()
entry, ok := p.perItemBackoff[id]
if !ok || hasExpired(eventTime, entry.lastUpdate, p.maxDuration) {
entry = p.initEntryUnsafe(id)
entry.backoff += p.jitter(entry.backoff)
} else {
delay := entry.backoff * 2 // exponential
delay += p.jitter(entry.backoff) // add some jitter to the delay
entry.backoff = min(delay, p.maxDuration)
}
entry.lastUpdate = p.Clock.Now()
}判斷當前是否需要執行時，只需要判斷是否到了等待時間即可：
func (p *Backoff) IsInBackOffSince(id string, eventTime time.Time) bool {
p.RLock()
defer p.RUnlock()
entry, ok := p.perItemBackoff[id]
if !ok {
returnfalse
}
if hasExpired(eventTime, entry.lastUpdate, p.maxDuration) {
returnfalse
}
return p.Clock.Since(eventTime) < entry.backoff
}責任編輯：武曉燕
來源：
CS實驗室
