解決Kubernetes Pod故障的5個(gè)簡(jiǎn)單技巧
在很多情況下，你可能會(huì)發(fā)現(xiàn)Kubernetes中的應(yīng)用程序沒(méi)有正確地部署，或者沒(méi)有正常地工作。今天這篇文章就提供了如何去快速解決這類故障以及一些技巧。
在閱讀了這篇文章之后，你還將深入了解Kubernetes的內(nèi)部機(jī)制，另外，我還將與大家分享一些關(guān)于自己操作Kubernetes的一些非常有用的技巧。
那么，我們開(kāi)始吧！
首先，Pod失敗的原因一般有兩個(gè)：
- Kubernetes資源配置中的錯(cuò)誤，例如在部署（Deployment）和服務(wù)（Service）里。
- 代碼中的問(wèn)題。
在第一種情況下，容器一般不會(huì)啟動(dòng)。在后一個(gè)實(shí)例中，應(yīng)用程序代碼在容器啟動(dòng)后失敗。我們將系統(tǒng)地處理每種情況。
在本練習(xí)中，我們會(huì)使用kubectl來(lái)實(shí)現(xiàn)與Kubernetes的交互。
技巧1：檢查Pod
確認(rèn)Pod處于運(yùn)行（Running）狀態(tài)或準(zhǔn)備就緒（Ready）的狀態(tài)。
- kubectl get pods
如圖，一個(gè)Pod在等待（Pending）狀態(tài)9個(gè)小時(shí)，肯定不是個(gè)好事！容器沒(méi)有啟動(dòng)，我們將會(huì)使用技巧2中的describe命令對(duì)此進(jìn)行深入地研究。但，在這里我們強(qiáng)調(diào)一下在容器啟動(dòng)失敗時(shí)發(fā)生的其他錯(cuò)誤代碼。如下：
- Imagepullbackoff：
Docker鏡像倉(cāng)庫(kù)不可訪問(wèn)，部署中指定的鏡像名稱或版本不正確。
請(qǐng)確保鏡像名稱是正確的，并且鏡像倉(cāng)庫(kù)是可訪問(wèn)的以及經(jīng)過(guò)身份驗(yàn)證的（docker login…）。
- RunContainerError：
也是一種可能。
原因：
缺少ConfigMap或Secrets。
- ContainerCreating：
容器創(chuàng)建時(shí)一些組件無(wú)法立刻啟用，比如持久卷？
在研究其他錯(cuò)誤之前，讓我們先嘗試使用錯(cuò)誤的鏡像名稱啟動(dòng)Pod。
- # start Pod from image "ngin".
- # 'web' can be any name, is the name of resulting K8S deployment
- kubectl run web --image=ngin --replicas=1
最后一行展示了鏡像錯(cuò)誤
果然，完全不存在的鏡像“ngin”導(dǎo)致了ImagePullBackOff錯(cuò)誤。使用正確的鏡像名稱“nginx”就能解決這個(gè)問(wèn)題。
- kubectl run temp --image=nginx --replicas=1
- kubectl get pods
如圖，Pod已經(jīng)起來(lái)了。
接下來(lái)，這里有一些在容器啟動(dòng)后可能發(fā)生的錯(cuò)誤。
- Crashloopbackoff：
Pod存活檢查失敗或Docker鏡像出錯(cuò)。
例如，Docker CMD即刻退出。
可以用下面的技巧3來(lái)檢查日志。
注意：
此截圖中的“重啟（RESTARTS）”列顯示了重啟的次數(shù)。
在這種情況下，你應(yīng)該會(huì)看到一些重啟，因?yàn)楫?dāng)錯(cuò)誤發(fā)生時(shí)，Kubernetes會(huì)反復(fù)嘗試啟動(dòng)Pod。
- 如果Pod處于運(yùn)行（Running）狀態(tài)，而你的應(yīng)用程序仍然不能正常工作，請(qǐng)繼續(xù)技巧3和4。
技巧2：檢查和Pod相關(guān)的事件
如果你在Pod狀態(tài)上看到一個(gè)錯(cuò)誤代碼，你可以使用describe命令獲得更多信息。這在容器本身沒(méi)有啟動(dòng)的情況下是很有幫助的。
- kubectl describe frontend-65c58c957d-f4cqn
截圖的最后一行表明，由于缺少CPU資源，Pod還沒(méi)有啟動(dòng)，請(qǐng)參見(jiàn)底部的消息。你可以增加Pod的CPU再重新部署應(yīng)用程序。
技巧3：檢查日志（Log）
現(xiàn)在容器已經(jīng)啟動(dòng)，可以通過(guò)檢查日志來(lái)查看應(yīng)用程序是否正常運(yùn)行。例如，Pod frontend-65c58c957d-bzbg2：
- kubectl logs --tail=10 frontend-65c58c957d-bzbg2
實(shí)時(shí)滾動(dòng)查看一個(gè)正在運(yùn)行的日志：
- kubectl logs -f frontend-65c58c957d-bzbg2
如果kubectl logs后沒(méi)有任何輸出，試試使用get pod，然后會(huì)發(fā)現(xiàn)這很有可能是一個(gè)新啟動(dòng)的Pod，因此可以嘗試檢查一些上一次掛掉的Pod的日志。
- kubectl logs frontend-65c58c957d-bzbg2 --previous
技巧4：直接在Pod中運(yùn)行“sh”、“bash”或“ash”
可以進(jìn)入到Pod內(nèi)部并運(yùn)行命令來(lái)對(duì)應(yīng)用程序進(jìn)行故障排除（輸入exit即可退出）。
- kubectl exec -it frontend-65c58c957d-bzbg2 /bin/sh
技巧5：顯示集群級(jí)別的事件
Kubernetes在它管理的資源狀態(tài)發(fā)生變化（正常、警告等）時(shí)觸發(fā)對(duì)應(yīng)的事件。這能幫助我們了解背后到底發(fā)生了什么。get events命令能提供事件的聚合透視圖。
- # all events sorted by time.
- kubectl get events --sort-by=.metadata.creationTimestamp# warnings only
- kubectl get events --field-selector type=Warning# events related to Nodes
- kubectl get events --field-selector involvedObject.kind=Node
額外的技巧
這是我最喜歡的技巧！熟練掌握各種命令會(huì)使你更有信心在游走在Kubernetes集群中。
首先，輸入kubectl可以列出所有kubectl的命令。
接下來(lái)，嘗試用下面的命令來(lái)執(zhí)行g(shù)rep調(diào)試命令。
- kubectl | grep -i -A 10 debugging
列出可以在Kubernetes上運(yùn)行的一些基本命令。
- kubectl | grep -i -A 5 Basic
接下來(lái)，列出可操作的Kubernetes資源。
- kubectl api-resources
現(xiàn)在可以自己搞一些命令了！你可以選擇一個(gè)命令（get、describe、explain）并選取一個(gè)資源然后運(yùn)行它！例如，get nodes。所以，再試試別的吧！
雖然有些組合可能并沒(méi)什么意義，但除了這一點(diǎn)，整個(gè)command系統(tǒng)是相當(dāng)直觀和一致的；你可以輕松地編寫(xiě)命令并進(jìn)行各種探索。
只是千萬(wàn)要小心，不要?jiǎng)h除或修改你不希望碰到的對(duì)象。
列出Kubernetes命名空間（namespace）：
- kubectl get ns
這樣，你可以使用特定的命令來(lái)更深入地研究相應(yīng)的選項(xiàng)或示例。
- kubectl get --help
- # see K8S system pods in 'kube-system' namespace!
- kubectl -n kube-system get pods
正如你所看到的，Kubernetes的命令系統(tǒng)非常容易理解，簡(jiǎn)單地測(cè)試這些命令能讓我們學(xué)到很多東西。
結(jié)論
有了這些，我希望你能在Kubernetes集群中找到并修復(fù)Kubernetes資源和代碼中的錯(cuò)誤。同時(shí)我打算接下來(lái)再介紹一下Kubernetes服務(wù)（Service）和網(wǎng)絡(luò)的調(diào)試。
如果你已經(jīng)走了這么遠(yuǎn)，我想感謝你對(duì)學(xué)習(xí)Kubernetes的堅(jiān)持和奉獻(xiàn)。請(qǐng)?jiān)谙旅媪粝履愕脑u(píng)論，如果你有什么想法，或者有什么想談?wù)摰脑掝}，也請(qǐng)告訴我。
最后，如果你想在Kubernetes中部署一個(gè)真實(shí)的應(yīng)用程序，請(qǐng)閱讀我的上一篇文章。然后可以使用命令和故障排除工具對(duì)其進(jìn)行修補(bǔ)。
