1. 問題現象

當Linux服務器的內存耗盡時，可能會出現以下現象：

• CPU卡死：CPU的執行速度變得異常緩慢，指令無法正常執行。
• Docker服務失效：無法執行docker stop、docker rm -f、docker ps等命令，容器停不下來，甚至無法通過service docker restart重啟Docker服務。
• 系統卡死：即使嘗試重啟Docker服務，系統依舊卡頓嚴重，無法恢復正常狀態。

2. 原因分析

導致這種問題的常見原因包括：

• 內存耗盡（OOM，Out of Memory）：服務器內存被完全占用，導致系統無法為新進程分配內存，進而影響系統的正常運行。CPU雖然可能仍有空閑，但因內存不足，很多進程無法正常調度。
• 過度的容器負載：運行了大量的Docker容器或某些容器消耗了過多的內存，導致服務器資源枯竭。
• Docker服務失效：由于系統資源枯竭，Docker的后臺進程可能無法獲取足夠的資源，導致其指令無法響應。

3. 常見錯誤的排查方法

3.1 檢查內存使用情況

即使系統卡頓，嘗試使用以下命令確認內存的使用情況：

free -h

如果顯示可用內存極少或為0，說明系統內存已耗盡。

3.2 使用dmesg查看OOM殺死記錄

使用dmesg命令檢查系統日志，看看是否有進程因內存耗盡被內核的OOM Killer殺死：

dmesg | grep -i "out of memory"

3.3 檢查Docker服務狀態

查看Docker服務是否出現問題：

systemctl status docker

如狀態顯示異常，Docker可能因內存問題無法正常工作。

4. 解決方案

4.1 手動釋放內存

由于系統內存耗盡導致各種命令無效，首先需要嘗試釋放內存資源。可以通過以下步驟來恢復服務器：

4.1.1 殺死占用大量內存的進程

使用top或htop查看內存占用情況，找到占用內存最大的進程，并嘗試手動殺死：

top -o %MEM  # 按內存使用排序
kill -9 <PID>  # 使用進程ID（PID）殺死進程

4.1.2 手動釋放緩存

釋放系統緩存有時可以幫助恢復部分內存資源：

sync; echo 1 > /proc/sys/vm/drop_caches

注意：這不會清空內存，而是釋放緩存。

4.2 強制重啟Docker服務

如果仍無法正常操作Docker服務，可以考慮以下步驟：

4.2.1 重啟Docker進程

嘗試通過殺死Docker的后臺進程并重啟Docker服務：

pkill -9 dockerd  # 強制殺死Docker進程
systemctl restart docker

這會重啟Docker守護進程，但可能導致正在運行的容器失效。

4.3 重新啟動系統

如果系統依舊卡頓，無法恢復，最后的解決方法可能是強制重啟服務器：

reboot

5. 避免問題的長期策略

為了避免此類問題再次發生，推薦采用以下策略：

5.1 配置資源限制

為每個Docker容器設置內存限制，防止容器占用過多的內存資源：

docker run -m 512m --memory-swap 1g <container>

這將為容器限制512MB內存，且最大可使用1GB的內存和swap空間。

5.2 使用監控工具

啟用監控工具如Prometheus、Grafana來實時監控服務器的內存使用情況，并設置告警閾值，當內存使用率接近100%時及時通知運維人員進行處理。

5.3 調整虛擬內存

適當增加虛擬內存（swap），以便在物理內存耗盡時系統還能繼續運行：

sudo fallocate -l 2G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile