引言

Kubernetes對于容器實例的日志收集，并沒有提供原生的解決方案。但提供使用kubectl logs命令查看容器實例運行時的日志。kubectl logs命令實現(xiàn)的基本原理為：容器運行時默認(rèn)將標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯誤中的日志輸出到磁盤上保存。保存至主機(jī)目錄：/var/lib/docker/containers/container_id/目錄。用戶調(diào)用kubectl logs命令時，kubelet讀取對應(yīng)的日志文件中的數(shù)據(jù)，將數(shù)據(jù)回傳給master，再由master返回到用戶。從而實現(xiàn)用戶對日志的查看。

騰訊云容器服務(wù)利用kubectl logs命令，實現(xiàn)在控制臺即可查看對應(yīng)容器實例的日志，并且提供查看某個特定時間段的日志的功能，這極大的方便了用戶對容器實例中的程序進(jìn)行定位和跟蹤。但是，由于在容器實例日志保存在本地，當(dāng)程序中大量打印日志時，很容易造成主機(jī)上的磁盤空間大量被占用。在日志服務(wù)上線一段時間后，發(fā)現(xiàn)用戶遇到這種情況時，一般是手動去清理日志。我們就考慮是不是有比較簡單的方式，在集群節(jié)點對日志進(jìn)行定期清理和回卷。

通過logrotate服務(wù)實現(xiàn)日志定期清理和回卷

logrotate是個十分有用的工具，它可以自動對日志進(jìn)行截斷(或輪循)、壓縮以及刪除舊的日志文件。例如，你可以設(shè)置logrotate，讓/var/log/foo日志文件每30天輪循，并刪除超過6個月的日志。配置完后，logrotate的運作完全自動化，不必進(jìn)行任何進(jìn)一步的人為干預(yù)。

但如果按照之前的部署方式，需要手動在每個節(jié)點上都安裝和配置對應(yīng)logrotate工具。如果通過Kubernetes容器服務(wù)編排的能力，將logrotate通過Kubernetes中服務(wù)的方式部署到各個節(jié)點上，這樣既可以實現(xiàn)只需要一次部署，部署到所有節(jié)點。并且通過容器的方式保證了logrotate配置的一致性。

具體的實施方案如下圖所示：

方案的具體實現(xiàn)是在Kubernetes集群中，創(chuàng)建DaemonSet資源實現(xiàn)。DaemonSet資源會在每個Node節(jié)點上都部署一個logrotate的容器實例，并且在容器實例中設(shè)置映射主機(jī)的log日志目錄，從而實現(xiàn)日志的定時清理和回卷。

創(chuàng)建DaemonSet的示例如下：

apiVersion: extensions/v1beta1 
kind: DaemonSet 
metadata: 
  name: logrotate 
spec: 
  template: 
    metadata: 
      labels: 
        app: logging 
        id: logrotate 
      name: logrotate 
    spec: 
      containers: 
      - name: logrotate-es 
        image: blacklabelops/logrotate 
        securityContext: 
          privileged: true 
        volumeMounts: 
         - name: containers 
           mountPath: /var/lib/docker/containers 
         - name: varlog 
           mountPath: /var/log/docker 
         - name: logs 
           mountPath: /logs 
        env: 
        - name: LOGS_DIRECTORIES 
          value: "/var/lib/docker/containers /var/log/docker" 
        - name: LOGROTATE_INTERVAL 
          value: "hourly" 
        - name: LOGROTATE_OLDDIR 
          value: "/logs" 
      volumes: 
         - hostPath: 
             path: /var/lib/docker/containers 
           name: containers 
         - hostPath: 
             path: /var/log/docker 
           name: varlog 
         - hostPath: 
             path: /var/log/containers/ 
           name: logs 

使用這個yaml文件，可以直接在Kubernetes中進(jìn)行部署。

# kubectl create -f logrotate_ds.yaml 
daemonset "logrotate" created 

在示例的yaml文件中，logrotate服務(wù)將按照定時(1小時)的對日志進(jìn)行回卷，回卷超過5個副本后則會對日志進(jìn)行清理。如果有需要，可以修改相應(yīng)的參數(shù)，設(shè)置不同的回卷規(guī)則和清理規(guī)則。詳細(xì)的參數(shù)說明可以參考：https://github.com/blacklabelops/logrotate。

通過修改dockerd參數(shù)進(jìn)行回卷和清理

由于Kubernetes的日志收集，底層是通過docker來實現(xiàn)。而docker提供了一定的日志回卷和清理功能。可以通過在dockerd的啟動參數(shù)中，增加log-opts()參數(shù)實現(xiàn)對日志的回卷和清理,其中max-size參數(shù)設(shè)置日志一個副本的***值，max-file設(shè)置日志的***的副本數(shù)。超過這個副本數(shù)則會對日志進(jìn)行刪除。

具體的修改過程包括三個步驟：

1、創(chuàng)建/etc/dockerd/daemon.json

{ 
  "log-driver":"json-file", 
  "log-opts":{ 
    "max-size" :"10m","max-file":"3" 
    } 
} 

參數(shù)說明： 設(shè)置單個容器日志超過10M則進(jìn)行回卷，回卷的副本數(shù)超過3個就進(jìn)行清理。

2、修改dockerd 服務(wù)配置文件

在 /etc/systemd/system/multi-user.target.wants/dockerd.serviced文件中

添加dockerd啟動參數(shù)--config-file=/etc/docker/daemon.json

3、重新啟動dockerd服務(wù)

systemctl daemon-reload

service dockerd restart

原文鏈接：https://cloud.tencent.com/community/article/579587

【本文是51CTO專欄作者“騰訊云技術(shù)社區(qū)”的原創(chuàng)稿件，轉(zhuǎn)載請通過51CTO聯(lián)系原作者獲取授權(quán)】

戳這里，看該作者更多好文