問題起源

在通過容器化的道路上，很多實踐都是運行在一個hybrid的環境里，也就是有部分程序在容器中，也有部分在VM或者物理機中，這個也是可以理解的，畢竟技術不能總放在一個籃子里，不然運維的人要崩潰的。在這樣的環境下，很多企業原有的應用都是通過DNS訪問的，那么容器里的應用是如何訪問到這些應用的呢？在阿里云的Kubernetes里默認配置使用了KubeDNS(在后面的版本將被CoreDNS代替，敬請期待)，這個KubeDNS的上行DNS服務器，直接使用了阿里云的DNS服務，從而在默認情況下無法通過DNS的方式訪問到企業的這些服務。本文基于阿里云的Kuberntes容器服務做實踐。

解決之道

阿里云的Kubernetes始終保持著對于Kuberbetes的一致性以及可移植性，所以可以直接參考Kubernetes的官方文檔：https://kubernetes.io/docs/tasks/administer-cluster/dns-custom-nameservers/ 主要思路是通過添加KubeDNS的上游DNS服務器來解決。這里具體演示如何在阿里云的Kubernetes設置上游DNS服務。

具體實踐

Kubedns的組件基本介紹：

KubeDNS是Kubernetes的add-on組件，主要提供容器的DNS服務，它包含了一下組件在一個Pod中：

• kubedns: 監聽k8s api server，在內存中維護DNS的記錄同時響應DNS的請求
• dnsmasq: 增加DNS緩存來提高性能，查錯主要通過這個組件來日志來判斷。
• sidecar: 提供了一個統一的健康檢查接口來執行對其它上面兩個組件的健康檢查

Kubelet的相關配置

DNS和Kubelete相關的配置有兩個：

• --cluster-dns=<dns-service-ip> 指定容器使用的dns，因為使用了kubeDNS，這里配置的是kuebDNS的clusterip
• --cluster-domain=<default-local-domain> k8s內部使用的域名后綴。默認值是：cluster.local。目前不建議更改這個值。

配置上游DNS來支持企業內服務DNS服務器

通過kubectl describe kube-dns -n kube-system可以看到，kubedns的啟動參數需要使用--config-dir=/kube-dns-config來讀取配置文件，而這個配置是通過一個名為kube-dns的configmap獲取的，所以我們只需要配置這個configmap就好

kubectl create configmap/kube-dns -n kube-system  
kubectl edit configmap/kube-dns -n kube-system 

然后在data下添加對應的內容，例如：

upstreamNameservers: '["8.8.8.8", "100.100.2.136"]' 

這里"8.8.8.8"和 "100.100.2.136"就是上游對應的DNS服務器了。

這里需要注意的是，變更了configmap，容器是無法感知的，這個也是我對configmap吐槽最多的地方。要使這個配置生效，只能去delete對應kube-dns的容器，讓其重啟來獲取對應新的配置：

kubectl delete pod/<kube-dns-xxx> -n kube-system

這樣我們就配置好了對應的上游服務器DNS了，容器內的應用就可以通過域名的方法來訪問集群外的其它企業應用了。

填坑小記：

• 在阿里云中注意注意安全組的設置，因為kubeDNS是標準的DNS接口，所以主機間需要開放UDP 53端口，如果你發現可以 ping通ip，但是不能ping通域名，很可能就是這個問題了
• 需要查看kubedns是否已經激活對應的上游dns，可以用如下命令查日志：kubectl logs <kubedns pod> -c dnsmasq -n kube-system 如圖：

從而判斷是否配置了上游的DNS服務器