[[335265]]
軟件測試

軟件開發(fā)中的自動化測試是保障軟件質(zhì)量不可或缺一部分。隨著容器化技術(shù)的不斷發(fā)展，Kubernetes已經(jīng)是事實(shí)上的標(biāo)準(zhǔn)。那么，通過自動化的方式驗(yàn)證像Kubernetes這樣的基礎(chǔ)架構(gòu)的有效性，也越來越重要。這篇文章就介紹如何利用和擴(kuò)展現(xiàn)有工具來測試Kubernetes的集群。

為什么要測試?

為什么要利用自動化集群測試的原因有很多。Kubernetes是一個(gè)非常復(fù)雜的系統(tǒng)，由多個(gè)獨(dú)立的組件組成。他們在一種配置中能夠正常運(yùn)行并不意味著他們將在每種配置中都能完美的運(yùn)行。

通過使用諸如kubeadm或kops之類的安裝程序，或設(shè)置集群的其他方法，有多種啟動Kubernetes集群的方法。對于每種方式，都有許多配置選項(xiàng)，使兩個(gè)配置看起來不一樣。在用戶使用集群之前對其進(jìn)行測試，以確保我們的設(shè)置能夠按預(yù)期執(zhí)行，從而為用戶提供了一個(gè)可用的、有價(jià)值的平臺。但是，集群設(shè)置只是第一步，這是因?yàn)镵ubernetes的更新頻繁的發(fā)布。這個(gè)時(shí)候，測試就有其作用了，可用驗(yàn)證更新之后基本的集群功能仍然可用。

不過，Kubernetes不僅僅是一個(gè)平臺，它還是一個(gè)通過插件和附加組件進(jìn)行擴(kuò)展的框架。因此，沒有一個(gè)Kubernetes集群是以一種同樣的方式運(yùn)行。Kubernetes自己的測試不包括插件，因此測試范圍僅取決于插件開發(fā)人員的測試。為了確保我們的插件不會相互干擾或影響到Kubernetes，我們還應(yīng)該在設(shè)置中對其進(jìn)行測試。對于您自己編寫的插件來說尤其如此。

一致性測試

Kubernetes一致性測試是測試Kubernetes核心功能的端到端測試用例的子集。用開發(fā)人員小組的話就是，“目前的測試僅是測試可用，API的必須的功能”，通過這些測試的集群就是合格的，并且可以通過CNCF k8s合格工作組的認(rèn)證。

目前，能夠測試的功能包括創(chuàng)建API對象，在節(jié)點(diǎn)上啟動容器和掛載基本卷以及對kubectl進(jìn)行測試。不包括可選功能，例如基于角色的訪問控制，NetworkPolicy和PodSecurityPolicy。插件和附加組件也大多不受一致性測試的限制，例如，對DNS進(jìn)行測試，但某些測試僅隱含地要求使用Weave或Calico等插件進(jìn)行聯(lián)網(wǎng)。將來，也可能會通過一致性測試配置文件對插件進(jìn)行測試，但目前需要分別對其進(jìn)行測試。

但是，他們對基本集群功能的驗(yàn)證使一致性測試成為測試集群的理想起點(diǎn)。要執(zhí)行這些測試，我們可以使用諸如kubetest或sonobuoy之類的工具。

kubetest

kubetest是Kubernetes管道中使用的CLI工具，用于運(yùn)行端到端的測試。由于一致性測試是端到端測試的子集，因此可以使用kubetest通過過濾要運(yùn)行的測試來在集群上運(yùn)行它們。

# 安裝最新版本的kubetest 
go get -u k8s.io/test-infra/kubetest 
#測試需要匹配集群版本 
K8S_VERSION=$(kubectl version -o json | jq -r '.serverVersion.gitVersion') 
# 設(shè)置該變量為y 
export KUBERNETES_CONFORMANCE_TEST=y 
# 顯示設(shè)置配置 
export KUBECONFIG=”$HOME/.kube/config” 
# 運(yùn)行該測試，skeleton是目前的集群 
kubetest --provider=skeleton --test --test_args=”--ginkgo.focus=\[Conformance\]” --extract ${K8S_VERSION} 

當(dāng)下載并提取了我們集群版本所需的Kubernetes二進(jìn)制文件之后，將會執(zhí)行所有標(biāo)記為[Conformance]的測試。還可以使用并行測試來縮短測試運(yùn)行的時(shí)間。

kubetest --provider=skeleton --test --ginkgo.parallel  
--test_args=”--ginkgo.focus=\[Conformance\] --ginkgo.skip=\ 
[Serial\]” --extract ${K8S_VERSION} 
kubetest --provider=skeleton --test --test_args=”--ginkgo.focus=\ 
[Serial\].*\[Conformance\]” --extract ${K8S_VERSION} 

您還可以只運(yùn)行一次kubetest extract，然后從Kubernetes目錄中執(zhí)行測試以加快后續(xù)執(zhí)行速度。為了進(jìn)行調(diào)試，您還可以告訴kubetest不要?jiǎng)h除測試失敗的名稱空間：

kubetest --provider=skeleton --test --test_args=”--ginkgo.focus=\ 
[Conformance\] --delete-namespace-on-failure=false” --extract  
${K8S_VERSION} 

盡管kubetest具有高度可定制性，但它不一定是面向最終用戶的，其標(biāo)志很少被記錄且經(jīng)常引起混淆。為了簡單地運(yùn)行一致性測試，Heptio發(fā)布了Sonobuoy，從而簡化了此過程。

Sonobuoy

Sonobuoy是一種診斷工具，可以運(yùn)行Kubernetes一致性測試。它由一個(gè)CLI組成，該CLI啟動一個(gè)pod來管理集群中的測試運(yùn)行，并讓您隨后檢索結(jié)果。它是一個(gè)簡單的即用型解決方案，是用于運(yùn)行一致性測試的標(biāo)準(zhǔn)工具。

我們還可以選擇使用kubetest和Sonobuoy來運(yùn)行端到端測試套件的其他測試，以測試我們的某些插件。例如，如果我們要在集群中使用網(wǎng)絡(luò)策略，則可能應(yīng)該測試它們是否被強(qiáng)制執(zhí)行。可以使用Sonobuoy進(jìn)行如下基本測試：

# 執(zhí)行sonobuoy, 覆蓋掉默認(rèn)的skip和focus參數(shù) 
sonobuoy run --e2e-focus="\[Feature:NetworkPolicy\]" --e2e-skip="" 

這些測試創(chuàng)建了受其限制的基本網(wǎng)絡(luò)策略和Pod，并驗(yàn)證了它們是否在集群中得到了強(qiáng)制執(zhí)行(請注意，它們并未驗(yàn)證集群中存在的策略是否按預(yù)期工作，因此可以使用netassert或illuminatio之類的工具使用)。對于其他功能也存在類似的測試。

編寫自己的端到端測試

你也可以寫自己的端到端測試用于集群的設(shè)置。這在運(yùn)行本地開發(fā)的附件時(shí)特別有用，因?yàn)閱卧獪y試幾乎無法模仿正在運(yùn)行的Kubernetes集群的行為。要在Golang中開發(fā)測試，可以使用Kubernetes本身的E2E框架。

如果您使用其他編程語言，則仍然可以使用kubernetes客戶端庫，但是您必須自己編寫一些樣板代碼，例如，用于設(shè)置和拆除測試名稱空間。像pytest之類的單元測試框架對于將測試用例以及運(yùn)行測試和收集結(jié)果分開仍然很有用。

無論您是剛剛開始Kubernetes之旅，還是已經(jīng)在生產(chǎn)環(huán)境中運(yùn)行集群好多年，都認(rèn)為您應(yīng)該立即開始測試這些集群。運(yùn)行Sonobuoy在管道中進(jìn)行一致性測試，開始對您使用的功能進(jìn)行一些E2E測試，并為導(dǎo)致集群故障太多次的組件開發(fā)自己的測試。這將使操作更加輕松，并讓您高枕無憂。