“一致性”（Comformance）定义了 K8s（Kubernetes）集群必须支持的一系列集群互操作特性的集合，用于验证集群在不同的环境中能工作在预期的状态下。我们知道 K8s 集群的一个核心特性是 “可移植性”，开发者仅需要做少量的变更即可以将应用部署到一个新的环境中。对于企业应用而言，随着业务的更新需要进行应用的拓展或者新增需求的支持，单一的 K8s 集群往往不能满足业务变更需求，需要多 K8s 集群或者混合集群部署等方式支持。在此背景下，如果 K8s 集群未通过一致性测试，那么 K8s 集群的便携性和自动部署等能力就无法实现，也无法支持企业的多样化需求，因此我们需要对 K8s 集群进行一致性测试。更多 K8s 官方一致性测试介绍可参考官方介绍：https://github.com/kubernetes/community/blob/master/contributors/devel/sig-architecture/conformance-tests.md
Sonobuoy 是一款 K8s 集群诊断工具，通过运行一系列可访问且非破坏的配置测试来轻松获取获取集群的状态，可以通过定制、可扩展的、与集群无关的方式来生成清晰的、信息丰富的集群测试报告。
具有以下几个主要的功能：
Sonobuoy 主要包含三个主要组成结构：
测试插件框架执行原理如下图。测试插件可自定义和开发，需要遵循 Sonobuoy 的标准 API 来通信和传递状态，包如” pending“，” running“或者” complete“等。
根据执行环境安装对应的 kubectl 环境（https://kubernetes.io/docs/tasks/tools/）。确保被测集群的 config 文件配置正确，” kubectl cluster-info“可返回正确集群信息。
可到 Github 的 sSonobuoy 主要下载最新的安装包（https://github.com/vmware-tanzu/sonobuoy/releases），解压安装包后，添加 “sonobuoy” 到可执行环境变量。执行 “sonobuoy version” 验证环境安装是否成功。
这里以 e2e 测试插件为例介绍 Sonobuoy 测试执行。e2e 插件 (Kubernetes End-To-End Tests) 更多介绍可参考官方主页（https://github.com/vmware-tanzu/sonobuoy-plugins/tree/main/e2e）。其他支持的测试插件介绍（https://github.com/vmware-tanzu/sonobuoy-plugins）。
第一步，同步官方镜像到本地，解决本地集群镜像下载慢的问题。
这里推荐用 Skopeo 工具快速同步镜像。注意下载的测试镜像的版本应与集群 Kubernetst 版本一致，如当前集群版本是 “v1.21.3”，则下载 “k8s.gcr.io/conformance:v1.21.3 ” 镜像。
用 Skopeo 同步镜像到本地仓库：
skopeo --override-os linux copy docker://k8s.gcr.io/conformance:v1.21.3 docker://r.addops.soft.360.cn/google-containers/conformance:v1.21.3 --insecure-policy --dest-tls-verify=false
第二步，下载 e2e 测试插件 yaml 文件。
e2e 测试插件官方模板（https://github.com/vmware-tanzu/sonobuoy-plugins/blob/main/e2e/e2e.yaml）
odSpec:
containers: []
nodeSelector:
kubernetes.io/os: linux
restartPolicy: Never
serviceAccountName: sonobuoy-serviceaccount
tolerations:
- effect: NoSchedule
key: node-role.kubernetes.io/master
operator: Exists
- key: CriticalAddonsOnly
operator: Exists
- key: kubernetes.io/e2e-evict-taint-key
operator: Exists
sonobuoy-config:
driver: Job
plugin-name: e2e
result-format: junit
source_url: https://raw.githubusercontent.com/vmware-tanzu/sonobuoy-plugins/main/e2e/e2e.yaml
description: The end-to-end tests maintained by Kubernetes to test the health of your cluster.
spec:
command:
- /run_e2e.sh
env:
- name: E2E_EXTRA_ARGS
value: --progress-report-url=http://localhost:8099/progress
- name: E2E_FOCUS
value: \[Conformance\]
- name: E2E_PARALLEL
value: "false"
- name: E2E_SKIP
value: \[Disruptive\]|NoExecuteTaintManager
- name: E2E_USE_GO_RUNNER
value: "true"
image: k8s.gcr.io/conformance:$SONOBUOY_K8S_VERSION
imagePullPolicy: IfNotPresent
name: e2e
resources: {}
volumeMounts:
- mountPath: /tmp/results
name: results
注意将 yaml 中的 image 地址更新为第一步中同步到本地的镜像地址。
第二步，执行测试。
执行以下命令，其他测试插件的运行可按同样的方式制定到不同插件的 yaml 文件路径即可。
sonobuoy run --plugin ./plugin/e2e.yaml
测试执行之后，可以看到集群里面创建了一些测试相关的 pod。
可以看到 e2e container 运行的 log 如下。
测试执行过程也可以通过 “sonobuoy status” 查看执行状态。
执行大于 1-2 小时后（取决集群和测试用例集大小），可以看到测试执行完成。
第三步，测试结果提取。
执行 “sonobuoy retrieve” 即可收集测试结果，可以在当前目录生成 “*.tar.gz” 测试结果文件。
sonobuoy result <result file >” 级可以查看测试测试结果。
对于某些 “failed” 状态的测试用例，需要分析执行失败的原因。可以到 Kubernetes 官网查看测试用例执行原理，进而分析造成执行失败原因。
如测试用例 “'[sig-apps] Daemon set [Serial] should run and stop complex daemon [Conformance]’”，其返回的测试结果如下：
可以根据官方 “conformance tests” 用例网址（https://github.com/kubernetes/kubernetes/blob/ea0764452222146c47ec826977f49d7001b0ea8c/test/conformance/testdata/conformance.yaml）可以定位到该测试用例，找到测试用例定义文件路径：“test/e2e/apps/daemon_set.go”。
从该路径中可以找到该测试用例的执行方法。
本文主要介绍了如何用 Sonobuoy 诊断工具来对 K8s 集群执行一致性测试。K8s 集群一致性测试对于确保组件供应商遵循相同 API 规范，保持组件间的兼容性，确保用户在使用任何 Kubernetes 厂商发行版时，都得到的和原生 Kuberentes 功能几乎一致的体验等多个方面具有重要意义。同时也只有经过一致性认证测试，才能获得 CNCF 的官方认证，在产品的宣传上使用 Certified Kubernetes 的认证商标和 Logo。后续工作将结合 K8s 集群的架构，重点分析测试用例执行的方法、考察的内容，进一步加深对 K8s 集群的认识和了解。
