go解析YAML文件(多文檔解析)

更新時間：2024年10月21日 11:47:07 作者：SRExianxian

本文介紹了如何使用GO語言和client-go庫處理YAML文件,特別是在Kubernetes環(huán)境下,分析了YAML的特點,如簡潔性、易讀性、可嵌套性等,并展示了相關代碼實現(xiàn),包括單文檔和多文檔的處理方法,感興趣的可以了解一下

概述

摘要: 在kubernetes二次開發(fā)中，常用yaml文件來創(chuàng)建資源，比如Pod,deployment。在使用client-go創(chuàng)建資源之前，需要將yaml文件轉換為資源對象obj。本文介紹yaml文件的編碼和解碼的使用。

正文

yaml文檔介紹

YAML 是一種輕量級的數(shù)據(jù)序列化格式，用于在不同平臺間傳輸數(shù)據(jù)，也用于配置文件等場景。在 YAML 中，整個數(shù)據(jù)文件稱為“文檔”，而一般情況下，每個 YAML 文件只包含一個文檔。而在kubernetes使用中，kubectl為了創(chuàng)建資源方便性，常用的YAML文件確包括多個文檔。
文檔可以包含一個或多個“節(jié)點”，每個節(jié)點包含一個或多個鍵值對。鍵值對之間的關系使用冒號（:）表示，鍵值對的鍵和值之間使用空格隔開，同時整個鍵、值對的行末不能有多余的空格。一個節(jié)點可以用減號（-）開頭表示它是一個序列，即列表。

# 這是一個 YAML 文檔
name:  Tom
age: 30
hobbies: 
  - reading
  - running
  - swimming

在這個文檔中，使用“#”符號表示注釋，每個節(jié)點的鍵和值之間用冒號分隔，節(jié)點之間使用換行符分隔。在“hobbies”節(jié)點中，使用“-”符號表示這是一個序列（即一個列表），列表中的項目用“-”符號開始表示

YAML 文檔特點包括：

易讀性：YAML 使用縮進和結構化的格式，使得它非常易讀。它使用空格而不是特殊符號來表示層級關系，使得文檔具有良好的可讀性。
簡潔性：YAML 使用簡潔的語法來表示數(shù)據(jù)結構，避免了冗余和重復。它支持使用引用和折疊塊等特性來簡化文檔的編寫。
可嵌套性：YAML 支持嵌套結構，可以在一個節(jié)點中包含其他節(jié)點，從而表示更復雜的數(shù)據(jù)結構。這種嵌套結構使得數(shù)據(jù)的組織更加靈活和清晰。
跨平臺：YAML 是一種與編程語言無關的數(shù)據(jù)格式，可以輕松地在不同的編程語言和平臺之間進行交換和共享。
強大的數(shù)據(jù)表達能力：YAML 支持表示各種數(shù)據(jù)類型，包括字符串、整數(shù)、浮點數(shù)、布爾值、日期、時間、正則表達式等。它還支持列表、哈希表等數(shù)據(jù)結構。
注釋：YAML 允許在文檔中包含注釋，注釋以“#”符號開頭，可以用于提供有關數(shù)據(jù)的額外說明或注解。
可擴展性：YAML 允許用戶通過自定義標簽和類型的方式擴展其功能，使其適應更多的應用場景和需求。
與配置文件的兼容性：由于其易讀性和簡潔性，YAML 在配置文件方面非常流行。它被廣泛用于各種軟件和框架的配置文件中，如 Kubernetes、Docker Compose、Ansible 等。

總的來說，YAML 是一種簡單、可讀性強且功能豐富的數(shù)據(jù)序列化格式，非常適合在配置文件和數(shù)據(jù)交換方面使用

對YAML文檔的處理常用三方庫 "gopkg.in/yaml.v2"

常用方法包括

Yaml.Marshal() 將結構體對象轉換為YAML字符串
yaml.Unmarshal() 將YAML字符串轉換為結構體對象

代碼示例

yaml文件與結構體之間的轉換

創(chuàng)建一個用于測試YAML文件fakePersonStruct.yaml

---
name: xianwei
age: 18
city: shenzhen

編寫測試代碼

// go test -run="^TestPersonStruct$"  -v
func TestPersonStruct(t *testing.T) {
  // 定義一個結構體
	type Person struct {
		Name string `yaml:"name"`
		Age  int    `yaml:"int"`
		City string `yaml:"city"`
	}
	byteStream, err := ioutil.ReadFile("yamldir/fakePersonStruct.yaml")
	if err != nil {
		t.Errorf("cann not open file.err=%v\n", err)
		return
	}

	// yaml字符串轉換為person對象
	p := new(Person)
	if err := yaml.Unmarshal(byteStream, p); err != nil {
		t.Errorf("yaml.Unmarshal.err=%v\n", err)
		return
	}
	fmt.Printf("person= %+v\n", p)

	// Person對象轉換為yaml字符串
	yamlstr, err := yaml.Marshal(p)
	if err != nil {
		t.Errorf("yaml.Marshal.err=%v\n", err)
		return
	}
	fmt.Printf("yamlstr= %+v\n", string(yamlstr))
}

上面代碼實現(xiàn)了：

yaml字符串轉換為person對象
Person對象轉換為yaml字符串

代碼輸出

=== RUN TestPersonStruct
person= &{Name:xianwei Age:0 City:shenzhen}
yamlstr= name: xianwei
int: 0
city: shenzhen

--- PASS: TestPersonStruct (0.00s)
PASS

解析yaml文件并創(chuàng)建pod

使用yaml創(chuàng)建pod時，需要注意的是，需要先將yaml串轉換為json串，再由json串Unmarshal成一個pod對象。原因是v1.pod類型定義中(源碼如下所示)，只指定定義字符串的轉換。

type Pod struct {
	metav1.TypeMeta `json:",inline"`
	metav1.ObjectMeta `json:"metadata,omitempty" protobuf:"bytes,1,opt,name=metadata"`
	Spec PodSpec `json:"spec,omitempty" protobuf:"bytes,2,opt,name=spec"`
	Status PodStatus `json:"status,omitempty" protobuf:"bytes,3,opt,name=status"`
}

創(chuàng)建一個用于測試YAML文件pod-nginx.yaml

---
apiVersion: v1
kind: Pod
metadata:
  name: mynginx
spec:
  containers:
    - name: nginx
      image: nginx:1.14.2

編寫測試代碼

// go test -run="^TestYamlfilePod$"  -v
func TestYamlfilePod(t *testing.T) {
	// 將yaml文件轉換為pod對象
	byteStream, err := ioutil.ReadFile("yamldir/pod-nginx.yaml")
	if err != nil {
		t.Errorf("cann not open file.err=%v\n", err)
		return
	}

	// yaml串轉換為json串
	pod := new(v1.Pod)
	// yaml2 表示 三方庫"k8s.io/apimachinery/pkg/util/yaml"
	jsonstr, err := yaml2.ToJSON(byteStream)
	if err != nil {
		t.Errorf("yaml2.ToJSON.err=%v\n", err)
		return
	}
	fmt.Printf("jsonstr= %v\n", string(jsonstr))

	// json串轉換為pod結構體
	err = json.Unmarshal(jsonstr, &pod)
	if err != nil {
		t.Errorf("json.Unmarshal.err=%v\n", err)
		return
	}
	fmt.Printf("pod= %v\n", pod)

	// clientset獲取
	restConfig, err := clientcmd.BuildConfigFromFlags("", "/Users/80280051/.kube/dg11test/config")
	if err != nil {
		panic(err)
	}
	K8sClientSet, err := kubernetes.NewForConfig(restConfig)
	if err != nil {
		panic(err)
	}

	// 創(chuàng)建pod
	_, err = K8sClientSet.CoreV1().Pods("default").Create(pod)
	if err != nil {
		t.Errorf("cann not create pod.err=%v\n", err)
		return
	}
	
}

上面代碼實現(xiàn)了：

yaml字符串轉換為json字符串
再由json字符串轉換pod對象
最后使用clientset創(chuàng)建pod

代碼輸出

=== RUN TestYamlfilePod
jsonstr= {"apiVersion":"v1","kind":"Pod","metadata":{"name":"mynginx"},"spec":{"containers":[{"image":"nginx:1.14.2","name":"nginx"}]}}
pod= &Pod{ObjectMeta:{mynginx 0 0001-01-01 00:00:00 +0000 UTC <nil> <nil> map[] map[] [] [] []},Spec:PodSpec{Volumes:[]Volume{},Containers:[]Container{Container{Name:nginx,Image:nginx:1.14.2,Command:[],Args:[],WorkingDir:,Ports:[]ContainerPort{},Env:[]EnvVar{},Resources:ResourceRequirements{Limits:ResourceList{},Requests:ResourceList{},},VolumeMounts:[]VolumeMount{},LivenessProbe:nil,ReadinessProbe:nil,Lifecycle:nil,TerminationMessagePath:,ImagePullPolicy:,SecurityContext:nil,Stdin:false,StdinOnce:false,TTY:false,EnvFrom:[]EnvFromSource{},TerminationMessagePolicy:,VolumeDevices:[]VolumeDevice{},StartupProbe:nil,},},RestartPolicy:,TerminationGracePeriodSeconds:nil,ActiveDeadlineSeconds:nil,DNSPolicy:,NodeSelector:map[string]string{},ServiceAccountName:,DeprecatedServiceAccount:,NodeName:,HostNetwork:false,HostPID:false,HostIPC:false,SecurityContext:nil,ImagePullSecrets:[]LocalObjectReference{},Hostname:,Subdomain:,Affinity:nil,SchedulerName:,InitContainers:[]Container{},AutomountServiceAccountToken:nil,Tolerations:[]Toleration{},HostAliases:[]HostAlias{},PriorityClassName:,Priority:nil,DNSConfig:nil,ShareProcessNamespace:nil,ReadinessGates:[]PodReadinessGate{},RuntimeClassName:nil,EnableServiceLinks:nil,PreemptionPolicy:nil,Overhead:ResourceList{},TopologySpreadConstraints:[]TopologySpreadConstraint{},EphemeralContainers:[]EphemeralContainer{},},Status:PodStatus{Phase:,Conditions:[]PodCondition{},Message:,Reason:,HostIP:,PodIP:,StartTime:<nil>,ContainerStatuses:[]ContainerStatus{},QOSClass:,InitContainerStatuses:[]ContainerStatus{},NominatedNodeName:,PodIPs:[]PodIP{},EphemeralContainerStatuses:[]ContainerStatus{},},}
--- PASS: TestYamlfilePod (0.05s)
PASS

yaml文件中多文檔的處理

在使用kubectl或client-go創(chuàng)建Pod時，經(jīng)常會將多個YAML文檔寫到一個YAML文件。此種情況下，可以通過按字符串"\n—"進行分割，分別處理。

創(chuàng)建一個用于測試YAML文件pod-nginx-secret.yaml

---
apiVersion: v1
kind: Pod
metadata:
  name: mynginx
spec:
  containers:
    - name: nginx
      image: nginx:1.14.2
---
apiVersion: v1
type: Opaque
stringData:
  userdata: "eGlhbndlaTExMQo="
kind: Secret
metadata:
  name: mySecret

編寫測試代碼

// go test -run="^TestYamlfileMultiDocument" -mod=vendor -v
func TestYamlfileMultiDocument(t *testing.T) {
	// 將yaml文件轉換為yaml串
	fp, err := ioutil.ReadFile("yamldir/pod-nginx-secret.yaml")
	if err != nil {
		t.Errorf("cann not open file.err=%v\n", err)
		return
	}
	// 定義分隔符
	const yamlSeparator = "\n---"

	pod := new(v1.Pod)
	secret := new(v1.Secret)
	yamlsplit := strings.Split(string(fp), yamlSeparator)
	fmt.Println("len of yamlsplit = ", len(yamlsplit))
	for index, yamlObj := range yamlsplit {
		// 處理第一個yaml文檔，轉換為 pod 對象
		if index == 0 {
			// 轉換為對象
			fmt.Println("obj=", yamlObj)
			if err = yaml.Unmarshal([]byte(yamlObj), pod); err != nil {
				t.Errorf("yaml unmarshal error of pod.err = %v\n", err)
				return
			}
			fmt.Printf("pod obj =%+v\n", pod)
		}
		// 處理第二個yaml文檔，轉換為secret對象
		if index == 1 {
			fmt.Println("obj=", yamlObj)
			// 轉換為對象
			if err = yaml.Unmarshal([]byte(yamlObj), secret); err != nil {
				t.Errorf("yaml unmarshal error of secret.err = %v\n", err)
				return
			}
			fmt.Printf("secret obj =%+v\n", secret)
		}

	}

}

上面代碼實現(xiàn)了：

對yaml字符串按"\n—"進行分割
對分割后的第一個yaml文檔，轉換為 pod 對象
對分割后的第二個yaml文檔，轉換為secret對象

代碼輸出

=== RUN TestYamlfileMultiDocument
len of yamlsplit = 2
obj= ---
apiVersion: v1
kind: Pod
metadata:
name: mynginx
spec:
containers:
- name: nginx
image: nginx:1.14.2
pod obj =&Pod{ObjectMeta:{ 0 0001-01-01 00:00:00 +0000 UTC <nil> <nil> map[] map[] [] [] []},Spec:PodSpec{Volumes:[]Volume{},Containers:[]Container{Container{Name:nginx,Image:nginx:1.14.2,Command:[],Args:[],WorkingDir:,Ports:[]ContainerPort{},Env:[]EnvVar{},Resources:ResourceRequirements{Limits:ResourceList{},Requests:ResourceList{},},VolumeMounts:[]VolumeMount{},LivenessProbe:nil,ReadinessProbe:nil,Lifecycle:nil,TerminationMessagePath:,ImagePullPolicy:,SecurityContext:nil,Stdin:false,StdinOnce:false,TTY:false,EnvFrom:[]EnvFromSource{},TerminationMessagePolicy:,VolumeDevices:[]VolumeDevice{},StartupProbe:nil,},},RestartPolicy:,TerminationGracePeriodSeconds:nil,ActiveDeadlineSeconds:nil,DNSPolicy:,NodeSelector:map[string]string{},ServiceAccountName:,DeprecatedServiceAccount:,NodeName:,HostNetwork:false,HostPID:false,HostIPC:false,SecurityContext:nil,ImagePullSecrets:[]LocalObjectReference{},Hostname:,Subdomain:,Affinity:nil,SchedulerName:,InitContainers:[]Container{},AutomountServiceAccountToken:nil,Tolerations:[]Toleration{},HostAliases:[]HostAlias{},PriorityClassName:,Priority:nil,DNSConfig:nil,ShareProcessNamespace:nil,ReadinessGates:[]PodReadinessGate{},RuntimeClassName:nil,EnableServiceLinks:nil,PreemptionPolicy:nil,Overhead:ResourceList{},TopologySpreadConstraints:[]TopologySpreadConstraint{},EphemeralContainers:[]EphemeralContainer{},},Status:PodStatus{Phase:,Conditions:[]PodCondition{},Message:,Reason:,HostIP:,PodIP:,StartTime:<nil>,ContainerStatuses:[]ContainerStatus{},QOSClass:,InitContainerStatuses:[]ContainerStatus{},NominatedNodeName:,PodIPs:[]PodIP{},EphemeralContainerStatuses:[]ContainerStatus{},},}
obj=
apiVersion: v1
type: Opaque
stringData:
userdata: "eGlhbndlaTExMQo="
kind: Secret
metadata:
name: mySecret
secret obj =&Secret{ObjectMeta:{ 0 0001-01-01 00:00:00 +0000 UTC <nil> <nil> map[] map[] [] [] []},Data:map[string][]byte{},Type:Opaque,StringData:map[string]string{},}
--- PASS: TestYamlfileMultiDocument (0.00s)
PASS