快捷導(dǎo)航

IPVS下CoreDNS滾動(dòng)更新解析失敗原理探究

更新時(shí)間：2023年03月09日 08:59:46 作者：Honest1y

這篇文章主要為大家介紹了IPVS下CoreDNS滾動(dòng)更新解析失敗原理探究，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

IPVS 模式下，當(dāng) coredns 滾動(dòng)更新期間，集群監(jiān)控日志出現(xiàn)大量的連接超時(shí)，由于日志異常的時(shí)間和 coredns 變更時(shí)間完全重疊，懷疑是 coredns 滾動(dòng)更新造成，下面進(jìn)行問(wèn)題復(fù)現(xiàn)，并給出優(yōu)化方案。

實(shí)驗(yàn)

創(chuàng)建一個(gè)由 2 個(gè) POD 作為后端的 coredns service
通過(guò)創(chuàng)建大量 DNS 查詢來(lái)訪問(wèn)此服務(wù)
觸發(fā)滾動(dòng)更新 coredns

順序查詢

while true;do time (dig +tries=1 -4 +short A <name> @<dns clusterIP> >> dig.log) >> dig.log 2>&1;done

可以看到在順序執(zhí)行（非并發(fā)壓測(cè)）的情況下，已經(jīng)出現(xiàn)較多DNS解析超時(shí)的情況

并發(fā)查詢

dnsperf是一個(gè)開(kāi)源的DNS壓力測(cè)試工具，用戶可以用它來(lái)對(duì)DNS服務(wù)器或者Local DNS做壓力測(cè)試。dnsperf目前的實(shí)現(xiàn)是單進(jìn)程模式，通過(guò)epoll非阻塞地處理網(wǎng)絡(luò)事件

$ echo "www.mervinwang.com A" > dnstest
$ dnsperf -d dnstest -s <DNS的IP> -c100000 -Q100000 -l60

數(shù)據(jù)\解析超時(shí)時(shí)間	1000ms	500ms
sent	67423	40925
completed	64358	34519
lost	3065 (4.55%)	6406 (15.65%)

優(yōu)化

通過(guò)查閱 issue 得知，這里可能與ipvs_udp_timeout有關(guān)，默認(rèn)的設(shè)置的是300s，coredns 滾動(dòng)更新的時(shí)候 ipvs 中 udp 老鏈接會(huì) 300s 才刪除，如果在 300s 內(nèi)客戶端有端口重用的話就會(huì)出現(xiàn)這個(gè)問(wèn)題，并且這個(gè)時(shí)間和日志發(fā)生的時(shí)間也很類似，持續(xù)了5分鐘。

優(yōu)化改動(dòng)

kube-proxy 加了ipvs-udp-timeout=10s

    spec:
      containers:
      - args:
        - --kubeconfig=/var/lib/kube-proxy/config
        - --hostname-override=$(NODE_NAME)
        - --v=2
        - --proxy-mode=ipvs
        ...
        - --ipvs-udp-timeout=10s

等待5分鐘（關(guān)鍵?。。?/p>

coredns configmap 中 health lameduck配置改成20s

Corefile: |-
    .:53 {
        errors
        health {
            lameduck 20s
        }
        ready
...
}

查看 coredns日志，等待 reload

修改 coredns configmap 后，coredns 會(huì)自動(dòng) Reload，Relaod 過(guò)程中打印輸出的 lameduck 時(shí)間為 上次配置的時(shí)間

優(yōu)化后結(jié)果

數(shù)據(jù)類型\解析超時(shí)時(shí)間	1000ms	500ms
sent	85027	80502
completed	84930	80423
lost	97 (0.11%)	79 (0.10%)

可以看到，效果還是很明顯的～

最后附上 dnspref 工具的常用參數(shù)：

Dnsperf 支持下面的這些命令行參數(shù):
-s     用來(lái)指定DNS服務(wù)器的IP地址，默認(rèn)值是127.0.0.1
-p     用來(lái)指定DNS服務(wù)器的端口，默認(rèn)值是53
-d     用來(lái)指定DNS消息的內(nèi)容文件，該文件中包含要探測(cè)的域名和資源記錄類型，見(jiàn)下文
-t     用來(lái)指定每個(gè)請(qǐng)求的超時(shí)時(shí)間，默認(rèn)值是3000ms
-Q     用來(lái)指定本次壓測(cè)的最大請(qǐng)求數(shù)，默認(rèn)值是1000
-c     用來(lái)指定并發(fā)探測(cè)數(shù)，默認(rèn)值是100. dnsperf會(huì)從-d指定的文件中隨機(jī)選取100個(gè)座位探測(cè)域名來(lái)發(fā)送DNS請(qǐng)求.
-l     用來(lái)指定本次壓測(cè)的時(shí)間，默認(rèn)值是無(wú)窮大。
-e     本選項(xiàng)通過(guò)EDNS0，在OPT資源記錄中運(yùn)用edns-client-subnet來(lái)指定真實(shí)的client ip. 
-i     用來(lái)指定前后探測(cè)的時(shí)間間隔，因?yàn)閐nsperf是一個(gè)壓測(cè)工具，所以本選項(xiàng)目前還不支持。
-P     指定用哪個(gè)傳輸層協(xié)議發(fā)送DNS請(qǐng)求，udp或者tcp。默認(rèn)值是udp
-f     指定用什么地址類型發(fā)送DNS請(qǐng)求，inet或者inet6。默認(rèn)值是inet
-v     除了標(biāo)準(zhǔn)的輸出外，還輸出每個(gè)相應(yīng)碼的個(gè)數(shù)。
-h     打印幫助

參考文檔 github.com/kubernetes/…

以上就是IPVS下CoreDNS滾動(dòng)更新解析失敗原理探究的詳細(xì)內(nèi)容，更多關(guān)于IPVS CoreDNS滾動(dòng)更新解析失敗的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: