快捷導(dǎo)航

使用Go HTTP客戶端打造高性能服務(wù)

更新時(shí)間：2021年12月09日 10:18:48 作者：kuteng

大多數(shù)語言都有提供各自的 HTTP 客戶端，本文將動(dòng)手實(shí)踐如何使用Go語言發(fā)起HTTP請(qǐng)求，并討論其中有可能遇到的問題。具有一定的參考價(jià)值，感興趣的可以了解一下

HTTP（超文本傳輸協(xié)議）是一種用于客戶端和服務(wù)器之間傳輸數(shù)據(jù)的通信協(xié)議。如果想要訪問服務(wù)器資源，HTTP 請(qǐng)求是必不可少的。Go 語言里，net/http 包附帶了默認(rèn)配置，我們可以適當(dāng)調(diào)整便可以獲得高性能。

大多數(shù)語言都有提供各自的 HTTP 客戶端，文章接下來部分我們將動(dòng)手實(shí)踐如何使用 Go 語言發(fā)起 HTTP 請(qǐng)求，并討論其中有可能遇到的問題。

在做 Go 項(xiàng)目時(shí)，我就意識(shí)到 HTTP 客戶端如果配置不正確可能會(huì)隨時(shí)導(dǎo)致服務(wù)器崩潰。

在使用 HTTP Client 時(shí)，我觀察到一些問題并總結(jié)出相應(yīng)的解決方案，如下所示：

問題一：默認(rèn)的 HTTP Client

默認(rèn)情況下，net/http 包自帶的 HTTP 客戶端不帶超時(shí)時(shí)間。如果你使用的是默認(rèn)的客戶端 http.DefaultClient()，這個(gè)是不帶超時(shí)時(shí)間的。

假如你請(qǐng)求外部的 API 掛了，發(fā)出的請(qǐng)求沒響應(yīng)導(dǎo)致連接一直出于打開狀態(tài)。隨著請(qǐng)求數(shù)越來越多，連接數(shù)隨之增加，導(dǎo)致耗盡服務(wù)器的資源，最后服務(wù)器隨之崩潰。

解決辦法：不要使用默認(rèn)的 HTTP 客戶端，根據(jù)實(shí)際情況設(shè)置超時(shí)時(shí)間。

var httpClient = &http.Client{
  Timeout: time.Second * 10,
}

對(duì)于 API 接口，超時(shí)時(shí)間建議不需要超過 10s，如果請(qǐng)求在 10s 內(nèi)沒有返回，則請(qǐng)求會(huì)取消并報(bào)錯(cuò)：request canceled (Client.Timeout exceeded …) 。

問題二：默認(rèn)的 Http Transport

默認(rèn)情況下，HTTP 客戶端會(huì)維護(hù)一個(gè)連接池。當(dāng)請(qǐng)求完成之后，連接會(huì)保持打開狀態(tài)直到空閑時(shí)間超時(shí)（默認(rèn)是 90s）自動(dòng)斷開。如果有請(qǐng)求過來，會(huì)優(yōu)先使用已打開的連接而不是創(chuàng)建新的連接，請(qǐng)求完成之后，連接會(huì)返還到連接池中。

使用連接池將使用最少的服務(wù)器資源處理更多的 API 請(qǐng)求。

如果沒有自定義 HTTP 客戶端的 transport，將會(huì)使用默認(rèn)配置。

HTTP Transport 的默認(rèn)配置如下：

var DefaultTransport RoundTripper = &Transport{
    ...
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    ...
}

 
const DefaultMaxIdleConnsPerHost = 2

MaxIdleConns 表示連接池大小，是可以打開的最大連接數(shù)，默認(rèn)值是 100。

參數(shù) DefaultMaxIdleConnsPerHost 的默認(rèn)值是 2，表示每個(gè)主機(jī)（host）的打開連接數(shù)。這意味著，連接池中 100 個(gè)連接只有兩個(gè)連接分配給該主機(jī)。

隨著請(qǐng)求增多，但是只有兩個(gè)請(qǐng)求被處理，其他請(qǐng)求只能被迫等待并進(jìn)入 TIME_WAIT 狀態(tài)。請(qǐng)求增多，進(jìn)入 TIME_WAIT 狀態(tài)的連接數(shù)增多，消耗越來越多的服務(wù)器資源，當(dāng)達(dá)到服務(wù)器瓶頸時(shí)，服務(wù)器將會(huì)崩潰。

解決辦法：提高 MaxIdleConnsPerHost 數(shù)值，不要使用默認(rèn)的 Transport。

t := http.DefaultTransport.(*http.Transport).Clone()
t.MaxIdleConns = 100
t.MaxConnsPerHost = 100
t.MaxIdleConnsPerHost = 100

httpClient = &http.Client{
  Timeout:   10 * time.Second,
  Transport: t,
}

通過增加每個(gè)主機(jī)的連接數(shù)和空閑連接數(shù)，就有助于提高性能并以最少的服務(wù)器資源處理更多請(qǐng)求。

可以根據(jù)服務(wù)器資源和實(shí)際需求適當(dāng)增加連接池大小和每個(gè)主機(jī)的連接數(shù)。