Go singleflight使用以及原理
這個(gè)東西很重要，可以經(jīng)常用在項(xiàng)目當(dāng)中，所以我們單獨(dú)拿出來進(jìn)行講解。
在使用它之前我們需要導(dǎo)包：
go get golang.org/x/sync/singleflight
golang/sync/singleflight.Group 是 Go 語言擴(kuò)展包中提供了另一種同步原語，它能夠在一個(gè)服務(wù)中抑制對(duì)下游的多次重復(fù)請(qǐng)求。一個(gè)比較常見的使用場(chǎng)景是：我們?cè)谑褂?Redis 對(duì)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行緩存，發(fā)生緩存擊穿時(shí)，大量的流量都會(huì)打到數(shù)據(jù)庫上進(jìn)而影響服務(wù)的尾延時(shí)。
但是 golang/sync/singleflight.Group 能有效地解決這個(gè)問題，它能夠限制對(duì)同一個(gè)鍵值對(duì)的多次重復(fù)請(qǐng)求，減少對(duì)下游的瞬時(shí)流量。
使用方法
singleflight類的使用方法就新建一個(gè)singleflight.Group，使用其方法Do或者DoChan來包裝方法，被包裝的方法在對(duì)于同一個(gè)key，只會(huì)有一個(gè)協(xié)程執(zhí)行，其他協(xié)程等待那個(gè)協(xié)程執(zhí)行結(jié)束后，拿到同樣的結(jié)果。
Group結(jié)構(gòu)體
代表一類工作，同一個(gè)group中，同樣的key同時(shí)只能被執(zhí)行一次
Do方法
func (g *Group) Do(key string, fn func() (interface{<!--{cke_protected}{C}%3C!%2D%2D%20%2D%2D%3E-->}, error)) (v interface{<!--{cke_protected}{C}%3C!%2D%2D%20%2D%2D%3E-->}, err error, shared bool)key：同一個(gè)key，同時(shí)只有一個(gè)協(xié)程執(zhí)行
fn：被包裝的函數(shù)
v：返回值，即執(zhí)行結(jié)果。其他等待的協(xié)程都會(huì)拿到
shared：表示是否由其他協(xié)程得到了這個(gè)結(jié)果v
DoChan方法
func (g *Group) DoChan(key string, fn func() (interface{<!--{cke_protected}{C}%3C!%2D%2D%20%2D%2D%3E-->}, error)) <-chan Result和Do差不多其實(shí)，因此我們就只講解Do的實(shí)際應(yīng)用場(chǎng)景了。
具體應(yīng)用場(chǎng)景
var singleSetCache singleflight.Group
func GetAndSetCache(r *http.Request, cacheKey string) (string, error) {
log.Printf("request %s start to get and set cache...", r.URL)
value, err, _ := singleSetCache.Do(cacheKey, func() (interface{}, error) {
log.Printf("request %s is getting cache...", r.URL)
time.Sleep(3 * time.Second)
log.Printf("request %s get cache success!", r.URL)
return cacheKey, nil
})
return value.(string), err
}
func main() {
r := gin.Default()
r.GET("/sekill/:id", func(context *gin.Context) {
ID := context.Param("id")
cache, err := GetAndSetCache(context.Request, ID)
if err != nil {
log.Println(err)
}
log.Printf("request %s get value: %v", context.Request.URL, cache)
})
r.Run()
}來看一下執(zhí)行結(jié)果：
2022/12/29 16:21:18 request /sekill/5 start to get and set cache...
2022/12/29 16:21:18 request /sekill/5 is getting cache...
2022/12/29 16:21:18 request /sekill/9 start to get and set cache...
2022/12/29 16:21:18 request /sekill/9 is getting cache...
2022/12/29 16:21:18 request /sekill/9 start to get and set cache...
2022/12/29 16:21:18 request /sekill/5 start to get and set cache...
2022/12/29 16:21:18 request /sekill/5 start to get and set cache...
2022/12/29 16:21:18 request /sekill/9 start to get and set cache...
2022/12/29 16:21:18 request /sekill/9 start to get and set cache...
2022/12/29 16:21:18 request /sekill/5 start to get and set cache...
2022/12/29 16:21:19 request /sekill/9 start to get and set cache...
2022/12/29 16:21:19 request /sekill/5 start to get and set cache...
2022/12/29 16:21:21 request /sekill/9 get cache success!
2022/12/29 16:21:21 request /sekill/5 get cache success!
2022/12/29 16:21:21 request /sekill/5 get value: 5
2022/12/29 16:21:21 request /sekill/5 get value: 5
[GIN] 2022/12/29 - 16:21:21 | 200 | 3.0106529s | 127.0.0.1 | GET "/sekill/5"
2022/12/29 16:21:21 request /sekill/9 get value: 9
[GIN] 2022/12/29 - 16:21:21 | 200 | 2.8090881s | 127.0.0.1 | GET "/sekill/5"
2022/12/29 16:21:21 request /sekill/9 get value: 9
[GIN] 2022/12/29 - 16:21:21 | 200 | 2.2166003s | 127.0.0.1 | GET "/sekill/9"
2022/12/29 16:21:21 request /sekill/9 get value: 9
[GIN] 2022/12/29 - 16:21:21 | 200 | 2.6064069s | 127.0.0.1 | GET "/sekill/9"
2022/12/29 16:21:21 request /sekill/9 get value: 9
[GIN] 2022/12/29 - 16:21:21 | 200 | 2.4178652s | 127.0.0.1 | GET "/sekill/9"
2022/12/29 16:21:21 request /sekill/9 get value: 9
[GIN] 2022/12/29 - 16:21:21 | 200 | 2.8101267s | 127.0.0.1 | GET "/sekill/9"
2022/12/29 16:21:21 request /sekill/5 get value: 5
[GIN] 2022/12/29 - 16:21:21 | 200 | 3.0116892s | 127.0.0.1 | GET "/sekill/9"
2022/12/29 16:21:21 request /sekill/5 get value: 5
[GIN] 2022/12/29 - 16:21:21 | 200 | 2.6074537s | 127.0.0.1 | GET "/sekill/5"
2022/12/29 16:21:21 request /sekill/5 get value: 5
[GIN] 2022/12/29 - 16:21:21 | 200 | 2.4076473s | 127.0.0.1 | GET "/sekill/5"
[GIN] 2022/12/29 - 16:21:21 | 200 | 2.218686s | 127.0.0.1 | GET "/sekill/5"
可以看到確實(shí)只有一個(gè)協(xié)程執(zhí)行了被包裝的函數(shù)，并且其他協(xié)程都拿到了結(jié)果。
接下來我們來看一下它的原理吧！
原理
首先來看一下Group結(jié)構(gòu)體：
type Group struct {
mu sync.Mutex // 鎖保證并發(fā)安全
m map[string]*call //保存key對(duì)應(yīng)的函數(shù)執(zhí)行過程和結(jié)果的變量。
}
然后我們來看一下call結(jié)構(gòu)體：
type call struct {
wg sync.WaitGroup //用WaitGroup實(shí)現(xiàn)只有一個(gè)協(xié)程執(zhí)行函數(shù)
val interface{} //函數(shù)執(zhí)行結(jié)果
err error
forgotten bool
dups int //含義是duplications，即同時(shí)執(zhí)行同一個(gè)key的協(xié)程數(shù)量
chans []chan<- Result
}
然后我們來看一下Do方法：
func (g *Group) Do(key string, fn func() (interface{}, error)) (v interface{}, err error, shared bool) {
// 寫Group的m字段時(shí)，加鎖保證寫安全
g.mu.Lock()
if g.m == nil {
g.m = make(map[string]*call)
}
if c, ok := g.m[key]; ok {
// 如果key已經(jīng)存在，說明已經(jīng)由協(xié)程在執(zhí)行，則dups++并等待其執(zhí)行結(jié)果，執(zhí)行結(jié)果保存在對(duì)應(yīng)的call的val字段里
c.dups++
g.mu.Unlock()
c.wg.Wait()
if e, ok := c.err.(*panicError); ok {
panic(e)
} else if c.err == errGoexit {
runtime.Goexit()
}
return c.val, c.err, true
}
// 如果key不存在，則新建一個(gè)call，并使用WaitGroup來阻塞其他協(xié)程，同時(shí)在m字段里寫入key和對(duì)應(yīng)的call
c := new(call)
c.wg.Add(1)
g.m[key] = c
g.mu.Unlock()
g.doCall(c, key, fn) // 進(jìn)來的第一個(gè)協(xié)程就來執(zhí)行這個(gè)函數(shù)
return c.val, c.err, c.dups > 0
}
然后我們來分析一下doCall函數(shù)：
func (g *Group) doCall(c *call, key string, fn func() (interface{}, error)) {
c.val, c.err = fn()
c.wg.Done()
g.mu.Lock()
delete(g.m, key)
for _, ch := range c.chans {
ch <- Result{c.val, c.err, c.dups > 0}
}
g.mu.Unlock()
}
- 運(yùn)行傳入的函數(shù)
fn，該函數(shù)的返回值會(huì)賦值給c.val和c.err； - 調(diào)用
sync.WaitGroup.Done方法通知所有等待結(jié)果的Goroutine— 當(dāng)前函數(shù)已經(jīng)執(zhí)行完成，可以從call結(jié)構(gòu)體中取出返回值并返回了； - 獲取持有的互斥鎖并通過管道將信息同步給使用
golang/sync/singleflight.Group.DoChan方法的Goroutine；
問題分析
分析了源碼之后，我們得出了一個(gè)結(jié)論，這個(gè)東西是用阻塞來實(shí)現(xiàn)的，這就引發(fā)了一個(gè)問題：如果我們處理的那個(gè)請(qǐng)求剛好遇到問題了，那么后面的所有請(qǐng)求都會(huì)被阻塞，也就是，我們應(yīng)該加上適合的超時(shí)控制，如果在一定時(shí)間內(nèi)，沒有獲得結(jié)果，那么就當(dāng)作超時(shí)處理。
于是這個(gè)適合我們應(yīng)該使用DoChan()。兩者實(shí)現(xiàn)上完全一樣，不同的是， DoChan() 通過 channel 返回結(jié)果。因此可以使用 select 語句實(shí)現(xiàn)超時(shí)控制。
var singleSetCache singleflight.Group
func GetAndSetCache(r *http.Request, cacheKey string) (string, error) {
log.Printf("request %s start to get and set cache...", r.URL)
retChan := singleSetCache.DoChan(cacheKey, func() (interface{}, error) {
log.Printf("request %s is getting cache...", r.URL)
time.Sleep(3 * time.Second)
log.Printf("request %s get cache success!", r.URL)
return cacheKey, nil
})
var ret singleflight.Result
timeout := time.After(2 * time.Second)
select {
case <-timeout:
log.Println("time out!")
return "", errors.New("time out")
case ret = <-retChan: // 從chan中獲取結(jié)果
return ret.Val.(string), ret.Err
}
}
func main() {
r := gin.Default()
r.GET("/sekill/:id", func(context *gin.Context) {
ID := context.Param("id")
cache, err := GetAndSetCache(context.Request, ID)
if err != nil {
log.Println(err)
}
log.Printf("request %s get value: %v", context.Request.URL, cache)
})
r.Run()
}
補(bǔ)充
這里其實(shí)還有一個(gè)Forget方法，它可以在映射表中刪除某個(gè)鍵，接下來對(duì)鍵的調(diào)用就不會(huì)等待前面的函數(shù)返回了。
總結(jié)
當(dāng)然，如果單次的失敗無法容忍，在高并發(fā)的場(chǎng)景下更好的處理方案是：
放棄使用同步請(qǐng)求，犧牲數(shù)據(jù)更新的實(shí)時(shí)性
“緩存” 存儲(chǔ)準(zhǔn)實(shí)時(shí)的數(shù)據(jù) + “異步更新” 數(shù)據(jù)到緩存
到此這篇關(guān)于Go singleflight使用以及原理的文章就介紹到這了,更多相關(guān)Go singleflight內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
B站新一代 golang規(guī)則引擎gengine基礎(chǔ)語法
這篇文章主要為大家介紹了B站新一代 golang規(guī)則引擎gengine基礎(chǔ)語法,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12
字符串拼接在日常開發(fā)中是很常見的需求，今天我們來探討下如何用golang來實(shí)現(xiàn)字符串的拼接2018-10-10
golang實(shí)現(xiàn)基于channel的通用連接池詳解
這篇文章主要給大家介紹了關(guān)于golang實(shí)現(xiàn)基于channel的通用連接池的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2018-02-02
這篇文章主要介紹了為什么?Go?語言?struct?要使用?tags,在本文中，我們將探討為什么 Go 語言中需要使用 struct tags，以及 struct tags 的使用場(chǎng)景和優(yōu)勢(shì)，需要的朋友可以參考下2023-03-03
module是一個(gè)相關(guān)Go包的集合，它是源代碼更替和版本控制的單元。這篇文章主要介紹了Go module的介紹及使用,需要的朋友可以參考下2020-10-10
Go實(shí)現(xiàn)快速生成固定長(zhǎng)度的隨機(jī)字符串
這篇文章主要為大家詳細(xì)介紹了怎樣在Go中簡(jiǎn)單快速地生成固定長(zhǎng)度的隨機(jī)字符串，文中的示例代碼講解詳細(xì)，具有一定的借鑒價(jià)值，需要的可以學(xué)習(xí)一下2022-10-10
golang實(shí)現(xiàn)圖像驗(yàn)證碼的示例代碼
這篇文章主要為大家詳細(xì)介紹了如何利用golang實(shí)現(xiàn)簡(jiǎn)單的圖像驗(yàn)證碼,文中的示例代碼講解詳細(xì),具有一定的學(xué)習(xí)價(jià)值,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-10-10
這篇文章主要為大家介紹了Golang Mutex互斥鎖深入理解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-08-08
眾所周知golang的defer優(yōu)雅又簡(jiǎn)潔， 是golang的亮點(diǎn)之一。所以下面這篇文章主要給大家介紹了關(guān)于Go語言中延遲函數(shù)defer的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，需要的朋友可以參考借鑒，下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-10-10
這篇文章主要介紹了Go語言對(duì)JSON進(jìn)行編碼和解碼的方法,涉及Go語言操作json的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-02-02