最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

go-zero 應(yīng)對(duì)海量定時(shí)/延遲任務(wù)的技巧

 更新時(shí)間:2020年10月16日 14:21:52   作者:Kevin Wan  
這篇文章主要介紹了go-zero 如何應(yīng)對(duì)海量定時(shí)/延遲任務(wù),本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

一個(gè)系統(tǒng)中存在著大量的調(diào)度任務(wù),同時(shí)調(diào)度任務(wù)存在時(shí)間的滯后性,而大量的調(diào)度任務(wù)如果每一個(gè)都使用自己的調(diào)度器來管理任務(wù)的生命周期的話,浪費(fèi)cpu的資源而且很低效。

本文來介紹 go-zero 中 延遲操作,它可能讓開發(fā)者調(diào)度多個(gè)任務(wù)時(shí),只需關(guān)注具體的業(yè)務(wù)執(zhí)行函數(shù)和執(zhí)行時(shí)間「立即或者延遲」。而 延遲操作,通??梢圆捎脙蓚€(gè)方案:

Timer:定時(shí)器維護(hù)一個(gè)優(yōu)先隊(duì)列,到時(shí)間點(diǎn)執(zhí)行,然后把需要執(zhí)行的 task 存儲(chǔ)在 map 中collection 中的 timingWheel ,維護(hù)一個(gè)存放任務(wù)組的數(shù)組,每一個(gè)槽都維護(hù)一個(gè)存儲(chǔ)task的雙向鏈表。開始執(zhí)行時(shí),計(jì)時(shí)器每隔指定時(shí)間執(zhí)行一個(gè)槽里面的tasks。

方案2把維護(hù)task從 優(yōu)先隊(duì)列 O(nlog(n)) 降到 雙向鏈表 O(1),而執(zhí)行task也只要輪詢一個(gè)時(shí)間點(diǎn)的tasks O(N),不需要像優(yōu)先隊(duì)列,放入和刪除元素 O(nlog(n))。

我們先看看 go-zero 中自己對(duì) timingWheel 的使用 :

cache 中的 timingWheel

首先我們先來在 collectioncache 中關(guān)于 timingWheel 的使用:

timingWheel, err := NewTimingWheel(time.Second, slots, func(k, v interface{}) {
 key, ok := k.(string)
 if !ok {
 return
 }
 cache.Del(key)
})
if err != nil {
 return nil, err
}

cache.timingWheel = timingWheel

這是 cache 初始化中也同時(shí)初始化 timingWheel 做key的過期處理,參數(shù)依次代表:

  • interval:時(shí)間劃分刻度
  • numSlots:時(shí)間槽
  • execute:時(shí)間點(diǎn)執(zhí)行函數(shù)

cache 中執(zhí)行函數(shù)則是 刪除過期key,而這個(gè)過期則由 timingWheel 來控制推進(jìn)時(shí)間。

接下來,就通過 cache 對(duì) timingWheel 的使用來認(rèn)識(shí)。

初始化

// 真正做初始化
func newTimingWheelWithClock(interval time.Duration, numSlots int, execute Execute, ticker timex.Ticker) (
	*TimingWheel, error) {
	tw := &TimingWheel{
		interval:  interval,      // 單個(gè)時(shí)間格時(shí)間間隔
		ticker:  ticker,      // 定時(shí)器,做時(shí)間推動(dòng),以interval為單位推進(jìn)
		slots:   make([]*list.List, numSlots), // 時(shí)間輪
		timers:  NewSafeMap(),     // 存儲(chǔ)task{key, value}的map [執(zhí)行execute所需要的參數(shù)]
		tickedPos:  numSlots - 1,     // at previous virtual circle
		execute:  execute,      // 執(zhí)行函數(shù)
		numSlots:  numSlots,      // 初始化 slots num
		setChannel: make(chan timingEntry),  // 以下幾個(gè)channel是做task傳遞的
		moveChannel: make(chan baseEntry),
		removeChannel: make(chan interface{}),
		drainChannel: make(chan func(key, value interface{})),
		stopChannel: make(chan lang.PlaceholderType),
	}
	// 把 slot 中存儲(chǔ)的 list 全部準(zhǔn)備好
	tw.initSlots()
	// 開啟異步協(xié)程,使用 channel 來做task通信和傳遞
	go tw.run()

	return tw, nil
}

以上比較直觀展示 timingWheel 的 “時(shí)間輪”,后面會(huì)圍繞這張圖解釋其中推進(jìn)的細(xì)節(jié)。

go tw.run() 開一個(gè)協(xié)程做時(shí)間推動(dòng):

func (tw *TimingWheel) run() {
	for {
		select {
  // 定時(shí)器做時(shí)間推動(dòng) -> scanAndRunTasks()
		case <-tw.ticker.Chan():
			tw.onTick()
  // add task 會(huì)往 setChannel 輸入task
		case task := <-tw.setChannel:
			tw.setTask(&task)
		...
		}
	}
}

可以看出,在初始化的時(shí)候就開始了 timer 執(zhí)行,并以internal時(shí)間段轉(zhuǎn)動(dòng),然后底層不停的獲取來自 slot 中的 list 的task,交給 execute 執(zhí)行。

Task Operation

緊接著就是設(shè)置 cache key

func (c *Cache) Set(key string, value interface{}) {
	c.lock.Lock()
	_, ok := c.data[key]
	c.data[key] = value
	c.lruCache.add(key)
	c.lock.Unlock()

	expiry := c.unstableExpiry.AroundDuration(c.expire)
	if ok {
		c.timingWheel.MoveTimer(key, expiry)
	} else {
		c.timingWheel.SetTimer(key, value, expiry)
	}
}

先看在 data map 中有沒有存在這個(gè)key存在,則更新 expire -> MoveTimer()第一次設(shè)置key -> SetTimer()

所以對(duì)于 timingWheel 的使用上就清晰了,開發(fā)者根據(jù)需求可以 add 或是 update。

同時(shí)我們跟源碼進(jìn)去會(huì)發(fā)現(xiàn):SetTimer() MoveTimer() 都是將task輸送到channel,由 run() 中開啟的協(xié)程不斷取出 channel 的task操作。

SetTimer() -> setTask()

not exist task:getPostion -> pushBack to list -> setPositionexist task:get from timers -> moveTask()

MoveTimer() -> moveTask()

由上面的調(diào)用鏈,有一個(gè)都會(huì)調(diào)用的函數(shù):moveTask()

func (tw *TimingWheel) moveTask(task baseEntry) {
	// timers: Map => 通過key獲取 [positionEntry「pos, task」]
	val, ok := tw.timers.Get(task.key)
	if !ok {
		return
	}

	timer := val.(*positionEntry)
 	// {delay < interval} => 延遲時(shí)間比一個(gè)時(shí)間格間隔還小,沒有更小的刻度,說明任務(wù)應(yīng)該立即執(zhí)行
	if task.delay < tw.interval {
		threading.GoSafe(func() {
			tw.execute(timer.item.key, timer.item.value)
		})
		return
	}
	// 如果 > interval,則通過 延遲時(shí)間delay 計(jì)算其出時(shí)間輪中的 new pos, circle
	pos, circle := tw.getPositionAndCircle(task.delay)
	if pos >= timer.pos {
		timer.item.circle = circle
    // 記錄前后的移動(dòng)offset。為了后面過程重新入隊(duì)
		timer.item.diff = pos - timer.pos
	} else if circle > 0 {
		// 轉(zhuǎn)移到下一層,將 circle 轉(zhuǎn)換為 diff 一部分
		circle--
		timer.item.circle = circle
		// 因?yàn)槭且粋€(gè)數(shù)組,要加上 numSlots [也就是相當(dāng)于要走到下一層]
		timer.item.diff = tw.numSlots + pos - timer.pos
	} else {
		// 如果 offset 提前了,此時(shí) task 也還在第一層
		// 標(biāo)記刪除老的 task,并重新入隊(duì),等待被執(zhí)行
		timer.item.removed = true
		newItem := &timingEntry{
			baseEntry: task,
			value:  timer.item.value,
		}
		tw.slots[pos].PushBack(newItem)
		tw.setTimerPosition(pos, newItem)
	}
}

以上過程有以下幾種情況:

delay < internal:因?yàn)?< 單個(gè)時(shí)間精度,表示這個(gè)任務(wù)已經(jīng)過期,需要馬上執(zhí)行針對(duì)改變的 delaynew >= old<newPos, newCircle, diff>newCircle > 0:計(jì)算diff,并將 circle 轉(zhuǎn)換為 下一層,故diff + numslots如果只是單純延遲時(shí)間縮短,則將老的task標(biāo)記刪除,重新加入list,等待下一輪loop被execute

Execute

之前在初始化中,run() 中定時(shí)器的不斷推進(jìn),推進(jìn)的過程主要就是把 list中的 task 傳給執(zhí)行的 execute func。我們從定時(shí)器的執(zhí)行開始看:

// 定時(shí)器 「每隔 internal 會(huì)執(zhí)行一次」
func (tw *TimingWheel) onTick() {
  // 每次執(zhí)行更新一下當(dāng)前執(zhí)行 tick 位置
	tw.tickedPos = (tw.tickedPos + 1) % tw.numSlots
  // 獲取此時(shí) tick位置 中的存儲(chǔ)task的雙向鏈表
	l := tw.slots[tw.tickedPos]
	tw.scanAndRunTasks(l)
}

緊接著是如何去執(zhí)行 execute

func (tw *TimingWheel) scanAndRunTasks(l *list.List) {
	// 存儲(chǔ)目前需要執(zhí)行的task{key, value} [execute所需要的參數(shù),依次傳遞給execute執(zhí)行]
	var tasks []timingTask

	for e := l.Front(); e != nil; {
		task := e.Value.(*timingEntry)
    // 標(biāo)記刪除,在 scan 中做真正的刪除 「刪除map的data」
		if task.removed {
			next := e.Next()
			l.Remove(e)
			tw.timers.Del(task.key)
			e = next
			continue
		} else if task.circle > 0 {
			// 當(dāng)前執(zhí)行點(diǎn)已經(jīng)過期,但是同時(shí)不在第一層,所以當(dāng)前層即然已經(jīng)完成了,就會(huì)降到下一層
      // 但是并沒有修改 pos
			task.circle--
			e = e.Next()
			continue
		} else if task.diff > 0 {
			// 因?yàn)橹耙呀?jīng)標(biāo)注了diff,需要再進(jìn)入隊(duì)列
			next := e.Next()
			l.Remove(e)
			pos := (tw.tickedPos + task.diff) % tw.numSlots
			tw.slots[pos].PushBack(task)
			tw.setTimerPosition(pos, task)
			task.diff = 0
			e = next
			continue
		}
		// 以上的情況都是不能執(zhí)行的情況,能夠執(zhí)行的會(huì)被加入tasks中
		tasks = append(tasks, timingTask{
			key: task.key,
			value: task.value,
		})
		next := e.Next()
		l.Remove(e)
		tw.timers.Del(task.key)
		e = next
	}
	// for range tasks,然后把每個(gè) task->execute 執(zhí)行即可
	tw.runTasks(tasks)
}

具體的分支情況在注釋中說明了,在看的時(shí)候可以和前面的 moveTask() 結(jié)合起來,其中 circle 下降,diff 的計(jì)算是關(guān)聯(lián)兩個(gè)函數(shù)的重點(diǎn)。

至于 diff 計(jì)算就涉及到 pos, circle 的計(jì)算:

// interval: 4min, d: 60min, numSlots: 16, tickedPos = 15
// step = 15, pos = 14, circle = 0
func (tw *TimingWheel) getPositionAndCircle(d time.Duration) (pos int, circle int) {
	steps := int(d / tw.interval)
	pos = (tw.tickedPos + steps) % tw.numSlots
	circle = (steps - 1) / tw.numSlots
	return
}

上面的過程可以簡(jiǎn)化成下面:

steps = d / interval
pos = step % numSlots - 1
circle = (step - 1) / numSlots

總結(jié)

timingWheel 靠定時(shí)器推動(dòng),時(shí)間前進(jìn)的同時(shí)會(huì)取出當(dāng)前時(shí)間格中 list「雙向鏈表」的task,傳遞到 execute 中執(zhí)行。因?yàn)槭鞘强?internal 固定時(shí)間刻度推進(jìn),可能就會(huì)出現(xiàn):一個(gè) 60s 的task,internal = 1s,這樣就會(huì)空跑59次loop。

而在擴(kuò)展時(shí)間上,采取 circle 分層,這樣就可以不斷復(fù)用原有的 numSlots ,因?yàn)槎〞r(shí)器在不斷 loop,而執(zhí)行可以把上層的 slot 下降到下層,在不斷 loop 中就可以執(zhí)行到上層的task。這樣的設(shè)計(jì)可以在不創(chuàng)造額外的數(shù)據(jù)結(jié)構(gòu),突破長(zhǎng)時(shí)間的限制。

同時(shí)在 go-zero 中還有很多實(shí)用的組件工具,用好工具對(duì)于提升服務(wù)性能和開發(fā)效率都有很大的幫助,希望本篇文章能給大家?guī)硪恍┦斋@。

項(xiàng)目地址

https://github.com/tal-tech/go-zero

好未來技術(shù)

到此這篇關(guān)于go-zero 如何應(yīng)對(duì)海量定時(shí)/延遲任務(wù)的文章就介紹到這了,更多相關(guān)go-zero定時(shí)/延遲任務(wù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Go使用proto3的踩坑實(shí)戰(zhàn)記錄

    Go使用proto3的踩坑實(shí)戰(zhàn)記錄

    這篇文章主要給大家介紹了關(guān)于Go使用proto3的踩坑記錄,文中通過實(shí)例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者會(huì)用Go語言具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2023-02-02
  • golang?JSON技巧小結(jié)

    golang?JSON技巧小結(jié)

    本文介紹了在Go語言中使用JSON時(shí)的一些小技巧,包括如何將字符串轉(zhuǎn)換為數(shù)字、臨時(shí)忽略空字段、臨時(shí)添加額外字段、粘合兩個(gè)struct、改名struct字段、支持不同類型的數(shù)字,感興趣的朋友跟隨小編一起看看吧
    2024-11-11
  • Go方法接收者值接收者與指針接收者詳解

    Go方法接收者值接收者與指針接收者詳解

    這篇文章主要為大家介紹了Go方法接收者值接收者與指針接收者詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-11-11
  • Go結(jié)構(gòu)體從基礎(chǔ)到應(yīng)用深度探索

    Go結(jié)構(gòu)體從基礎(chǔ)到應(yīng)用深度探索

    本文深入探討了結(jié)構(gòu)體的定義、類型、字面量表示和使用方法,旨在為讀者呈現(xiàn)Go結(jié)構(gòu)體的全面視角,通過結(jié)構(gòu)體,開發(fā)者可以實(shí)現(xiàn)更加模塊化、高效的代碼設(shè)計(jì),這篇文章旨在為您提供關(guān)于結(jié)構(gòu)體的深入理解,助您更好地利用Go語言的強(qiáng)大功能
    2023-10-10
  • Golang實(shí)現(xiàn)優(yōu)雅的將struct轉(zhuǎn)換為map

    Golang實(shí)現(xiàn)優(yōu)雅的將struct轉(zhuǎn)換為map

    在項(xiàng)目實(shí)踐中,有時(shí)候我們需要將struct結(jié)構(gòu)體轉(zhuǎn)為map映射表,然后基于map做數(shù)據(jù)裁剪或操作。那么下面我來介紹下常用的兩種轉(zhuǎn)換方式,希望對(duì)大家有所幫助
    2023-01-01
  • 淺談golang通道類型

    淺談golang通道類型

    本文主要介紹了淺談golang通道類型,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-02-02
  • golang交叉編譯詳細(xì)

    golang交叉編譯詳細(xì)

    Golang 支持交叉編譯,在一個(gè)平臺(tái)上生成另一個(gè)平臺(tái)的可執(zhí)行程序,只需要按照我下面的這個(gè)環(huán)境變量表設(shè)置對(duì)應(yīng)的環(huán)境變量就可以了,下面文章將對(duì)該內(nèi)容做詳細(xì)介紹,感興趣的小伙伴可以參考一下
    2021-10-10
  • Golang錯(cuò)誤處理:異常捕捉和恢復(fù)機(jī)制

    Golang錯(cuò)誤處理:異常捕捉和恢復(fù)機(jī)制

    Golang中,異常處理是通過 defer + panic + recover 的方式來實(shí)現(xiàn)的,使用 defer 可以將清理操作注冊(cè)到函數(shù)執(zhí)行完畢后執(zhí)行,而 panic 和 recover 可以用于處理異常,通過組合使用這些功能,可以實(shí)現(xiàn)更加健壯的程序
    2024-01-01
  • Golang內(nèi)存管理之內(nèi)存逃逸分析

    Golang內(nèi)存管理之內(nèi)存逃逸分析

    逃逸分析是指由編譯器決定內(nèi)存分配的位置,不需要程序員指定,這篇文章主要為大家詳細(xì)介紹了Golang中內(nèi)存逃逸分析的幾種方法,需要的可以參考一下
    2023-07-07
  • Golang httptest包測(cè)試使用教程

    Golang httptest包測(cè)試使用教程

    這篇文章主要介紹了Golang httptest包測(cè)試使用,httptest包的理念是,非常容易模擬http服務(wù),也就是說模擬響應(yīng)寫(response writer),提供給http處理器(handle),讓我們測(cè)試http服務(wù)端和客戶端很容易
    2023-03-03

最新評(píng)論

安塞县| 抚宁县| 永寿县| 基隆市| 页游| 通渭县| 嘉定区| 正镶白旗| 乌海市| 神池县| 时尚| 甘谷县| 南开区| 丹凤县| 法库县| 无极县| 始兴县| 佳木斯市| 民丰县| 临澧县| 永年县| 北海市| 商丘市| 台南县| 桓台县| 两当县| 玉环县| 永川市| 垦利县| 赫章县| 广宗县| 福州市| 县级市| 重庆市| 张家川| 安溪县| 永顺县| 丽江市| 曲阳县| 故城县| 衢州市|