腳本之家服務器常用軟件

快捷導航

深入Go goroutine理解

更新時間：2019年02月15日 09:34:46 作者：jerry

這篇文章主要介紹了深入Go goroutine理解，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

Go語言最大的特色就是從語言層面支持并發(fā)（Goroutine），Goroutine是Go中最基本的執(zhí)行單元。事實上每一個Go程序至少有一個Goroutine：主Goroutine。當程序啟動時，它會自動創(chuàng)建。

為了更好理解Goroutine，現(xiàn)講一下線程和協(xié)程的概念

線程（Thread）：有時被稱為輕量級進程(Lightweight Process，LWP），是程序執(zhí)行流的最小單元。一個標準的線程由線程ID，當前指令指針(PC），寄存器集合和堆棧組成。另外，線程是進程中的一個實體，是被系統(tǒng)調(diào)度和分派的基本單位，線程自己不擁有系統(tǒng)資源，只擁有一點兒在運行中必不可少的資源，但它可與同屬一個進程的其它線程共享進程所擁有的全部資源。

線程擁有自己的棧和共享的堆，共享堆，不共享棧，線程的切換一般也由操作系統(tǒng)調(diào)度。

協(xié)程（coroutine）：又稱微線程與子例程（或者稱為函數(shù)）一樣，協(xié)程（coroutine）也是一種程序組件。相對子例程而言，協(xié)程更為一般和靈活，但在實踐中使用沒有子例程那樣廣泛。

和線程類似，共享堆，不共享棧，協(xié)程的切換一般由程序員在代碼中顯式控制。它避免了上下文切換的額外耗費，兼顧了多線程的優(yōu)點，簡化了高并發(fā)程序的復雜。

Goroutine和其他語言的協(xié)程（coroutine）在使用方式上類似，但從字面意義上來看不同（一個是Goroutine，一個是coroutine），再就是協(xié)程是一種協(xié)作任務控制機制，在最簡單的意義上，協(xié)程不是并發(fā)的，而Goroutine支持并發(fā)的。因此Goroutine可以理解為一種Go語言的協(xié)程。同時它可以運行在一個或多個線程上。

先給個簡單實例

func loop() {
  for i := 0; i < ; i++ {
    fmt.Printf("%d ", i)
  }
}

func main() {
  go loop() // 啟動一個goroutine
  loop()
}

GO并發(fā)的實現(xiàn)原理

一、Go并發(fā)模型

Go實現(xiàn)了兩種并發(fā)形式。第一種是大家普遍認知的：多線程共享內(nèi)存。其實就是Java或者C++等語言中的多線程開發(fā)。另外一種是Go語言特有的，也是Go語言推薦的：CSP（communicating sequential processes）并發(fā)模型。

CSP并發(fā)模型是在1970年左右提出的概念，屬于比較新的概念，不同于傳統(tǒng)的多線程通過共享內(nèi)存來通信，CSP講究的是“以通信的方式來共享內(nèi)存”。

請記住下面這句話：
DO NOT COMMUNICATE BY SHARING MEMORY; INSTEAD, SHARE MEMORY BY COMMUNICATING.
“不要以共享內(nèi)存的方式來通信，相反，要通過通信來共享內(nèi)存。”

普通的線程并發(fā)模型，就是像Java、C++、或者Python，他們線程間通信都是通過共享內(nèi)存的方式來進行的。非常典型的方式就是，在訪問共享數(shù)據(jù)（例如數(shù)組、Map、或者某個結構體或對象）的時候，通過鎖來訪問，因此，在很多時候，衍生出一種方便操作的數(shù)據(jù)結構，叫做“線程安全的數(shù)據(jù)結構”。例如Java提供的包”java.util.concurrent”中的數(shù)據(jù)結構。Go中也實現(xiàn)了傳統(tǒng)的線程并發(fā)模型。

Go的CSP并發(fā)模型，是通過goroutine和channel來實現(xiàn)的。

goroutine 是Go語言中并發(fā)的執(zhí)行單位。有點抽象，其實就是和傳統(tǒng)概念上的”線程“類似，可以理解為”線程“
channel是Go語言中各個并發(fā)結構體(goroutine)之前的通信機制。通俗的講，就是各個goroutine之間通信的”管道“，有點類似于Linux中的管道。

生成一個goroutine的方式非常的簡單：Go一下，就生成了。

go f();

通信機制channel也很方便，傳數(shù)據(jù)用channel <- data，取數(shù)據(jù)用<-channel。

在通信過程中，傳數(shù)據(jù)channel <- data和取數(shù)據(jù)<-channel必然會成對出現(xiàn)，因為這邊傳，那邊取，兩個goroutine之間才會實現(xiàn)通信。

而且不管傳還是取，必阻塞，直到另外的goroutine傳或者取為止。

示例如下：

package main

import "fmt"

func main() {
  
  messages := make(chan string)

  go func() { messages <- "ping" }()

  msg := <-messages
  fmt.Println(msg)
}

注意 main()本身也是運行了一個goroutine。

messages:= make(chan int) 這樣就聲明了一個阻塞式的無緩沖的通道

chan 是關鍵字代表我要創(chuàng)建一個通道

GO并發(fā)模型的實現(xiàn)原理

我們先從線程講起，無論語言層面何種并發(fā)模型，到了操作系統(tǒng)層面，一定是以線程的形態(tài)存在的。而操作系統(tǒng)根據(jù)資源訪問權限的不同，體系架構可分為用戶空間和內(nèi)核空間；內(nèi)核空間主要操作訪問CPU資源、I/O資源、內(nèi)存資源等硬件資源，為上層應用程序提供最基本的基礎資源，用戶空間呢就是上層應用程序的固定活動空間，用戶空間不可以直接訪問資源，必須通過“系統(tǒng)調(diào)用”、“庫函數(shù)”或“Shell腳本”來調(diào)用內(nèi)核空間提供的資源。

我們現(xiàn)在的計算機語言，可以狹義的認為是一種“軟件”，它們中所謂的“線程”，往往是用戶態(tài)的線程，和操作系統(tǒng)本身內(nèi)核態(tài)的線程（簡稱KSE），還是有區(qū)別的。

線程模型的實現(xiàn)，可以分為以下幾種方式：

用戶級線程模型

如圖所示，多個用戶態(tài)的線程對應著一個內(nèi)核線程，程序線程的創(chuàng)建、終止、切換或者同步等線程工作必須自身來完成。它可以做快速的上下文切換。缺點是不能有效利用多核CPU。

內(nèi)核級線程模型

這種模型直接調(diào)用操作系統(tǒng)的內(nèi)核線程，所有線程的創(chuàng)建、終止、切換、同步等操作，都由內(nèi)核來完成。一個用戶態(tài)的線程對應一個系統(tǒng)線程，它可以利用多核機制，但上下文切換需要消耗額外的資源。C++就是這種。

兩級線程模型

這種模型是介于用戶級線程模型和內(nèi)核級線程模型之間的一種線程模型。這種模型的實現(xiàn)非常復雜，和內(nèi)核級線程模型類似，一個進程中可以對應多個內(nèi)核級線程，但是進程中的線程不和內(nèi)核線程一一對應；這種線程模型會先創(chuàng)建多個內(nèi)核級線程，然后用自身的用戶級線程去對應創(chuàng)建的多個內(nèi)核級線程，自身的用戶級線程需要本身程序去調(diào)度，內(nèi)核級的線程交給操作系統(tǒng)內(nèi)核去調(diào)度。

M個用戶線程對應N個系統(tǒng)線程，缺點增加了調(diào)度器的實現(xiàn)難度。

Go語言的線程模型就是一種特殊的兩級線程模型（GPM調(diào)度模型）。

Go線程實現(xiàn)模型MPG

M指的是Machine，一個M直接關聯(lián)了一個內(nèi)核線程。由操作系統(tǒng)管理。
P指的是”processor”，代表了M所需的上下文環(huán)境，也是處理用戶級代碼邏輯的處理器。它負責銜接M和G的調(diào)度上下文，將等待執(zhí)行的G與M對接。
G指的是Goroutine，其實本質(zhì)上也是一種輕量級的線程。包括了調(diào)用棧，重要的調(diào)度信息，例如channel等。

P的數(shù)量由環(huán)境變量中的GOMAXPROCS決定，通常來說它是和核心數(shù)對應，例如在4Core的服務器上回啟動4個線程。G會有很多個，每個P會將Goroutine從一個就緒的隊列中做Pop操作，為了減小鎖的競爭，通常情況下每個P會負責一個隊列。

三者關系如下圖所示：

以上這個圖講的是兩個線程(內(nèi)核線程)的情況。一個M會對應一個內(nèi)核線程，一個M也會連接一個上下文P，一個上下文P相當于一個“處理器”，一個上下文連接一個或者多個Goroutine。為了運行goroutine，線程必須保存上下文。

上下文P(Processor)的數(shù)量在啟動時設置為GOMAXPROCS環(huán)境變量的值或通過運行時函數(shù)GOMAXPROCS()。通常情況下，在程序執(zhí)行期間不會更改。上下文數(shù)量固定意味著只有固定數(shù)量的線程在任何時候運行Go代碼。我們可以使用它來調(diào)整Go進程到個人計算機的調(diào)用，例如4核PC在4個線程上運行Go代碼。

圖中P正在執(zhí)行的Goroutine為藍色的；處于待執(zhí)行狀態(tài)的Goroutine為灰色的，灰色的Goroutine形成了一個隊列runqueues。

Go語言里，啟動一個goroutine很容易：go function 就行，所以每有一個go語句被執(zhí)行，runqueue隊列就在其末尾加入一個goroutine，一旦上下文運行goroutine直到調(diào)度點，它會從其runqueue中彈出goroutine，設置堆棧和指令指針并開始運行goroutine。

拋棄P(Processor)

你可能會想，為什么一定需要一個上下文，我們能不能直接除去上下文，讓Goroutine的runqueues掛到M上呢？答案是不行，需要上下文的目的，是讓我們可以直接放開其他線程，當遇到內(nèi)核線程阻塞的時候。

一個很簡單的例子就是系統(tǒng)調(diào)用sysall，一個線程肯定不能同時執(zhí)行代碼和系統(tǒng)調(diào)用被阻塞，這個時候，此線程M需要放棄當前的上下文環(huán)境P，以便可以讓其他的Goroutine被調(diào)度執(zhí)行。

如上圖左圖所示，M0中的G0執(zhí)行了syscall，然后就創(chuàng)建了一個M1(也有可能來自線程緩存)，（轉向右圖）然后M0丟棄了P，等待syscall的返回值，M1接受了P，將·繼續(xù)執(zhí)行Goroutine隊列中的其他Goroutine。

當系統(tǒng)調(diào)用syscall結束后，M0會“偷”一個上下文，如果不成功，M0就把它的Gouroutine G0放到一個全局的runqueue中，將自己置于線程緩存中并進入休眠狀態(tài)。全局runqueue是各個P在運行完自己的本地的Goroutine runqueue后用來拉取新goroutine的地方。P也會周期性的檢查這個全局runqueue上的goroutine，否則，全局runqueue上的goroutines可能得不到執(zhí)行而餓死。

均衡的分配工作

按照以上的說法，上下文P會定期的檢查全局的goroutine 隊列中的goroutine，以便自己在消費掉自身Goroutine隊列的時候有事可做。假如全局goroutine隊列中的goroutine也沒了呢？就從其他運行的中的P的runqueue里偷。

每個P中的Goroutine不同導致他們運行的效率和時間也不同，在一個有很多P和M的環(huán)境中，不能讓一個P跑完自身的Goroutine就沒事可做了，因為或許其他的P有很長的goroutine隊列要跑，得需要均衡。
該如何解決呢？

Go的做法倒也直接，從其他P中偷一半！