Go語言并發(fā)爬蟲的具體實現(xiàn)
更新時間：2021年12月14日 10:28:10 作者：小生凡一
本文主要介紹了Go語言并發(fā)爬蟲的具體實現(xiàn)，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
寫在前面
這篇文章主要讓大家明白
多線程爬蟲，因為go語言實現(xiàn)并發(fā)是很容易的。
這次的服務端，是我們之前搭建的電子商城平臺，所以我們不擔心ip被封之類的問題。
而實際生產環(huán)境中，其實我們都是用python爬蟲的。python實現(xiàn)多線程也很簡單。
這次我們可以試試新玩法，試試go語言的并發(fā)爬蟲。
主要是爬取第一頁的商品，爬取十次，比較單線程和多線程的時間。
1. 單線程爬蟲
?定義一個用戶
var Client http.Client
主函數(shù)
func main() {
url := "http://localhost:3000/api/v1/products"
start := time.Now()
for i := 0; i < 10; i++ {
Spider(url, i)
}
elapsed := time.Since(start)
fmt.Printf("Time %s", elapsed)
}
爬取函數(shù)
func Spider(url string, i int) {
reqSpider, err := http.NewRequest("GET", url, nil)
if err != nil {
log.Fatal(err)
}
reqSpider.Header.Set("content-length", "0")
reqSpider.Header.Set("accept", "*/*")
reqSpider.Header.Set("x-requested-with", "XMLHttpRequest")
respSpider, err := Client.Do(reqSpider)
if err != nil {
log.Fatal(err)
}
bodyText, _ := ioutil.ReadAll(respSpider.Body)
var result Result
_ = json.Unmarshal(bodyText, &result)
fmt.Println(i,result.Data)
}
運行時間為：651.8207ms
2. 多線程爬蟲
2.1 channel main函數(shù)
我們構造一個無緩沖的通道，來阻塞主進程，等待子進程的執(zhí)行。
func main() {
url := "http://localhost:3000/api/v1/products"
ch := make(chan bool)
start := time.Now()
for i := 0; i < 10; i++ {
go Spider(url, ch, i)
}
for i := 0; i < 10; i++ {
<-ch
}
elapsed := time.Since(start)
fmt.Printf("Time %s", elapsed)
}
最后記得在爬蟲的結束的時候，把值寫入到通道中，不然會一直阻塞主進程
運行時間：187.7921ms 比之前快了非常多。
2.2 sync.WaitGroup
定義一個進程組并加10個進程
var wg sync.WaitGroup wg.Add(10)
開辟十個goruntime
for i := 0; i < 10; i++ {
go func(i int) {
defer wg.Done()
SpiderWaitGroup(url,i)
}(i)
}
阻塞主進程
wg.Wait()
結果：64.5246ms
3. 源碼地址
GitHub地址：https://github.com/CocaineCong/Go-Spider-Demo
NormalStart(url) // 單線程爬蟲 ChannelStart(url) // Channel多線程爬蟲 WaitGroupStart(url) // Wait 多線程爬蟲
其實多線程的兩種都差不多的，只是有時候會因為機器的原因而導致一些誤差。
到此這篇關于Go語言并發(fā)爬蟲的具體實現(xiàn)的文章就介紹到這了,更多相關Go語言并發(fā)爬蟲 內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要為大家介紹了Go語言開發(fā)必知的一個內存模型細節(jié)詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-07-07
詳解Go多協(xié)程并發(fā)環(huán)境下的錯誤處理
這篇文章主要介紹了詳解Go多協(xié)程并發(fā)環(huán)境下的錯誤處理，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-08-08
在go語言中，要比較兩個對象是否完全相同，我們可以使用三種方法，這篇文章主要為大家介紹了這三種方法的具體實現(xiàn)，需要的可以參考一下2023-06-06
Go語言標準庫中的bufio包提供了帶緩沖的I/O操作,它通過封裝io.Reader和io.Writer接口,減少頻繁的I/O操作,提高讀寫效率,本文就來詳細的介紹一下,感興趣的可以學習2024-10-10
這篇文章主要介紹了go語言實現(xiàn)接口查詢，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12
本文主要介紹了Golang 并發(fā)的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2025-05-05
這篇文章主要給大家介紹Go中的內存逃逸問題，文中通過代碼示例講解的非常詳細，對我們的學習或工作有一定的參考價值，感興趣的同學可以跟著小編一起來學習2023-06-06
切片是數(shù)組的一個引用，因此切片是引用類型。但自身是結構體，值拷貝傳遞。本文將通過示例帶大家一起探索一下Go語言中切片的奧秘，感興趣的可以了解一下2022-11-11
在接觸Go這么語言，可能你經常會聽到這樣一句話，對于字符串不能修改，可能你很納悶，日常開發(fā)中我們對字符串進行修改也是很正常的，為什么又說Go中的字符串不能進行修改呢，本文就來通過實際案例給大家演示，為什么Go中的字符串不能進行修改2023-07-07
在添加路由處理函數(shù)之后,就可以在路由處理函數(shù)中編寫業(yè)務處理代碼了,而編寫業(yè)務代碼第一件事一般就是獲取HTTP請求的參數(shù)吧,Gin框架在net/http包的基礎上封裝了獲取參數(shù)的方式,本文小編給大家介紹了獲取參數(shù)的兩種方式,需要的朋友可以參考下2024-01-01