快捷導(dǎo)航

nodejs中sleep功能實(shí)現(xiàn)暫停幾秒的方法

更新時(shí)間：2017年07月12日 16:45:03 作者：意外金喜

本篇文章主要介紹了nodejs中sleep功能實(shí)現(xiàn)暫停幾秒的方法，具有一定的參考價(jià)值，有興趣的可以了解一下

我在網(wǎng)上了解了一下nodejs中sleep功能,搜索了很多關(guān)于nodejs中sleep功能介紹,下面我來記錄一下,有需要了解的朋友可參考。希望此文章對各位有所幫助。

一背景

在使用nodejs爬蟲的時(shí)候,經(jīng)常會遇到別人的網(wǎng)站對頻率的反爬機(jī)制,這個(gè)時(shí)候如果不做處理程序就會掛掉,重新啟動也會繼續(xù)被屏蔽.這個(gè)問題怎么解決呢,我的想法就是程序暫停10分鐘或者更長的時(shí)間,繼續(xù)爬取.

二方法

其實(shí)使用setTimeout就可以實(shí)現(xiàn),只是nodejs異步已經(jīng)很金字塔了,再加一層會更恐怖,所以本文使用nodejs的第三方模塊async來實(shí)現(xiàn),async的目的就是讓多個(gè)異步的程序,按照開發(fā)者想要的順序來執(zhí)行,代碼書寫符合同步風(fēng)格,其實(shí)運(yùn)行還是異步的,也解決了回調(diào)金字塔的問題.

async基礎(chǔ)使用 :http://www.fzitv.net/article/118526.htm

三正常代碼

訪問3個(gè)網(wǎng)站,百度,優(yōu)酷,騰訊為例.不暫停的代碼.

var async = require('async'); 
var http = require('http'); 
var task = []; 
task.push(function(callback){ 
 console.time('訪問3個(gè)網(wǎng)站時(shí)間統(tǒng)計(jì)'); 
 http.get('http://www.baidu.com/', function(res) {  
  console.log("百度訪問結(jié)果: " + res.statusCode);  
  callback(null); 
 }).on('error', function(e) {  
  console.log("百度訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.youku.com/', function(res) {  
  console.log("優(yōu)酷訪問結(jié)果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) { 
  console.log("優(yōu)酷訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.qq.com/', function(res) {  
  console.log("騰訊訪問結(jié)果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) {  
  console.log("騰訊訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
async.waterfall(task, function(err,result){ 
 console.timeEnd('訪問3個(gè)網(wǎng)站時(shí)間統(tǒng)計(jì)'); 
 if(err) return console.log(err); 
 console.log('全部訪問成功'); 
})

四測試

執(zhí)行訪問網(wǎng)站需要時(shí)間,3個(gè)網(wǎng)站訪問時(shí)間統(tǒng)計(jì)254ms.

五暫停代碼

比如,訪問第一個(gè)網(wǎng)站后暫停5秒,訪問第二個(gè)網(wǎng)站后暫停10秒.

var async = require('async'); 
var http = require('http'); 
var task = []; 
task.push(function(callback){ 
 console.time('訪問3個(gè)網(wǎng)站時(shí)間統(tǒng)計(jì)'); 
 http.get('http://www.baidu.com/', function(res) {  
  console.log("百度訪問結(jié)果: " + res.statusCode); 
  setTimeout(function() { 
   callback(null); 
  }, 5000); 
 }).on('error', function(e) {  
  console.log("百度訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.youku.com/', function(res) {  
  console.log("優(yōu)酷訪問結(jié)果: " + res.statusCode); 
  setTimeout(function() { 
   callback(null); 
  }, 10000); 
 }).on('error', function(e) { 
  console.log("優(yōu)酷訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.qq.com/', function(res) {  
  console.log("騰訊訪問結(jié)果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) {  
  console.log("騰訊訪問結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
async.waterfall(task, function(err,result){ 
 console.timeEnd('訪問3個(gè)網(wǎng)站時(shí)間統(tǒng)計(jì)'); 
 if(err) return console.log(err); 
 console.log('全部訪問成功'); 
})

六測試