快捷導(dǎo)航

基于node.js實(shí)現(xiàn)爬蟲(chóng)的講解

更新時(shí)間：2019年02月18日 16:49:09 作者：Inside_Zhang

今天小編就為大家分享一篇關(guān)于基于node.js實(shí)現(xiàn)爬蟲(chóng)的講解，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧

1. cheerio 與 request

request：模擬客戶(hù)端行為，對(duì)頁(yè)面進(jìn)行請(qǐng)求
cheerio：對(duì)服務(wù)器端返回的頁(yè)面進(jìn)行解析；

var cheerio = require('cheerio');
var request = require('request');
var startUrl = 'http://www.baidu.com'
request(startUrl, function(err, response) {
  if (err) {
    console.log(err);
  }
  var $ = cheerio.load(response.body);
  var title = $('title').text();
  console.log(title);
}

2. 認(rèn)識(shí) cheerio

獲取 element 位置

通過(guò) class 屬性進(jìn)行匹配：

var $=cheerio.load('<div class="container"></div>'); 
$('.container')

取其鏈接：<a class="downbtn" href="http://mov.bn.netease.com/mobilev/2013/1/F/G/S8KTEF7FG.mp4" id="M8KTEKR84" target="_blank"></a>

$('a.downbtn').attr('href')

某一頁(yè)面下的全部可鏈接：

var url = 
var $ = cheerio.load(data);
  $("a.downbtn").each(function(i, e) {
    console.log($(e).attr("href"));
  });
  console.log("done");
 } else {
   console.log("error");
 }

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接

您可能感興趣的文章:

相關(guān)文章

詳解如何在NodeJS項(xiàng)目中優(yōu)雅的使用ES6
本篇文章主要介紹了詳解如何在NodeJS項(xiàng)目中優(yōu)雅的使用ES6，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下。
2017-04-04
PM2自動(dòng)部署代碼步驟流程總結(jié)
這篇文章主要介紹了PM2自動(dòng)部署代碼步驟流程總結(jié)，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2018-12-12
nodejs微信開(kāi)發(fā)之授權(quán)登錄+獲取用戶(hù)信息
這篇文章主要介紹了nodejs微信開(kāi)發(fā)之授權(quán)登錄+獲取用戶(hù)信息，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2019-03-03
nodejs簡(jiǎn)單讀寫(xiě)excel內(nèi)容的方法示例
這篇文章主要介紹了nodejs簡(jiǎn)單讀寫(xiě)excel內(nèi)容的方法,簡(jiǎn)單分析了nodejs常見(jiàn)的讀寫(xiě)Excel模塊,并結(jié)合實(shí)例形式分析了nodejs讀寫(xiě)Excel具體操作技巧,需要的朋友可以參考下
2018-03-03
node 文件上傳接口的轉(zhuǎn)發(fā)的實(shí)現(xiàn)
這篇文章主要介紹了node 文件上傳接口的轉(zhuǎn)發(fā)的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2019-09-09
Linux下為Node.js程序配置MySQL或Oracle數(shù)據(jù)庫(kù)的方法
這篇文章主要介紹了Linux下為Node.js程序配置MySQL或Oracle數(shù)據(jù)庫(kù)的方法,這里默認(rèn)已經(jīng)裝配好了Node環(huán)境然后我們利用npm包管理工具來(lái)進(jìn)行配置,需要的朋友可以參考下
2016-03-03
Node server生成Swagger接口文檔步驟詳解
本文介紹使用NodeJs搭建的后端server快速生成Swagger接口文檔的技巧,本文有詳細(xì)的步驟講解,通過(guò)代碼示例給大家介紹的非常詳細(xì),具有一定的參考價(jià)值,需要的朋友可以參考下
2024-01-01
node中的crypto模塊操作方法
加密操作可能很棘手,以至于付費(fèi)的加密服務(wù)公司的存在只是為了確保在代碼庫(kù)中正確實(shí)現(xiàn)加密操作,本文給大家介紹node中的crypto模塊操作方法,感興趣的朋友跟隨小編一起看看吧
2023-10-10
pnpm的安裝和使用指南(推薦!)
如果你覺(jué)得npm比較慢,又不想用yarn,那么pnpm是一個(gè)很好的選擇,下面這篇文章主要給大家介紹了關(guān)于pnpm的安裝和使用的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
2022-05-05
node koa2實(shí)現(xiàn)上傳圖片并且同步上傳到七牛云存儲(chǔ)
這篇文章主要介紹了node koa2實(shí)現(xiàn)上傳圖片并且同步上傳到七牛云存儲(chǔ)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2017-07-07