最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Puppeteer環(huán)境搭建的詳細步驟

 更新時間:2018年09月21日 08:31:16   作者:嚴北  
這篇文章主要介紹了Puppeteer環(huán)境搭建的詳細步驟,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧

簡介

Puppeteer是Google開發(fā)并開源的一款工具,可用代碼驅(qū)動瀏覽器操作。

由于諸多優(yōu)秀的特性,Puppeteer常被用在爬蟲與自動化測試上。詳細介紹參見官方 README 。

Puppeteer本身是個NodeJS的庫,自動化腳本也需要使用NodeJS編寫,如果對JS不了解建議先學習JavaScript基礎(chǔ)語法,或者使用Selenium等其他工具去實現(xiàn)。

對于一個陌生的工具,應(yīng)當先檢查是否適合自己,再去嘗試使用,切莫盲目從眾。

Puppeteer 用處

  • 利用網(wǎng)頁生成PDF、圖片
  • 爬取SPA應(yīng)用,并生成預(yù)渲染內(nèi)容(即“SSR” 服務(wù)端渲染)
  • 可以從網(wǎng)站抓取內(nèi)容
  • 自動化表單提交、UI測試、鍵盤輸入等
  • 幫你創(chuàng)建一個最新的自動化測試環(huán)境(chrome),可以直接在此運行測試用例6.捕獲站點的時間線,以便追蹤你的網(wǎng)站,幫助分析網(wǎng)站性能問題

配置

Node環(huán)境配置

下載并安裝NodeJS:

wget https://nodejs.org/dist/v8.12.0/node-v8.12.0-linux-x64.tar.xz
tar xf node-v8.12.0-linux-x64.tar.xz
mv node-v8.12.0-linux-x64 /usr/local/lib
ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/npm /usr/local/bin/
ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/node /usr/local/bin/

*(可選)配置淘寶的源,加速npm包的下載:

npm config set registry https://registry.npm.taobao.org

安裝Puppeteer

配置淘寶的Puppeteer下載源,用于安裝Chromium:

export PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org
npm i puppeteer

國內(nèi)不配置時會在卡在下載Chromium

示例

新建一個test.js

const puppeteer = require('puppeteer');

(async () => {
 const browser = await puppeteer.launch({
  ignoreHTTPSErrors: true,
  headless: false,
  args: ['--no-sandbox']
 });
 const page = await browser.newPage();
 await page.goto('https://intest.tech');
 await page.waitFor(5e3);
 await browser.close();
})();

運行:

node test.js

截圖

知識點

  • puppeteer.launch 啟動瀏覽器實例
  • browser.newPage() 創(chuàng)建一個新頁面
  • page.goto 進入指定網(wǎng)頁
  • page.screenshot 截圖
const puppeteer = require('puppeteer');

(async () => {
const browser = await (puppeteer.launch({
// 若是手動下載的chromium需要指定chromium地址, 默認引用地址為 /項目目錄/node_modules/puppeteer/.local-chromium/
executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium',
//設(shè)置超時時間
timeout: 15000,
//如果是訪問https頁面 此屬性會忽略https錯誤
ignoreHTTPSErrors: true,
// 打開開發(fā)者工具, 當此值為true時, headless總為false
devtools: false,
// 關(guān)閉headless模式, 會打開瀏覽器
headless: false
}));
const page = await browser.newPage();
await page.goto('https://www.jianshu.com/u/40909ea33e50');
await page.screenshot({
path: 'jianshu.png',
type: 'png',
// quality: 100, 只對jpg有效
fullPage: true,
// 指定區(qū)域截圖,clip和fullPage兩者只能設(shè)置一個
// clip: {
// x: 0,
// y: 0,
// width: 1000,
// height: 40
// }
});
browser.close();
})();

進階,獲取網(wǎng)易云音樂的歌詞和評論

網(wǎng)易云音樂的API經(jīng)過AES和RSA算法加密,需要攜帶加密的信息通過POST方式請求才能獲取到數(shù)據(jù)。但 Puppeteer 出現(xiàn)后,這些都不重要了,只要它頁面上顯示了,通過 Puppeteer 都能獲取到該元素。

知識點

  • page.type 獲取輸入框焦點并輸入文字
  • page.keyboard.press 模擬鍵盤按下某個按鍵,目前mac上組合鍵無效為已知bug
  • page.waitFor 頁面等待,可以是時間、某個元素、某個函數(shù)
  • page.frames() 獲取當前頁面所有的 iframe,然后根據(jù) iframe 的名字精確獲取某個想要的 iframe
  • iframe.$('.srchsongst') 獲取 iframe 中的某個元素
  • iframe.evaluate() 在瀏覽器中執(zhí)行函數(shù),相當于在控制臺中執(zhí)行函數(shù),返回一個 Promise
  • Array.from 將類數(shù)組對象轉(zhuǎn)化為對象
  • page.click() 點擊一個元素
  • iframe.$eval() 相當于在 iframe 中運行 document.queryselector 獲取指定元素,并將其作為第一個參數(shù)傳遞
  • iframe.$$eval 相當于在 iframe 中運行 document.querySelectorAll 獲取指定元素數(shù)組,并將其作為第一個參數(shù)傳遞
const fs = require('fs');
const puppeteer = require('puppeteer');

(async () => {
const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: false }));
const page = await browser.newPage();
// 進入頁面
await page.goto('https://music.163.com/#');

// 點擊搜索框擬人輸入 鬼才會想起
const musicName = '鬼才會想';
await page.type('.txt.j-flag', musicName, {delay: 0});

// 回車
await page.keyboard.press('Enter');

// 獲取歌曲列表的 iframe
await page.waitFor(2000);
let iframe = await page.frames().find(f => f.name() === 'contentFrame');
const SONG_LS_SELECTOR = await iframe.$('.srchsongst');

// 獲取歌曲 鬼才會想起 的地址
const selectedSongHref = await iframe.evaluate(e => {
const songList = Array.from(e.childNodes);
const idx = songList.findIndex(v => v.childNodes[1].innerText.replace(/\s/g, '') === '鬼才會想起');
return songList[idx].childNodes[1].firstChild.firstChild.firstChild.href;
}, SONG_LS_SELECTOR);

// 進入歌曲頁面
await page.goto(selectedSongHref);

// 獲取歌曲頁面嵌套的 iframe
await page.waitFor(2000);
iframe = await page.frames().find(f => f.name() === 'contentFrame');

// 點擊 展開按鈕
const unfoldButton = await iframe.$('#flag_ctrl');
await unfoldButton.click();

// 獲取歌詞
const LYRIC_SELECTOR = await iframe.$('#lyric-content');
const lyricCtn = await iframe.evaluate(e => {
return e.innerText;
}, LYRIC_SELECTOR);

console.log(lyricCtn);

// 截圖
await page.screenshot({
path: '歌曲.png',
fullPage: true,
});

// 寫入文件
let writerStream = fs.createWriteStream('歌詞.txt');
writerStream.write(lyricCtn, 'UTF8');
writerStream.end();

// 獲取評論數(shù)量
const commentCount = await iframe.$eval('.sub.s-fc3', e => e.innerText);
console.log(commentCount);

// 獲取評論
const commentList = await iframe.$$eval('.itm', elements => {
const ctn = elements.map(v => {
return v.innerText.replace(/\s/g, '');
});
return ctn;
});
console.log(commentList);
})();

參考

https://github.com/cnpm/cnpmjs.org/issues/1246#issuecomment-341631992

以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • 使用koa2創(chuàng)建web項目的方法步驟

    使用koa2創(chuàng)建web項目的方法步驟

    這篇文章主要介紹了使用koa2創(chuàng)建web項目的方法步驟,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2019-03-03
  • 詳解NodeJS Https HSM雙向認證實現(xiàn)

    詳解NodeJS Https HSM雙向認證實現(xiàn)

    這篇文章主要介紹了詳解NodeJS Https HSM雙向認證實現(xiàn),小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2019-03-03
  • Node.js API詳解之 string_decoder用法實例分析

    Node.js API詳解之 string_decoder用法實例分析

    這篇文章主要介紹了Node.js API詳解之 string_decoder用法,結(jié)合實例形式分析了Node.js API中string_decoder的功能、用法及操作注意事項,需要的朋友可以參考下
    2020-04-04
  • Node.js微信 access_token ( jsapi_ticket ) 存取與刷新的示例

    Node.js微信 access_token ( jsapi_ticket ) 存取與刷新的示例

    本篇文章主要介紹了Node.js微信 access_token ( jsapi_ticket ) 存取與刷新的示例,具有一定的參考價值,有興趣的可以了解一一下‘
    2017-09-09
  • NodeJS簡單實現(xiàn)WebSocket功能示例

    NodeJS簡單實現(xiàn)WebSocket功能示例

    這篇文章主要介紹了NodeJS簡單實現(xiàn)WebSocket功能,結(jié)合具體實例形式分析了nodejs實現(xiàn)WebSocket通信功能的客戶端與服務(wù)器端相關(guān)操作技巧,需要的朋友可以參考下
    2018-02-02
  • Nodejs中 npm常用命令詳解

    Nodejs中 npm常用命令詳解

    npm是一個node包管理和分發(fā)工具,已經(jīng)成為了非官方的發(fā)布node模塊(包)的標準。接下來通過本文給大家介紹nodejs中 npm常用命令
    2016-07-07
  • 使用NodeJs 開發(fā)微信公眾號(三)微信事件交互實例

    使用NodeJs 開發(fā)微信公眾號(三)微信事件交互實例

    這篇文章主要介紹了使用NodeJs 開發(fā)微信公眾號(三)微信事件交互實例的相關(guān)資料,需要的朋友可以參考下
    2016-03-03
  • node如何將package.json中的包降為低版本或者升級為高版本

    node如何將package.json中的包降為低版本或者升級為高版本

    比如現(xiàn)在你用某個包的當前版本,但是你安裝的版本高了,那么你應(yīng)該這么做,首先刪除node項目中的node_modules目錄,防止安裝時的包不一致,下面給大家介紹node將package.json中的包降為低版本或者升級為高版本的方法,感興趣的朋友一起看看吧
    2023-11-11
  • 純異步nodejs文件夾(目錄)復(fù)制功能

    純異步nodejs文件夾(目錄)復(fù)制功能

    這篇文章主要介紹了純異步nodejs文件夾(目錄)復(fù)制功能,本文通過實例代碼給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-09-09
  • node實現(xiàn)分片下載的示例代碼

    node實現(xiàn)分片下載的示例代碼

    這篇文章主要介紹了node實現(xiàn)分片下載的示例代碼,使用場景包括基于瀏覽器的流文件片段傳輸、基于客戶端的分片下載等。感興趣的小伙伴們可以參考一下
    2018-10-10

最新評論

旺苍县| 醴陵市| 新蔡县| 石林| 三明市| 边坝县| 静海县| 历史| 阿拉尔市| 齐齐哈尔市| 神池县| 克拉玛依市| 庆元县| 遂昌县| 航空| 屏山县| 招远市| 海伦市| 扬中市| 板桥市| 颍上县| 马关县| 宜昌市| 吴桥县| 武平县| 泽库县| 竹溪县| 盖州市| 云阳县| 卓资县| 诸城市| 巴塘县| 盐池县| 侯马市| 三门县| 保山市| 满洲里市| 鹤峰县| 巴东县| 连平县| 凭祥市|