使用八爪魚采集器采集滾動加載和點擊加載數(shù)據(jù)的教程
現(xiàn)在很多網(wǎng)站的列表，需要向下滾動頁面，才能加載出新數(shù)據(jù)。使用廣泛的火車頭采集器相對無力，使用八爪魚采集器可以采集滾動刷新和點擊刷新。
適用場景：將滾動條直接下來到網(wǎng)頁底部，出現(xiàn)類似【加載中】字樣，稍后馬上有新數(shù)據(jù)出現(xiàn)，且滾動條變短回彈。
我們需采集新聞列表數(shù)據(jù)。就需要在打開網(wǎng)頁后不斷向下滾動，加載新數(shù)據(jù)。
在八爪魚中怎么實現(xiàn)呢？以下為具體操作步驟。
步驟一、進入自定義任務編輯頁面
把網(wǎng)址復制到八爪魚客戶端首頁的輸入框中，點擊開始采集進入自定義任務配置頁面。
步驟二、設置滾動方式，調整滾動次數(shù)、每次間隔時間
點擊打開網(wǎng)頁步驟，在下方步驟設置區(qū)域點擊高級設置，找到頁面滾動，點擊勾選頁面滾動。此網(wǎng)頁是無限滾動的，八爪魚默認設置的【滾動方式】是滾動到底部，默認【滾動次數(shù)】100次、默認【每次間隔】1秒。大家可根據(jù)實際需求進行調整?！久看伍g隔】時間需稍大于網(wǎng)頁上數(shù)據(jù)加載的時間（網(wǎng)頁上數(shù)據(jù)加載的時間又跟網(wǎng)速等因素有關）。
結合這個網(wǎng)站的加載特征，這里修改【滾動方式】為向下滾動一屏（一般情況滾動方式都建議大家選擇向下滾動一屏）；為方便演示，在這里，設置【滾動次數(shù)】5次。
步驟三：配置列表數(shù)據(jù)采集。
啟動采集來看一下采集結果。八爪魚自動執(zhí)行了【直接滾動到底部】5次，然后采集滾動5次后的數(shù)據(jù)。
特別說明：
1、此網(wǎng)頁是無限向下滾動加載數(shù)據(jù)的，八爪魚無法一次采集到所有數(shù)據(jù)。上面示例是設置了滾動5次，實際采集過程中可根據(jù)需求來設置滾動次數(shù)。
2、此類網(wǎng)頁常見于數(shù)據(jù)實時性高的新聞類網(wǎng)站，在八爪魚中可以使用云采集，設置定時啟動，少量多次采集最新數(shù)據(jù)。
3、有時候網(wǎng)頁很快，類似【加載中】的提示不明顯。【是否有新數(shù)據(jù)出現(xiàn)】、【觀察滾動條的回彈次數(shù)】是比較好用的判斷標準，請注意觀察網(wǎng)頁。
4. 【向下滾動一屏】的一屏，跟運行采集任務時的窗口展示區(qū)域有關。如下圖，左側滾動的一屏 > 右側滾動的一屏。
5.若設置滾動后啟動采集不滾動的，可能是頁面是局部滾動的，需要設置局部滾動不是全局滾動。局部滾動判斷方式，在目標網(wǎng)頁打開【調試控制臺】輸入：document.scrollingElement.scrollBy(0, 100) 回車運行。如果頁面沒有向下滾動，說明不是全局滾動。
到此這篇關于使用八爪魚采集器采集滾動刷新和點擊刷新的教程的文章就介紹到這了,更多相關八爪魚采集器采集滾動刷新和點擊刷新內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
有部分網(wǎng)友提出想了解一下像我這樣的高度訂制化博客界面是如何做出來的。所以在這里給大家分享一下經(jīng)驗。2009-12-12
HTTP協(xié)議是基于請求／響應范式的。一個客戶機與服務器建立連接后，發(fā)送一個請求給服務器，請求方式的格式為，統(tǒng)一資源標識符、協(xié)議版本號，后邊是MIME信息包括請求修飾符、客戶機信息和可能的內容。2011-02-02
解決Visual Studio 2019本地不能運行Azure Functions
本文主要介紹了Visual Studio 2019本地不能運行Azure Functions的解決方方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-06-06
Apache?Beam是一個用于批處理和流處理的統(tǒng)一編程模型,可以處理實時數(shù)據(jù)流和批量數(shù)據(jù)，本文給大家介紹ApacheBeam中的延遲數(shù)據(jù)處理方法，感興趣的朋友跟隨小編一起看看吧2024-03-03
2022最新騰訊輕量云?debian?10?安裝pve教程詳解
這篇文章主要介紹了騰訊輕量云?debian?10?安裝pve教程?2022,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-10-10
通過Cursor使用chatgpt-4的ai輔助編程工具的方法
cursor是一款與openai合作的，使用gpt-4的一款編程工具，它可以讓你通過gpt-4進行輔助編程，以此提高效率，這篇文章主要介紹了Cursor一個使用chatgpt-4的ai輔助編程工具,需要的朋友可以參考下2023-05-05
這篇文章介紹了如何在本地快速部署Deepseek模型,包括下載、安裝、運行和測試,文中通過圖文結合的方式講解的非常詳細,對大家本地快速部署deepseek有一定的幫助,需要的朋友可以參考下2025-02-02
如何在Windows10系統(tǒng)上部署DeepSeekAI人工智能,步驟包括安裝Ollama底層軟件和選擇合適的模型進行部署,感興趣的朋友跟隨小編一起看看吧2025-02-02
章詳細介紹了如何在DeepSeek開放平臺上獲取API密鑰,并使用Apifox進行API調試,步驟包括登錄平臺、創(chuàng)建和保存APIKey、配置Apifox環(huán)境變量、導入cURL并設置Authorization、發(fā)送請求以及根據(jù)需要修改參數(shù)實現(xiàn)對話和流式輸出,需要的朋友可以參考下2025-02-02
在使用Git進行版本控制時,我們經(jīng)常需要合并不同分支上的代碼變動,Git提供了git merge命令來完成分支合并操作,本文將詳細介紹git merge命令的使用,感興趣的可以了解一下2026-03-03