淺談selenium如何應對網(wǎng)頁內(nèi)容需要鼠標滾動加載的問題
相信大家在selenium爬取網(wǎng)頁的時候都遇到過這樣的問題：就是網(wǎng)頁內(nèi)容需要用鼠標滾動加載剩余內(nèi)容，而不是一次全部加載出網(wǎng)頁的全部內(nèi)容，這個時候如果要模擬翻頁的時候就必須加載出全部的內(nèi)容，不然定位元素會找不到，出現(xiàn)報錯。
這里提供兩種方法供大家參考
一，通過selenium模擬瀏覽器，然后設置瀏覽器高度足夠長，最后延時使之能夠將頁面的內(nèi)容都能夠加載出來
import time from selenium import webdriver driver = webdriver.Firefox() driver.set_window_size(1000,30000) driver.get(url) time.sleep(5)
二，通過selenium模擬瀏覽器下拉操作
from selenium import webdriver
import time
browser.execute_script("window.scrollBy(0,3000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,5000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,8000)")
time.sleep(1)
補充知識：針對懶加載如何實現(xiàn)selenium 滑動至頁面底部page_source一次性包含全部網(wǎng)頁內(nèi)容
有時網(wǎng)站使用了懶加載技術：只有在瀏覽器中縱向滾動條滾動到指定的位置時，頁面的元素才會被動態(tài)加載。
注意，在加載之前，selenium的page_source是不會包含該頁面的內(nèi)容,page_source只包含加載出來的頁面內(nèi)容。
那么如何實現(xiàn)加載全部內(nèi)容了,就需要模擬人滾動滾動條的行為,實現(xiàn)頁面的加載
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
def scroll_until_loaded(self):
check_height = self.browser.execute_script("return document.body.scrollHeight;")
while True:
self.browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
try:
self.wait.until(lambda driver: self.browser.execute_script("return document.body.scrollHeight;") > check_height)
check_height = self.browser.execute_script("return document.body.scrollHeight;")
except TimeoutException:
break
這里懶加載并不是一直有效, 當網(wǎng)速不好時,加載超過self.wait()時間, 頁面還沒加載出來時, 會認為全部加載完成, page_source里面的代碼就會是以前加載出來的, 所以執(zhí)行翻頁操作后, 要執(zhí)行time.sleep(3), 等待網(wǎng)頁加載, 更新html再獲取網(wǎng)頁源代碼
以上這篇淺談selenium如何應對網(wǎng)頁內(nèi)容需要鼠標滾動加載的問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章給大家分享了Python3.6的py文件打包生成exe的方法步驟以及相關知識點，有需要的朋友可以參考學習下。2018-07-07
這篇文章主要介紹了python如何生成密碼字典，密碼字典主要是配合解密使用，下面利用python實現(xiàn)生成密碼字典，需要的小伙伴可以參考一下2022-03-03
這篇文章主要為大家詳細介紹了200行python代碼實現(xiàn)貪吃蛇游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-04-04
python使用sklearn實現(xiàn)決策樹的方法示例
這篇文章主要介紹了python使用sklearn實現(xiàn)決策樹的方法示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-09-09
Python編程快速上手——Excel表格創(chuàng)建乘法表案例分析
這篇文章主要介紹了Python Excel表格創(chuàng)建乘法表,結合具體實例形式分析了Python接受cmd命令操作Excel文件創(chuàng)建乘法表相關實現(xiàn)技巧,需要的朋友可以參考下2020-02-02
在Python編程過程中經(jīng)常會遇到列表去重的問題,下面這篇文章主要給大家介紹了python列表去重的5種常見方法,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-06-06
這篇文章主要介紹了Python基礎之字符串格式化詳解,文中有非常詳細的代碼示例,對正在學習python基礎的小伙伴們有很好地幫助,需要的朋友可以參考下2021-04-04
這篇文章主要介紹了Python 處理表格進行成績排序，也就是說將學生從按照學號排序變?yōu)榘凑粘煽儚母叩降瓦M行排序，具體實現(xiàn)代碼跟隨小編一起看看吧2021-07-07
這篇文章主要介紹了Python的pycurl包用法簡介,文中羅列了其下模塊中的一些常用方法,需要的朋友可以參考下2015-11-11
ipython是一個非常流行的python解釋器，比python解釋器好用很多，本文重點給大家介紹Python中使用ipython的詳細教程，需要的朋友參考下吧2021-06-06