Python爬蟲實(shí)現(xiàn)selenium處理iframe作用域問題
更新時間：2021年01月27日 09:29:27 作者：Master先生
這篇文章主要介紹了Python爬蟲實(shí)現(xiàn)selenium處理iframe作用域問題，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
項(xiàng)目場景：
在使用selenium模塊進(jìn)行數(shù)據(jù)爬取時，通常會遇到爬取iframe中的內(nèi)容。會因?yàn)槎ㄎ坏淖饔糜騿栴}爬取不到數(shù)據(jù)。
問題描述：
我們以菜鳥教程的運(yùn)行實(shí)例為案例。
按照正常的定位
會以文本塊生成xpath為/html/body/text()。這樣的話根據(jù)xpath進(jìn)行如下代碼編寫。
#!/user/bin/
# -*- coding:UTF-8 -*-
# Author:Master
from selenium import webdriver
import time
driver = webdriver.Chrome(executable_path="./chromedriver")
driver.get('https://www.runoob.com/try/runcode.php?filename=HelloWorld&type=python3')
time.sleep(2)
text = driver.find_element_by_xpath('/html/body').text
print(text)
time.sleep(5)
driver.quit()
執(zhí)行結(jié)果：
很明顯這并不是想要的結(jié)果。
原因分析：
當(dāng)我們打開抓包工具定位到Hello, World!文本的時候會發(fā)現(xiàn)，該文本是在一個iframe中。這樣的話我們xpath所定位到的內(nèi)容則是大的html中的路徑。我們需要的內(nèi)容則是在iframe中的小的html中。
解決方案：
通過分析發(fā)現(xiàn)，想要解決問題的實(shí)質(zhì)就是改變作用域。通過switch_to.frame(‘id')方法來改變作用域就可以了。
重新編寫代碼：
#!/user/bin/
# -*- coding:UTF-8 -*-
# Author:Master
from selenium import webdriver
import time
driver = webdriver.Chrome(executable_path="./chromedriver")
driver.get('https://www.runoob.com/try/runcode.php?filename=HelloWorld&type=python3')
time.sleep(2)
driver.switch_to.frame('iframeResult')
text = driver.find_element_by_xpath('/html/body').text
print(text)
time.sleep(5)
driver.quit()
查看運(yùn)行結(jié)果：
到此這篇關(guān)于Python爬蟲實(shí)現(xiàn)selenium處理iframe作用域問題的文章就介紹到這了,更多相關(guān)selenium iframe作用域內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
今天小編就為大家分享一篇Python 判斷圖像是否讀取成功的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Tornado Web Server框架編寫簡易Python服務(wù)器
這篇文章主要為大家詳細(xì)介紹了Tornado Web Server框架編寫簡易Python服務(wù)器，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-07-07
光流是空間運(yùn)動物體在觀察成像平面上的像素運(yùn)動的瞬時速度，是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關(guān)性來找到上一幀跟當(dāng)前幀之間存在的相應(yīng)關(guān)系,這篇文章主要給大家介紹了關(guān)于OpenCV中光流以及視頻特征點(diǎn)追蹤的相關(guān)資料,需要的朋友可以參考下2021-08-08
這篇文章主要介紹了Python中的變量和數(shù)據(jù)類型詳情，變量不需要聲明即可使用，向變量賦值即定義變量，python中的數(shù)據(jù)類型包括數(shù)值類型、列表、元組等內(nèi)容，下面文章的詳細(xì)介紹，需要的小伙伴可以參考一下2022-03-03
這篇文章主要介紹了如何利用PyQT5制作一個桌面摸魚工具，利用摸魚，打開小說，可實(shí)行完美摸魚，實(shí)時保存進(jìn)度，快來跟隨小編一起動手試一試吧2022-02-02
這篇文章主要介紹了搞笑的程序猿：看看你是哪種Python程序員,不久前,在互聯(lián)網(wǎng)上出現(xiàn)了一篇有趣的文章,講的是對于同一個問題,不同層次的Python程序員編出的Python代碼，顯示出了不同的風(fēng)格,代碼都很簡單,有趣,需要的朋友可以參考下2015-06-06
Flask Paginate實(shí)現(xiàn)表格分頁的使用示例
flask_paginate是Flask框架的一個分頁擴(kuò)展,用于處理分頁相關(guān)的功能,本文就來介紹一下Flask Paginate實(shí)現(xiàn)表格分頁的使用示例,感興趣的可以了解一下2023-11-11
這篇文章主要介紹了Python 變量作用域的相關(guān)資料，文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07
這篇文章主要介紹了pycharm配置git(圖文教程),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08
這篇文章主要介紹了python?ConfigParser庫的使用及遇到的坑，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-02-02