Python獲取當(dāng)前頁(yè)面內(nèi)所有鏈接的四種方法對(duì)比分析
本文實(shí)例講述了Python獲取當(dāng)前頁(yè)面內(nèi)所有鏈接的四種方法。分享給大家供大家參考，具體如下：
'''
得到當(dāng)前頁(yè)面所有連接
'''
import requests
import re
from bs4 import BeautifulSoup
from lxml import etree
from selenium import webdriver
url = 'http://www.testweb.com'
r = requests.get(url)
r.encoding = 'gb2312'
# 利用 re （太黃太暴力！）
matchs = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" , r.text)
for link in matchs:
print(link)
print()
# 利用 BeautifulSoup4 （DOM樹）
soup = BeautifulSoup(r.text,'lxml')
for a in soup.find_all('a'):
link = a['href']
print(link)
print()
# 利用 lxml.etree （XPath）
tree = etree.HTML(r.text)
for link in tree.xpath("http://@href"):
print(link)
print()
# 利用selenium（要開瀏覽器?。?
driver = webdriver.Firefox()
driver.get(url)
for link in driver.find_elements_by_tag_name("a"):
print(link.get_attribute("href"))
driver.close()
注意：若頁(yè)面中含有 iframe，則 iframe 內(nèi)所包含頁(yè)面的所有標(biāo)簽都無(wú)法用以上四種方法獲得?。?！此時(shí)則要：
# 再打開所有iframe查找全部的a標(biāo)簽
for iframe in soup.find_all('iframe'):
url_ifr = iframe['src'] # 取得當(dāng)前iframe的src屬性值
rr = requests.get(url_ifr)
rr.encoding = 'gb2312'
soup_ifr = BeautifulSoup(rr.text,'lxml')
for a in soup_ifr.find_all('a'):
link = a['href']
m = re.match(r'http:\/\/.*?(?=\/)',link)
#print(link)
if m:
all_urls.add(m.group(0))
PS：這里再為大家提供2款非常方便的正則表達(dá)式工具供大家參考使用：
JavaScript正則表達(dá)式在線測(cè)試工具：
http://tools.jb51.net/regex/javascript
正則表達(dá)式在線生成工具：
http://tools.jb51.net/regex/create_reg
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
- Python編程實(shí)現(xiàn)兩個(gè)文件夾里文件的對(duì)比功能示例【包含內(nèi)容的對(duì)比】
- 對(duì)比Python中__getattr__和 __getattribute__獲取屬性的用法
- 淺談Python中chr、unichr、ord字符函數(shù)之間的對(duì)比
- 舉例講解Python中字典的合并值相加與異或?qū)Ρ?/a>
- 橫向?qū)Ρ确治鯬ython解析XML的四種方式
- Python 多線程抓取圖片效率對(duì)比
- 使用Python的PIL模塊來(lái)進(jìn)行圖片對(duì)比
- Python與R語(yǔ)言的簡(jiǎn)要對(duì)比
相關(guān)文章
Python 進(jìn)程操作之進(jìn)程間通過(guò)隊(duì)列共享數(shù)據(jù)，隊(duì)列Queue簡(jiǎn)單示例
這篇文章主要介紹了Python 進(jìn)程操作之進(jìn)程間通過(guò)隊(duì)列共享數(shù)據(jù)，隊(duì)列Queue,結(jié)合實(shí)例形式分析了Python進(jìn)程數(shù)據(jù)共享、隊(duì)列數(shù)據(jù)處理相關(guān)操作技巧,需要的朋友可以參考下2019-10-10
python shapely.geometry.polygon任意兩個(gè)四邊形的IOU計(jì)算實(shí)例
這篇文章主要介紹了python shapely.geometry.polygon任意兩個(gè)四邊形的IOU計(jì)算實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04
python使用numpy尋找二維數(shù)組的最值及其下標(biāo)方法分析
這篇文章主要為大家介紹了python使用numpy尋找二維數(shù)組的最值及其下標(biāo)實(shí)現(xiàn)方法詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-08-08
大家好，本篇文章主要講的是用Python獲取亞馬遜商品信息，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽2022-01-01
pip 是 Python 的默認(rèn)包管理工具,隨 Python 3.x 版本一同安裝,它使得安裝和管理 Python 包變得非常簡(jiǎn)單,本文將介紹 pip 的基本使用方法、常用命令及其代碼示例,需要的朋友可以參考下2024-12-12
今天小編就為大家分享一篇基于Django與ajax之間的json傳輸方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-05-05
OpenCV機(jī)器學(xué)習(xí)MeanShift算法筆記分享
這篇文章主要介紹了OpenCV機(jī)器學(xué)習(xí)MeanShift算法筆記分享，有需要的朋友可以借鑒參考下，希望可以對(duì)各位讀者的OpenCV算法學(xué)習(xí)能夠有所幫助2021-09-09
本文主要介紹了淺談numpy廣播機(jī)制，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
這篇文章主要為大家詳細(xì)介紹了如何利用Python編寫一個(gè)簡(jiǎn)易的蹭WiFi的軟件，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以學(xué)習(xí)一下2023-06-06
Python基于Tkinter模塊實(shí)現(xiàn)的彈球小游戲
這篇文章主要介紹了Python基于Tkinter模塊實(shí)現(xiàn)的彈球小游戲,涉及Python圖形繪制、數(shù)值計(jì)算、判斷等相關(guān)操作技巧,需要的朋友可以參考下2018-12-12