python簡單爬蟲--get方式詳解
更新時(shí)間：2021年09月09日 11:18:27 作者：趙趙要加油啊
本篇文章介紹了python爬蟲中g(shù)et和post方法介紹以及cookie作用，對(duì)此有興趣的朋友學(xué)習(xí)下，希望能夠給你帶來幫助
簡單爬蟲可以劃分為get、post格式。其中，get是單方面的獲取資源，而post存在交互，如翻譯中需要文字輸入。本文主要描述簡單的get爬蟲。
環(huán)境準(zhǔn)備
安裝第三方庫
pip install requests pip install bs4 pip install lxml
進(jìn)行爬蟲
1.獲取網(wǎng)頁數(shù)據(jù)。
import requests from bs4 import BeautifulSoup url = "https://cn.bing.com/search?q=爬蟲CSDN&qs=n&form=QBRE&sp=-1&pq=爬蟲csdn&sc=5-6&sk=&cvid=0B13B88D8F444A0182A4A6C36E463179/" response = requests.get(self.url)
2.解析網(wǎng)頁數(shù)據(jù)
soup = BeautifulSoup(response.text, 'lxml')
3.選取目標(biāo)數(shù)據(jù)。此處key 依據(jù)源代碼目標(biāo)標(biāo)題的位置確定。首先進(jìn)入開發(fā)者模式，后查看目標(biāo)在html中的位置，右擊選擇“復(fù)制selector”，見下圖。
key = "#b_results > li > div.b_title > h2 > a" soup.select(key)
4.清洗數(shù)據(jù)
result = {}
for i, item in enumerate(data):
result.update({
f'title_{i}': item.get_text(),
f'url_{i}': item.get('href')
})
print(result)
參考
鏈接:http://www.fzitv.net/article/152560.htm
總結(jié)
本篇文章就到這里了，希望能夠給你帶來幫助，也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容！
相關(guān)文章
Python?運(yùn)算符Inplace?與Standard?
這篇文章主要介紹了Python?運(yùn)算符Inplace?與Standard，nplace運(yùn)算符的行為類似于普通運(yùn)算符，只是它們?cè)诳勺兒筒豢勺兡繕?biāo)的情況下以不同的方式運(yùn)行2022-09-09
Python 詳解爬取并統(tǒng)計(jì)CSDN全站熱榜標(biāo)題關(guān)鍵詞詞頻流程
讀萬卷書不如行萬里路，只學(xué)書上的理論是遠(yuǎn)遠(yuǎn)不夠的，只有在實(shí)戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用Python爬取CSDN全站綜合熱榜標(biāo)題，順便統(tǒng)計(jì)關(guān)鍵詞詞頻,大家可以在過程中查缺補(bǔ)漏，提升水平2021-11-11
python GUI庫圖形界面開發(fā)之PyQt5中QMainWindow, QWidget以及QDialog的區(qū)別和選擇
這篇文章主要介紹了python GUI庫圖形界面開發(fā)之PyQt5中QMainWindow, QWidget以及QDialog的區(qū)別和選擇,需要的朋友可以參考下2020-02-02
使用Python實(shí)現(xiàn)監(jiān)控進(jìn)程是否有病毒
這篇文章主要為大家詳細(xì)介紹了如何使用Python實(shí)現(xiàn)監(jiān)控進(jìn)程是否有病毒,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-02-02
本地文件上傳到七牛云服務(wù)器示例(七牛云存儲(chǔ))
這篇文章主要介紹了使用PYTHON把本地文件上傳到七牛云服務(wù)的方法，開發(fā)環(huán)境是Python 2.7，大家參考使用吧2014-01-01
今天小編就為大家分享一篇在Pytorch中計(jì)算自己模型的FLOPs方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12
大家好，本篇文章主要講的是Python命令行解析器argparse詳解，感興趣的同學(xué)趕快來看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽2022-01-01
python封裝對(duì)象實(shí)現(xiàn)時(shí)間效果
這篇文章主要為大家詳細(xì)介紹了python封裝對(duì)象實(shí)現(xiàn)時(shí)間效果，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2010-10-10
關(guān)于pandas.DataFrame的類SQL操作
這篇文章主要介紹了關(guān)于pandas.DataFrame的類SQL操作方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,2023-08-08
這篇文章主要介紹了Python Selenium參數(shù)配置方法解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-01-01