Python爬蟲基礎(chǔ)之requestes模塊
一、爬蟲的流程
開始學(xué)習(xí)爬蟲，我們必須了解爬蟲的流程框架。在我看來爬蟲的流程大概就是三步，即不論我們爬取的是什么數(shù)據(jù)，總是可以把爬蟲的流程歸納總結(jié)為這三步：
1.指定 url,可以簡(jiǎn)單的理解為指定要爬取的網(wǎng)址
2.發(fā)送請(qǐng)求。requests 模塊的請(qǐng)求一般為 get 和 post
3.將爬取的數(shù)據(jù)存儲(chǔ)
二、requests模塊的導(dǎo)入
因?yàn)?requests 模塊屬于外部庫，所以需要我們自己導(dǎo)入庫
導(dǎo)入的步驟：
1.右鍵Windows圖標(biāo)
2.點(diǎn)擊“運(yùn)行”
3.輸入“cmd”打開命令面板
4.輸入“pip install requests”,等待下載完成
如圖：
如果還是下載失敗，我的建議是百度一下，你就知道（我也是邊學(xué)邊寫，是在是水平有限）
歐克，既然導(dǎo)入成功后我們就簡(jiǎn)單的來爬取一下搜狗的首頁吧！
三、完整代碼
import requests
if __name__ == "__main__":
# 指定url
url = "https://www.sougou.com/"
# 發(fā)起請(qǐng)求
# get方法會(huì)返回一個(gè)響應(yīng)數(shù)據(jù)
response = requests.get(url)
# 獲取響應(yīng)數(shù)據(jù)
page_txt = response.text # text返回一個(gè)字符串的響應(yīng)數(shù)據(jù)
# print(page_txt)
# 存儲(chǔ)
with open("./sougou.html", "w", encoding = "utf-8") as fp:
fp.write(page_txt)
print("爬取數(shù)據(jù)結(jié)束！??！")
我們打開保存的文件，如圖
歐克，這就是最基本的爬取，如果學(xué)會(huì)了，那就試一試爬取 B站 的首頁吧。
到此這篇關(guān)于Python爬蟲基礎(chǔ)之requestes模塊的文章就介紹到這了,更多相關(guān)Python requestes模塊內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了Python?圖形繪制詳細(xì)代碼，文章主要從最簡(jiǎn)單圖像的開始，在同一圖上繪制兩條或多條線一些簡(jiǎn)單操作,想了解的小伙伴可以學(xué)習(xí)一下，希望對(duì)你的學(xué)習(xí)有所幫助2021-12-12
使用Python處理PPT文件通常需要使用第三方庫來簡(jiǎn)化對(duì)PPT文件的讀取、寫入和修改操作,本文將給大家介紹一個(gè)小案例,使用Python批量生成PPT版榮譽(yù)證書,感興趣的同學(xué)跟著小編一起來看看吧2023-08-08
scrapy中如何設(shè)置應(yīng)用cookies的方法(3種)
這篇文章主要介紹了scrapy中如何設(shè)置應(yīng)用cookies的方法(3種)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
字符串駐留機(jī)制是Python針對(duì)字符串對(duì)象采取的一種內(nèi)存優(yōu)化技術(shù)。其目標(biāo)是減少內(nèi)存使用并提高程序的性能。這篇文章主要介紹了字符串駐留機(jī)制的簡(jiǎn)單應(yīng)用，需要的可以參考一下2023-04-04
python進(jìn)階教程之循環(huán)相關(guān)函數(shù)range、enumerate、zip
這篇文章主要介紹了python進(jìn)階教程之循環(huán)相關(guān)函數(shù)range、enumerate、zip,在使用循環(huán)程序經(jīng)常要配合這些函數(shù)來完成循環(huán),需要的朋友可以參考下2014-08-08
缺失值是指粗糙數(shù)據(jù)中由于缺少信息而造成的數(shù)據(jù)的聚類、分組、刪失或截?cái)?下面這篇文章主要給大家介紹了關(guān)于Python處理缺失值的8種不同方法,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-06-06
本文主要為沒有使用正則表達(dá)式經(jīng)驗(yàn)的新手入門所寫。由淺入深介紹了Python 正則表達(dá)式，有需要的朋友可以看下2016-12-12
Python使用BeautifulSoup和Scrapy抓取網(wǎng)頁數(shù)據(jù)的具體教程
在當(dāng)今信息爆炸的時(shí)代,數(shù)據(jù)無處不在,如何有效地抓取、處理和分析這些數(shù)據(jù)成為了許多開發(fā)者和數(shù)據(jù)科學(xué)家的必修課,本篇博客將深入探討如何使用Python中的兩個(gè)強(qiáng)大工具：BeautifulSoup和Scrapy來抓取網(wǎng)頁數(shù)據(jù),需要的朋友可以參考下2025-01-01
使用Python實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備配置備份與恢復(fù)
網(wǎng)絡(luò)設(shè)備配置備份與恢復(fù)在網(wǎng)絡(luò)安全管理中起著至關(guān)重要的作用,本文為大家介紹了如何通過Python實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備配置備份與恢復(fù),需要的可以參考下2025-03-03
PyTorch之torch.matmul函數(shù)的使用及說明
PyTorch的torch.matmul是一個(gè)強(qiáng)大的矩陣乘法函數(shù)，支持不同維度張量的乘法運(yùn)算，包括廣播機(jī)制。提供了矩陣乘法的語法，參數(shù)說明，以及使用示例，幫助理解其應(yīng)用方式和乘法規(guī)則2024-09-09