常見的協(xié)議

http和https
http協(xié)議：
超文本傳輸協(xié)議，是一個(gè)發(fā)布和接受HTML頁面的方法，端口是80

https 協(xié)議：http協(xié)議的加密版本，在HTTP下加上了ssl層，端口是443

下面訪問的是美團(tuán)的官網(wǎng)：
可以看到端口是443

URL和RUI

常見的請求方式

http協(xié)議規(guī)定了瀏覽器與服務(wù)器進(jìn)行數(shù)據(jù)交互過程中必須要選擇一種交互方式
在http協(xié)議中定義了8中請求方式，常見的是get和post請求

get請求： 一般只從服務(wù)器獲取數(shù)據(jù)下來，并不會對服務(wù)器資源產(chǎn)生任何的影響。

請求的時(shí)候關(guān)注：

url請求方式請求頭

post請求： 向服務(wù)器發(fā)送數(shù)據(jù)（登陸），上傳文件等，會對服務(wù)器資源產(chǎn)生影響的時(shí)候，會使用post請求。

不過有些網(wǎng)站做了反爬蟲機(jī)制，你去查看信息，也是使用post請求，所以我們寫爬蟲的時(shí)候，一定要分析網(wǎng)站。

常見的請求頭參數(shù)：

http協(xié)議中，向服務(wù)器發(fā)送一個(gè)請求，數(shù)據(jù)分為三部分：

• 把數(shù)據(jù)放在url中
• 數(shù)據(jù)放在body中，（post請求）
• 數(shù)據(jù)放在head中

常見的請求頭參數(shù)：

• user-agent :瀏覽器名稱
• referer: 當(dāng)前這個(gè)請求從哪個(gè)url過來的
• cookie:http 協(xié)議是無狀態(tài)的，也就是一個(gè)人發(fā)送了兩次請求，服務(wù)器沒有能力知道這兩個(gè)請求是否來自同一個(gè)人。

常見的相應(yīng)狀態(tài)碼

•  200 請求正常，服務(wù)器正常返回?cái)?shù)據(jù)
• 301 永久重定向
• 404 請求的url在服務(wù)器上找不到
• 418 發(fā)送請求遇到服務(wù)器端的反爬蟲，服務(wù)器拒絕相應(yīng)數(shù)據(jù)
• 500 服務(wù)器內(nèi)部錯(cuò)誤，可能是服務(wù)器出現(xiàn)了bug

HTTP的請求相應(yīng)過程

使用瀏覽器進(jìn)行網(wǎng)站分析

我們要分析的網(wǎng)站為： movie.douban.com

• Elements： 用于分析網(wǎng)站的結(jié)構(gòu)

在頁面上的呈現(xiàn)的內(nèi)容，在Elements都會有相應(yīng)的元素。

• Console: 這里會打印招聘信息，警告等等。

• Sources
• Network ： 在顯示頁面的時(shí)候，產(chǎn)生的所有請求

headers 頭部信息

 session 與cookie

session代表的是服務(wù)器和瀏覽器的一次會話過程
session 是一種服務(wù)器端的機(jī)制，用來存儲特定用戶的會話所需要的信息，保存在內(nèi)存，緩存，或者數(shù)據(jù)庫中。

cookie
cooke是由服務(wù)器端生成后發(fā)送給客戶端，cookie是保存在客戶端的

cookie原理：
1） 創(chuàng)建cookie
2) 設(shè)置存儲cookie
3) 發(fā)送cookie
4) 讀取cookie

到此這篇關(guān)于學(xué)習(xí)Python爬蟲前,需要先掌握哪些知識內(nèi)容的文章就介紹到這了,更多相關(guān)學(xué)習(xí)Python爬蟲掌握知識內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論