Python實(shí)戰(zhàn)練習(xí)之終于對(duì)肯德基下手
準(zhǔn)備工作
查看肯德基官網(wǎng)的請(qǐng)求方法：post請(qǐng)求。
X-Requested-With: XMLHttpRequest 判斷得肯德基官網(wǎng)是ajax請(qǐng)求
通過(guò)這兩個(gè)準(zhǔn)備步驟，明確本次爬蟲(chóng)目標(biāo)：
ajax的post請(qǐng)求肯德基官網(wǎng) 獲取上?？系禄攸c(diǎn)前10頁(yè)。
分析
獲取上海肯德基地點(diǎn)前10頁(yè)，那就需要先對(duì)每頁(yè)的url進(jìn)行分析。
第一頁(yè)
# page1 # http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname # POST # cname: 上海 # pid: # pageIndex: 1 # pageSize: 10
第二頁(yè)
# page2 # http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname # POST # cname: 上海 # pid: # pageIndex: 2 # pageSize: 10
第三頁(yè)依次類(lèi)推。
程序入口
首先回顧urllib爬取的基本操作：
# 使用urllib獲取百度首頁(yè)的源碼
import urllib.request
# 1.定義一個(gè)url，就是你要訪問(wèn)的地址
url = 'http://www.baidu.com'
# 2.模擬瀏覽器向服務(wù)器發(fā)送請(qǐng)求 response響應(yīng)
response = urllib.request.urlopen(url)
# 3.獲取響應(yīng)中的頁(yè)面的源碼 content內(nèi)容
# read方法 返回的是字節(jié)形式的二進(jìn)制數(shù)據(jù)
# 將二進(jìn)制數(shù)據(jù)轉(zhuǎn)換為字符串
# 二進(jìn)制-->字符串 解碼 decode方法
content = response.read().decode('utf-8')
# 4.打印數(shù)據(jù)
print(content)
- 定義一個(gè)url，就是你要訪問(wèn)的地址
- 模擬瀏覽器向服務(wù)器發(fā)送請(qǐng)求 response響應(yīng)
- 獲取響應(yīng)中的頁(yè)面的源碼 content內(nèi)容
if __name__ == '__main__':
start_page = int(input('請(qǐng)輸入起始頁(yè)碼: '))
end_page = int(input('請(qǐng)輸入結(jié)束頁(yè)碼: '))
for page in range(start_page, end_page+1):
# 請(qǐng)求對(duì)象的定制
request = create_request(page)
# 獲取網(wǎng)頁(yè)源碼
content = get_content(request)
# 下載數(shù)據(jù)
down_load(page, content)
對(duì)應(yīng)的，我們?cè)谥骱瘮?shù)中也類(lèi)似聲明方法。
url組成數(shù)據(jù)定位
爬蟲(chóng)的關(guān)鍵在于找接口。對(duì)于這個(gè)案例，在預(yù)覽頁(yè)可以找到頁(yè)面對(duì)應(yīng)的json數(shù)據(jù)，說(shuō)明這是我們要的數(shù)據(jù)。
構(gòu)造url
不難發(fā)現(xiàn)，肯德基官網(wǎng)的url的一個(gè)共同點(diǎn)，我們把它保存為base_url。
base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
參數(shù)
老樣子，找規(guī)律，只有'pageIndex'和頁(yè)碼有關(guān)。
data = {
'cname': '上海',
'pid': '',
'pageIndex': page,
'pageSize': '10'
}
post請(qǐng)求
- post請(qǐng)求的參數(shù) 必須要進(jìn)行編碼
data = urllib.parse.urlencode(data).encode('utf-8')
- 編碼之后必須調(diào)用encode方法
- 參數(shù)放在請(qǐng)求對(duì)象定制的方法中：post的請(qǐng)求的參數(shù)，是不會(huì)拼接在url后面的，而是放在請(qǐng)求對(duì)象定制的參數(shù)中
所以將data進(jìn)行編碼
data = urllib.parse.urlencode(data).encode('utf-8')
標(biāo)頭獲?。ǚ乐狗磁赖囊环N手段）
即 響應(yīng)頭中UA部分。
User Agent，用戶代理，特殊字符串頭，使得服務(wù)器能夠識(shí)別客戶使用的操作系統(tǒng)及版本，CPU類(lèi)型，瀏覽器及版本，瀏覽器內(nèi)核，瀏覽器渲染引擎，瀏覽器語(yǔ)言，瀏覽器插件等。
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38'
}
請(qǐng)求對(duì)象定制
參數(shù)，base_url，請(qǐng)求頭都準(zhǔn)備得當(dāng)后，就可以進(jìn)行請(qǐng)求對(duì)象定制了。
request = urllib.request.Request(base_url, headers=headers, data=data)
獲取網(wǎng)頁(yè)源碼
把request請(qǐng)求作為參數(shù)，模擬瀏覽器向服務(wù)器發(fā)送請(qǐng)求 獲得response響應(yīng)。
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
獲取響應(yīng)中的頁(yè)面的源碼，下載數(shù)據(jù)
使用 read()方法，得到字節(jié)形式的二進(jìn)制數(shù)據(jù)，需要使用 decode進(jìn)行解碼，轉(zhuǎn)換為字符串。
content = response.read().decode('utf-8')
然后我們將下載得到的數(shù)據(jù)寫(xiě)進(jìn)文件，使用 with open() as fp 的語(yǔ)法，系統(tǒng)自動(dòng)關(guān)閉文件。
def down_load(page, content):
with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp:
fp.write(content)
全部代碼
# ajax的post請(qǐng)求肯德基官網(wǎng) 獲取上?？系禄攸c(diǎn)前10頁(yè)
# page1
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 1
# pageSize: 10
# page2
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 2
# pageSize: 10
import urllib.request, urllib.parse
def create_request(page):
base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
data = {
'cname': '上海',
'pid': '',
'pageIndex': page,
'pageSize': '10'
}
data = urllib.parse.urlencode(data).encode('utf-8')
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38'
}
request = urllib.request.Request(base_url, headers=headers, data=data)
return request
def get_content(request):
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
return content
def down_load(page, content):
with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp:
fp.write(content)
if __name__ == '__main__':
start_page = int(input('請(qǐng)輸入起始頁(yè)碼: '))
end_page = int(input('請(qǐng)輸入結(jié)束頁(yè)碼: '))
for page in range(start_page, end_page+1):
# 請(qǐng)求對(duì)象的定制
request = create_request(page)
# 獲取網(wǎng)頁(yè)源碼
content = get_content(request)
# 下載數(shù)據(jù)
down_load(page, content)
爬取后結(jié)果
鞠躬?。。∑鋵?shí)還爬過(guò)Lisa的照片，想看爬蟲(chóng)代碼的歡迎留言 ！?。?/p>
到此這篇關(guān)于Python實(shí)戰(zhàn)練習(xí)之終于對(duì)肯德基下手的文章就介紹到這了,更多相關(guān)Python 肯德基官網(wǎng)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- 100 個(gè) Python 小例子（練習(xí)題一）
- python實(shí)戰(zhàn)練習(xí)做一個(gè)隨機(jī)點(diǎn)名的程序
- python小練習(xí)之爬魷魚(yú)游戲的評(píng)價(jià)生成詞云
- 趣味Python實(shí)戰(zhàn)練習(xí)之自動(dòng)更換桌面壁紙腳本附源碼
- Python爬蟲(chóng)小練習(xí)之爬取并分析騰訊視頻m3u8格式
- Python強(qiáng)化練習(xí)之Tensorflow2 opp算法實(shí)現(xiàn)月球登陸器
- Python強(qiáng)化練習(xí)之PyTorch opp算法實(shí)現(xiàn)月球登陸器
- python小白練習(xí)題之條件控制與循環(huán)控制
- python實(shí)例小練習(xí)之Turtle繪制南方的雪花
- 100 個(gè) Python 小例子（練習(xí)題二）
相關(guān)文章
python中列表添加元素的幾種方式(+、append()、extend())
本文主要介紹了python中列表添加元素的幾種方式(+、append()、extend())，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08
使用Pandas的ExcelWriter操作excel的方法
這篇文章主要介紹了使用Pandas的ExcelWriter操作excel的方法,ExcelWriter這個(gè)插件有個(gè)坑,就是已經(jīng)設(shè)置好的格式是無(wú)法更改的,因此,由pandas轉(zhuǎn)成excel的時(shí)候,必須將格式清除,尤其是表頭的格式需要大家多多注意,本文結(jié)合示例代碼講解的非常詳細(xì),需要的朋友參考下吧2023-11-11
這篇文章主要為大家介紹了如何使用pip安裝清華大學(xué)鏡像源步驟詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-10-10
使用Python編寫(xiě)一個(gè)桌面便簽應(yīng)用
ChatGPT的編程能力也不差，本文將一步一步提出要求，讓ChatGPT根據(jù)我們的要求，編寫(xiě)出一個(gè)可用的，可打包運(yùn)行的桌面便簽，感興趣的可以了解一下2023-06-06
pytorch中nn.Flatten()函數(shù)詳解及示例
nn.Flatten是一個(gè)類(lèi),而torch.flatten()則是一個(gè)函數(shù),下面這篇文章主要給大家介紹了關(guān)于pytorch中nn.Flatten()函數(shù)詳解及示例的相關(guān)資料,需要的朋友可以參考下2023-01-01
通過(guò)實(shí)例了解Python異常處理機(jī)制底層實(shí)現(xiàn)
這篇文章主要介紹了通過(guò)實(shí)例了解Python異常處理機(jī)制底層實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07
基于Python編寫(xiě)windows電腦用戶操作記錄查看器
這篇文章主要為大家詳細(xì)介紹了如何基于Python編寫(xiě)一個(gè)windows電腦用戶操作記錄查看器,可以讀取系統(tǒng)現(xiàn)有的日志記錄用戶,感興趣的小伙伴可以了解下2025-02-02
我們開(kāi)發(fā)的系統(tǒng)往往都離不開(kāi)信息的處理,這些信息有的內(nèi)容非常敏感,就需要過(guò)濾掉不容許出現(xiàn)，2022-07-07
Python數(shù)據(jù)可視化實(shí)現(xiàn)多種圖例代碼詳解
這篇文章主要介紹了Python數(shù)據(jù)可視化實(shí)現(xiàn)多種圖例代碼詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07
Python 包含漢字的文件讀寫(xiě)之每行末尾加上特定字符
這篇文章主要介紹了Python 包含漢字的文件讀寫(xiě)之每行末尾加上特定字符的相關(guān)資料,需非常不錯(cuò)，具有參考借鑒價(jià)值，要的朋友可以參考下2016-12-12