Python3爬蟲爬取百姓網(wǎng)列表并保存為json功能示例【基于request、lxml和json模塊】

更新時間：2018年12月05日 10:59:01 作者：包子源

這篇文章主要介紹了Python3爬蟲爬取百姓網(wǎng)列表并保存為json功能,涉及Python基于request、lxml和json模塊的Request請求與響應數(shù)據(jù)處理相關操作技巧,需要的朋友可以參考下

本文實例講述了Python3爬蟲爬取百姓網(wǎng)列表并保存為json功能。分享給大家供大家參考，具體如下：

python3爬蟲之爬取百姓網(wǎng)列表并保存為json文件。這幾天一直在學習使用python3爬取數(shù)據(jù)，今天記錄一下，代碼很簡單很容易上手。

首先需要安裝python3。如果還沒有安裝，可參考本站python3安裝與配置相關文章。

首先需要安裝requests和lxml和json三個模塊

需要手動創(chuàng)建d.json文件

代碼

import requests
from lxml import etree
import json
#構(gòu)造頭文件，模擬瀏覽器訪問
url="http://xian.baixing.com/meirongfuwu/"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36','referer':url}
response=requests.get(url,headers=headers)
body=response.text #獲取網(wǎng)頁內(nèi)容
html=etree.HTML(body,etree.HTMLParser())
gethtml=html.xpath('//div[contains(@class,"media-body-title")]')
# 存儲為數(shù)組list
jsondata = []
for item in gethtml:
  jsonone={}
  jsonone['title']=item.xpath('.//a[contains(@class,"ad-title")]/text()')[0]
  jsonone['url']=item.xpath('.//a[contains(@class,"ad-title")]/attribute::href')[0]
  jsonone['phone']=item.xpath('.//button[contains(@class,"contact-button")]/attribute::data-contact')[0]
  jsondata.append(jsonone)
# 保存為json
with open("./d.json",'w',encoding='utf-8') as json_file:
  json.dump(jsondata,json_file,ensure_ascii=False)

結(jié)果

PS：這里再為大家推薦幾款比較實用的json在線工具供大家參考使用：

在線JSON代碼檢驗、檢驗、美化、格式化工具：
http://tools.jb51.net/code/json

JSON在線格式化工具：
http://tools.jb51.net/code/jsonformat

在線XML/JSON互相轉(zhuǎn)換工具：
http://tools.jb51.net/code/xmljson

json代碼在線格式化/美化/壓縮/編輯/轉(zhuǎn)換工具：
http://tools.jb51.net/code/jsoncodeformat

在線json壓縮/轉(zhuǎn)義工具：
http://tools.jb51.net/code/json_yasuo_trans

希望本文所述對大家Python程序設計有所幫助。

您可能感興趣的文章:

python中用ctypes模擬點擊的實例講解
在本篇文章里小編給各位整理了一篇關于python中用ctypes模擬點擊的實例講解內(nèi)容，需要的朋友可以參考學習下。
2020-11-11
自己用python做的一款超炫酷音樂播放器
這篇文章主要介紹了自己用python做的一款超炫酷音樂播放器，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2021-08-08
基于Python和TFIDF實現(xiàn)提取文本中的關鍵詞
TFIDF 的工作原理是按比例增加一個詞語在文檔中出現(xiàn)的次數(shù)，但會被它所在的文檔數(shù)量抵消。本文將利用TFIDF實現(xiàn)提取文本中的關鍵詞，感興趣的小伙伴快跟隨小編一起學習一下吧
2022-04-04
Python變量基礎知識
這篇文章主要介紹Python變量的基礎知識，圍繞Python變量相關知識點展開,需要的朋友可以參考下面文章的具體內(nèi)容
2021-10-10
解決遇到:PytorchStreamReader failed reading zip&n
本文針對"PytorchStreamReaderfailedreadingziparchive:failedfindingcentral"錯誤提出解決方案,包括檢查文件完整性、文件路徑,嘗試更新PyTorch版本,檢查壓縮文件格式,代碼問題,或?qū)で蠹夹g支持等,希望這些經(jīng)驗能給遇到同樣問題的人一個參考
2024-09-09
這篇文章主要介紹了python主線程與子線程的結(jié)束順序?qū)嵗馕?文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2019-12-12