快捷導(dǎo)航

Python使用jsonpath-rw模塊處理Json對象操作示例

更新時間：2018年07月31日 14:17:45 作者：站在兩個世界的邊緣

這篇文章主要介紹了Python使用jsonpath-rw模塊處理Json對象操作,結(jié)合實(shí)例形式分析了Python使用requests與response處理json的方法,并給出了jsonpath_rw模塊操作json對象的基本示例,需要的朋友可以參考下

本文實(shí)例講述了Python使用jsonpath-rw模塊處理Json對象操作。分享給大家供大家參考，具體如下：

這兩天在寫一個爬蟲，需要從網(wǎng)站返回的json數(shù)據(jù)提取一些有用的數(shù)據(jù)。

向url發(fā)起請求，返回的是response，在python3中，response.content是二進(jìn)制bytes類型的，需要用decode()轉(zhuǎn)成unicode的str類型

#如果用的requests發(fā)的請求
import json
response = requests.get(url,headers=self.headers)
response = response.content.decode()
response = json.loads(response) #轉(zhuǎn)成json對象，在python里也就是dict類型

#如果用的scrapy.Request發(fā)的請求
import json
import scrapy
response = scrapy.Request(url,headers=self.headers)
response = response.text.decode()
response = json.loads(response) #轉(zhuǎn)成json對象，在python里也就是dict類型

也就是說處理json對象其實(shí)可以和處理dict一樣，那就要用到很多中括號，而且取值也只能取單個精確的值。一點(diǎn)都不靈活

用過xpath和css選擇器的人當(dāng)然會覺得這種方法很笨重。

而恰巧json也有類型的選擇器：jsonpath

但是需要注意的是，python的庫并不是jsonpath（還真有這個庫，但是不知如何使用，官方也沒有給出python的使用文檔），真正在python中可以使用的庫是:jsonpath-rw

官方文檔：https://pypi.python.org/pypi/jsonpath-rw （更多jsonpath的語法請點(diǎn)擊鏈接）

下面只列下簡單常用的基本方法

使用示例

>>> from jsonpath_rw import jsonpath, parse
>>> json_obj = {"student":[{"male":176,"female":162},{"male":174,"female":159}]}
>>> jsonpath_expr = parse("student[*].male")
>>> male = jsonpath_expr.find(json_obj)
>>> male #返回的是list,但是不是我們想要的值
[DatumInContext(value=176, path=Fields('male'), context=DatumInContext(value={'male': 176, 'female': 162}, path=<jsonpath_rw.jsonpath.Index object at 0x000001C6B95109B0>, context=DatumInContext(value=[{'male': 176, 'female': 162}, {'male': 174, 'female': 159}], path=Fields('student'), context=DatumInContext(value={'student': [{'male': 176, 'female': 162}, {'male': 174, 'female': 159}]}, path=This(), context=None)))), DatumInContext(value=174, path=Fields('male'), context=DatumInContext(value={'male': 174, 'female': 159}, path=<jsonpath_rw.jsonpath.Index object at 0x000001C6B9510588>, context=DatumInContext(value=[{'male': 176, 'female': 162}, {'male': 174, 'female': 159}], path=Fields('student'), context=DatumInContext(value={'student': [{'male': 176, 'female': 162}, {'male': 174, 'female': 159}]}, path=This(), context=None))))]
#想要獲取值，要用如下方法
>>> [match.value for match in male]
[176, 174]

PS：這里再為大家推薦幾款比較實(shí)用的json在線工具供大家參考使用：

在線JSON代碼檢驗(yàn)、檢驗(yàn)、美化、格式化工具：
http://tools.jb51.net/code/json

JSON在線格式化工具：
http://tools.jb51.net/code/jsonformat

在線XML/JSON互相轉(zhuǎn)換工具：
http://tools.jb51.net/code/xmljson

json代碼在線格式化/美化/壓縮/編輯/轉(zhuǎn)換工具：
http://tools.jb51.net/code/jsoncodeformat

在線json壓縮/轉(zhuǎn)義工具：
http://tools.jb51.net/code/json_yasuo_trans

更多Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題：《Python操作json技巧總結(jié)》、《Python編碼操作技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章: