最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python 解析庫json及jsonpath pickle的實現(xiàn)

 更新時間:2020年08月17日 10:51:14   作者:Amo Xiang  
這篇文章主要介紹了Python 解析庫json及jsonpath pickle的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧

1. 數據抽取的概念

2. 數據的分類

3. JSON數據概述及解析

3.1 JSON數據格式

3.2 解析庫json

json模塊是Python內置標準庫,主要可以完成兩個功能:序列化和反序列化。JSON對象和Python對象映射圖如下:

3.2.1 json序列化

對象(字典/列表) 通過 json.dump()/json.dumps() ==> json字符串。示例代碼如下:

import json
class Phone(object):
 def __init__(self, name, price):
  self.name = name
  self.price = price

class Default(json.JSONEncoder):
 def default(self, o):
  print(o) # o: <__main__.Phone object at 0x10aa52c90>
  return [o.name, o.price]

def parse(obj):
 print(obj)
 return {"name": obj.name, "price": obj.price}

person_info_dict = {
 "name": "Amo",
 "age": 18,
 "is_boy": True,
 # "n": float("nan"), # float("nan"):NaN float("inf")=>Infinity float("-inf")=>-Infinity
 "phone": Phone("蘋果8plus", 6458),
 "hobby": ("sing", "dance"),
 "dog": {
  "name": "藏獒",
  "age": 5,
  "color": "棕色",
  "isVIP": True,
  "child": None
 },
}

"""
obj:需要序列化的對象 字典/列表 這里指的是person_info_dict
indent: 縮進 單位: 字符
sort_keys: 是否按key排序 默認是False不排序
cls: json.JSONEncoder子類 處理不能序列化的對象
ensure_ascii: 是否確保ascii編碼 默認是True確保 "蘋果8plus"==>"\u82f9\u679c8plus" 所以改為False
default: 對象不能被序列化時,調用對應的函數解析
"""

# 將結果返回給一個變量
result = json.dumps(person_info_dict,
     indent=2,
     sort_keys=True,
     ensure_ascii=False,
     # cls=Default,
     default=parse,
     # allow_nan=False 是否處理特殊常量值
     # 默認為True 但是JSON標準規(guī)范不支持NaN, Infinity和-Infinity
     )
print(result)
with open("dump.json", "w", encoding="utf8") as file:
 # json.dump是將序列化后的內容存儲到文件中 其他參數用法和dumps一致
 json.dump(person_info_dict, file, indent=4, ensure_ascii=False, default=parse)

3.2.2 json反序列化

json字符串通過json.load()/json.loads()==> 對象(字典/列表),示例代碼如下:

import json
class Phone(object):
 def __init__(self, name, price):
  self.name = name
  self.price = price

def pi(num):
 return int(num) + 1

def oh(dic):
 if "price" in dic.keys():
  return Phone(dic["name"], dic["price"])
 return dic

def oph(*args, **kwargs):
 print(*args, **kwargs)

# 我自己本地有一個dump.json文件
with open("dump.json", "r", encoding="utf8") as file:
 # content = file.read()
 # parse_int/float: 整數/浮點數鉤子函數
 # object_hook: 對象解析鉤子函數 將字典轉為特定對象 傳遞給函數的是字典對象
 # object_pairs_hook: 轉化為特定對象 傳遞的是元組列表
 # parse_constant: 常量鉤子函數 NaN/Infinity/-Infinity
 # result = json.loads(content, object_hook=oh, parse_int=pi, object_pairs_hook=oph)
 result = json.load(file, parse_int=pi, object_hook=oh) # 直接將文件對象傳入
 print(type(result)) # <class 'dict'>
 print(result)

4. jsonpath

jsonpath三方庫,點擊這里這里進入官網,通過路徑表達式,來快速獲取字典當中的指定數據,靈感來自xpath表達式。命令安裝:

pip install --user -i http://pypi.douban.com/simple --trusted-host pypi.douban.com jsonpath

或者:

4.1 使用

語法格式如下:

from jsonpath import jsonpath
dic = {....} # 要找數據的字典
jsonpath(dic, 表達式)

常用的表達式語法如下:

JSONPath 描述
$ 根節(jié)點(假定的外部對象,可以理解為上方的dic)
@ 現(xiàn)行節(jié)點(當前對象)
.或者[] 取子節(jié)點(子對象)
.. 就是不管位置,選擇所有符合條件的節(jié)點(后代對象)
* 匹配所有元素節(jié)點
[] 迭代集合,謂詞條件,下標
[,] 多選
?() 支持過濾操作
() 支持表達式操作
[start: end : step] 切片

4.2 使用示例

案例一用到的字典如下:

dic = {
 "person": {
  "name": "Amo",
  "age": 18,
  "dog": [{
   "name": "小花",
   "color": "red",
   "age": 6,
   "isVIP": True
  },
   {
    "name": "小黑",
    "color": "black",
    "age": 2
   }]
 }
}

將上述抽象成一個樹形結構如圖所示:


需求及結果如下:

JSONPath Result
$.person.age 獲取人的年齡
$..dog[1].age 獲取第2個小狗的年齡
$..dog[0,1].age | $..dog[*].age 獲取所有小狗的年齡
$..dog[?(@.isVIP)] 獲取是VIP的小狗
$..dog[?(@.age>2)] 獲取年齡大于2的小狗
$..dog[-1:] | $..dog[(@.length-1)] 獲取最后一個小狗

代碼如下:

from jsonpath import jsonpath

dic = {
 "person": {
  "name": "Amo",
  "age": 18,
  "dog": [{
   "name": "小花",
   "color": "red",
   "age": 6,
   "isVIP": True
  },
   {
    "name": "小黑",
    "color": "black",
    "age": 2
   }]
 }
}

# 1.獲取人的年齡
print(jsonpath(dic, "$.person.age")) # 獲取到數據返回一個列表 否則返回False
# 2.獲取第2個小狗的年齡
print(jsonpath(dic, "$..dog[1].age"))
# 3.獲取所有小狗的年齡
print(jsonpath(dic, "$..dog[0,1].age"))
print(jsonpath(dic, "$..dog[*].age"))
# 4.獲取是VIP的小狗
print(jsonpath(dic, "$..dog[?(@.isVIP)]"))
# 5.獲取年齡大于2的小狗
print(jsonpath(dic, "$..dog[?(@.age>2)]"))
# 6.獲取最后一個小狗
print(jsonpath(dic, "$..dog[-1:]"))
print(jsonpath(dic, "$..dog[(@.length-1)]"))

上述代碼執(zhí)行結果如下:


案例二用到的字典如下:

book_dict = {
 "store": {
  "book": [
   {"category": "reference",
    "author": "Nigel Rees",
    "title": "Sayings of the Century",
    "price": 8.95
    },
   {"category": "fiction",
    "author": "Evelyn Waugh",
    "title": "Sword of Honour",
    "price": 12.99
    },
   {"category": "fiction",
    "author": "Herman Melville",
    "title": "Moby Dick",
    "isbn": "0-553-21311-3",
    "price": 8.99
    },
   {"category": "fiction",
    "author": "J. R. R. Tolkien",
    "title": "The Lord of the Rings",
    "isbn": "0-395-19395-8",
    "price": 22.99
    }
  ],
  "bicycle": {
   "color": "red",
   "price": 19.95
  }
 }
}

將上述抽象成一個樹形結構如圖所示:


需求及結果如下:

JSONPath Result
$.store.book[*].author store中的所有的book的作者
$.store[*] store下的所有的元素
$..price store中的所有的內容的價格
$..book[2] 第三本書
$..book[(@.length-1)] 最后一本書
$..book[0:2] 前兩本書
$.store.book[?(@.isbn)] 獲取有isbn的所有書
$.store.book[?(@.price>10)] 獲取價格大于10的所有的書
$..* 獲取所有的數據

代碼如下:

from jsonpath import jsonpath

book_dict = {
 "store": {
  "book": [
   {"category": "reference",
    "author": "Nigel Rees",
    "title": "Sayings of the Century",
    "price": 8.95
    },
   {"category": "fiction",
    "author": "Evelyn Waugh",
    "title": "Sword of Honour",
    "price": 12.99
    },
   {"category": "fiction",
    "author": "Herman Melville",
    "title": "Moby Dick",
    "isbn": "0-553-21311-3",
    "price": 8.99
    },
   {"category": "fiction",
    "author": "J. R. R. Tolkien",
    "title": "The Lord of the Rings",
    "isbn": "0-395-19395-8",
    "price": 22.99
    }
  ],
  "bicycle": {
   "color": "red",
   "price": 19.95
  }
 }
}
# 1.store中的所有的book的作者
print(jsonpath(book_dict, "$.store.book[*].author"))
print(jsonpath(book_dict, "$..author"))
# 2.store下的所有的元素
print(jsonpath(book_dict, "$.store[*]"))
print(jsonpath(book_dict, "$.store.*"))
# 3.store中的所有的內容的價格
print(jsonpath(book_dict, "$..price"))
# 4.第三本書
print(jsonpath(book_dict, "$..book[2]"))
# 5.最后一本書
print(jsonpath(book_dict, "$..book[-1:]"))
print(jsonpath(book_dict, "$..book[(@.length-1)]"))
# 6.前兩本書
print(jsonpath(book_dict, "$..book[0:2]"))
# 7.獲取有isbn的所有書
print(jsonpath(book_dict, "$.store.book[?(@.isbn)]"))
# 8.獲取價格大于10的所有的書
print(jsonpath(book_dict, "$.store.book[?(@.price>10)]"))
# 9.獲取所有的數據
print(jsonpath(book_dict, "$..*"))

5. Python專用JSON解析庫pickle

pickle處理的json對象不通用,可以額外的把函數給序列化。示例代碼如下:

import pickle

def eat():
 print("Amo在努力地寫博客~")

person_info_dict = {
 "name": "Amo",
 "age": 18,
 "eat": eat
}

# print(pickle.dumps(person_info_dict))
with open("pickle_json", "wb") as file:
 pickle.dump(person_info_dict, file)

with open("pickle_json", "rb") as file:
 result = pickle.load(file)
 result["eat"]()

JsonPath與XPath語法對比:

Json結構清晰,可讀性高,復雜度低,非常容易匹配,下表中對應了XPath的用法。

XPath JSONPath 描述
/ $ 根節(jié)點
. @ 現(xiàn)行節(jié)點
/ .or[] 取子節(jié)點
.. n/a 取父節(jié)點,Jsonpath未支持
// .. 就是不管位置,選擇所有符合條件的條件
* * 匹配所有元素節(jié)點
@ n/a 根據屬性訪問,Json不支持,因為Json是個Key-value遞歸結構,不需要。
[] [] 迭代器標示(可以在里邊做簡單的迭代操作,如數組下標,根據內容選值等)
| [,] 支持迭代器中做多選。
[] ?() 支持過濾操作.
n/a () 支持表達式計算
() n/a 分組,JsonPath不支持

到此這篇關于Python 解析庫json及jsonpath pickle的實現(xiàn)的文章就介紹到這了,更多相關Python 解析庫json及jsonpath pickle內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • python+mongodb數據抓取詳細介紹

    python+mongodb數據抓取詳細介紹

    這篇文章主要介紹了python+mongodb數據抓取詳細介紹,具有一定參考價值,需要的朋友可以了解下。
    2017-10-10
  • Python 取numpy數組的某幾行某幾列方法

    Python 取numpy數組的某幾行某幾列方法

    這篇文章主要介紹了Python 取numpy數組的某幾行某幾列方法,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2019-10-10
  • 詳解Python如何實現(xiàn)Excel數據讀取和寫入

    詳解Python如何實現(xiàn)Excel數據讀取和寫入

    這篇文章主要為大家詳細介紹了python如何實現(xiàn)對EXCEL數據進行讀取和寫入,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2022-04-04
  • Python實現(xiàn)的擬合二元一次函數功能示例【基于scipy模塊】

    Python實現(xiàn)的擬合二元一次函數功能示例【基于scipy模塊】

    這篇文章主要介紹了Python實現(xiàn)的擬合二元一次函數功能,結合實例形式分析了Python基于scipy模塊進行二元一次函數擬合相關科學運算操作實現(xiàn)技巧,需要的朋友可以參考下
    2018-05-05
  • python爬取微信公眾號文章圖片并轉為PDF

    python爬取微信公眾號文章圖片并轉為PDF

    大家好,本篇文章主要講的是python爬取微信公眾號文章圖片并轉為PDF,感興趣的同學趕快來看一看吧,對你有幫助的話記得收藏一下
    2022-02-02
  • python加載DLL時出錯的解決

    python加載DLL時出錯的解決

    在Python中加載外部DLL文件時,常見的錯誤是OSError,本文就來介紹一下,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2024-12-12
  • 關于python如何生成exe文件

    關于python如何生成exe文件

    這篇文章主要介紹了關于python如何生成exe文件,exe全稱“executable”,中文意思為“可執(zhí)行的”,是一種文件格式,是指一種可在操作系統(tǒng)存儲空間中浮動定位的可執(zhí)行程序,需要的朋友可以參考下
    2023-04-04
  • OpenCV哈里斯角檢測|Harris?Corner理論實踐

    OpenCV哈里斯角檢測|Harris?Corner理論實踐

    這篇文章主要為大家介紹了OpenCV哈里斯角檢測|Harris?Corner理論實踐,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2023-04-04
  • 解決python mysql insert語句的問題

    解決python mysql insert語句的問題

    這篇文章主要介紹了解決python mysql insert語句的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-03-03
  • flask后端request獲取參數的幾種方式整理

    flask后端request獲取參數的幾種方式整理

    這篇文章主要為大家介紹了flask后端request獲取參數的幾種方式整理,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-06-06

最新評論

滦平县| 阿尔山市| 青铜峡市| 榕江县| 洱源县| 白沙| 东光县| 综艺| 汝城县| 会昌县| 思茅市| 休宁县| 杭锦旗| 永宁县| 安陆市| 娱乐| 赣州市| 澄城县| 平果县| 金乡县| 沙河市| 孟州市| 岳阳县| 太保市| 百色市| 深水埗区| 元氏县| 错那县| 宕昌县| 灌阳县| 留坝县| 丹东市| 开化县| 凉城县| 长宁区| 安化县| 永兴县| 当阳市| 张家界市| 电白县| 咸丰县|