詳細(xì)解讀Python中解析XML數(shù)據(jù)的方法

更新時(shí)間：2015年10月15日 15:09:16 投稿：goldensun

這篇文章主要介紹了Python中解析XML數(shù)據(jù)的方法,是Python入門學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下

Python可以使用 xml.etree.ElementTree 模塊從簡(jiǎn)單的XML文檔中提取數(shù)據(jù)。為了演示，假設(shè)你想解析Planet Python上的RSS源。下面是相應(yīng)的代碼：

from urllib.request import urlopen
from xml.etree.ElementTree import parse

# Download the RSS feed and parse it
u = urlopen('http://planet.python.org/rss20.xml')
doc = parse(u)

# Extract and output tags of interest
for item in doc.iterfind('channel/item'):
  title = item.findtext('title')
  date = item.findtext('pubDate')
  link = item.findtext('link')

  print(title)
  print(date)
  print(link)
  print()

運(yùn)行上面的代碼，輸出結(jié)果類似這樣：

Steve Holden: Python for Data Analysis
Mon, 19 Nov 2012 02:13:51 +0000
http://holdenweb.blogspot.com/2012/11/python-for-data-analysis.html

Vasudev Ram: The Python Data model (for v2 and v3)
Sun, 18 Nov 2012 22:06:47 +0000
http://jugad2.blogspot.com/2012/11/the-python-data-model.html

Python Diary: Been playing around with Object Databases
Sun, 18 Nov 2012 20:40:29 +0000
http://www.pythondiary.com/blog/Nov.18,2012/been-...-object-databases.html

Vasudev Ram: Wakari, Scientific Python in the cloud
Sun, 18 Nov 2012 20:19:41 +0000
http://jugad2.blogspot.com/2012/11/wakari-scientific-python-in-cloud.html

Jesse Jiryu Davis: Toro: synchronization primitives for Tornado coroutines
Sun, 18 Nov 2012 20:17:49 +0000
http://feedproxy.google.com/~r/EmptysquarePython/~3/_DOZT2Kd0hQ/

很顯然，如果你想做進(jìn)一步的處理，你需要替換 print() 語(yǔ)句來(lái)完成其他有趣的事。

在很多應(yīng)用程序中處理XML編碼格式的數(shù)據(jù)是很常見(jiàn)的。不僅因?yàn)閄ML在Internet上面已經(jīng)被廣泛應(yīng)用于數(shù)據(jù)交換，同時(shí)它也是一種存儲(chǔ)應(yīng)用程序數(shù)據(jù)的常用格式(比如字處理，音樂(lè)庫(kù)等)。接下來(lái)的討論會(huì)先假定讀者已經(jīng)對(duì)XML基礎(chǔ)比較熟悉了。

在很多情況下，當(dāng)使用XML來(lái)僅僅存儲(chǔ)數(shù)據(jù)的時(shí)候，對(duì)應(yīng)的文檔結(jié)構(gòu)非常緊湊并且直觀。例如，上面例子中的RSS訂閱源類似于下面的格式：

<?xml version="1.0"?>
<rss version="2.0" xmlns:dc="http://purl.org/dc/elements/1.1/">
  <channel>
    <title>Planet Python</title>
    <link>http://planet.python.org/</link>
    <language>en</language>
    <description>Planet Python - http://planet.python.org/</description>
    <item>
      <title>Steve Holden: Python for Data Analysis</title>
      <guid>http://holdenweb.blogspot.com/...-data-analysis.html</guid>
      <link>http://holdenweb.blogspot.com/...-data-analysis.html</link>
      <description>...</description>
      <pubDate>Mon, 19 Nov 2012 02:13:51 +0000</pubDate>
    </item>
    <item>
      <title>Vasudev Ram: The Python Data model (for v2 and v3)</title>
      <guid>http://jugad2.blogspot.com/...-data-model.html</guid>
      <link>http://jugad2.blogspot.com/...-data-model.html</link>
      <description>...</description>
      <pubDate>Sun, 18 Nov 2012 22:06:47 +0000</pubDate>
    </item>
    <item>
      <title>Python Diary: Been playing around with Object Databases</title>
      <guid>http://www.pythondiary.com/...-object-databases.html</guid>
      <link>http://www.pythondiary.com/...-object-databases.html</link>
      <description>...</description>
      <pubDate>Sun, 18 Nov 2012 20:40:29 +0000</pubDate>
    </item>
    ...
  </channel>
</rss>

xml.etree.ElementTree.parse() 函數(shù)解析整個(gè)XML文檔并將其轉(zhuǎn)換成一個(gè)文檔對(duì)象。然后，你就能使用 find() 、iterfind() 和 findtext() 等方法來(lái)搜索特定的XML元素了。這些函數(shù)的參數(shù)就是某個(gè)指定的標(biāo)簽名，例如 channel/item 或 title 。

每次指定某個(gè)標(biāo)簽時(shí)，你需要遍歷整個(gè)文檔結(jié)構(gòu)。每次搜索操作會(huì)從一個(gè)起始元素開(kāi)始進(jìn)行。同樣，每次操作所指定的標(biāo)簽名也是起始元素的相對(duì)路徑。例如，執(zhí)行 doc.iterfind('channel/item') 來(lái)搜索所有在 channel 元素下面的 item 元素。 doc 代表文檔的最頂層(也就是第一級(jí)的 rss 元素)。然后接下來(lái)的調(diào)用 item.findtext() 會(huì)從已找到的 item 元素位置開(kāi)始搜索。

ElementTree 模塊中的每個(gè)元素有一些重要的屬性和方法，在解析的時(shí)候非常有用。 tag 屬性包含了標(biāo)簽的名字，text 屬性包含了內(nèi)部的文本，而 get() 方法能獲取屬性值。例如：

>>> doc
<xml.etree.ElementTree.ElementTree object at 0x101339510>
>>> e = doc.find('channel/title')
>>> e
<Element 'title' at 0x10135b310>
>>> e.tag
'title'
>>> e.text
'Planet Python'
>>> e.get('some_attribute')
>>>

有一點(diǎn)要強(qiáng)調(diào)的是 xml.etree.ElementTree 并不是XML解析的唯一方法。對(duì)于更高級(jí)的應(yīng)用程序，你需要考慮使用 lxml 。它使用了和ElementTree同樣的編程接口，因此上面的例子同樣也適用于lxml。你只需要將剛開(kāi)始的import語(yǔ)句換成 from lxml.etree import parse 就行了。 lxml 完全遵循XML標(biāo)準(zhǔn)，并且速度也非?？?，同時(shí)還支持驗(yàn)證，XSLT，和XPath等特性。

增量式解析大型XML文件
任何時(shí)候只要你遇到增量式的數(shù)據(jù)處理時(shí)，第一時(shí)間就應(yīng)該想到迭代器和生成器。下面是一個(gè)很簡(jiǎn)單的函數(shù)，只使用很少的內(nèi)存就能增量式的處理一個(gè)大型XML文件：

from xml.etree.ElementTree import iterparse

def parse_and_remove(filename, path):
  path_parts = path.split('/')
  doc = iterparse(filename, ('start', 'end'))
  # Skip the root element
  next(doc)

  tag_stack = []
  elem_stack = []
  for event, elem in doc:
    if event == 'start':
      tag_stack.append(elem.tag)
      elem_stack.append(elem)
    elif event == 'end':
      if tag_stack == path_parts:
        yield elem
        elem_stack[-2].remove(elem)
      try:
        tag_stack.pop()
        elem_stack.pop()
      except IndexError:
        pass

為了測(cè)試這個(gè)函數(shù)，你需要先有一個(gè)大型的XML文件。通常你可以在政府網(wǎng)站或公共數(shù)據(jù)網(wǎng)站上找到這樣的文件。例如，你可以下載XML格式的芝加哥城市道路坑洼數(shù)據(jù)庫(kù)。在寫(xiě)這本書(shū)的時(shí)候，下載文件已經(jīng)包含超過(guò)100,000行數(shù)據(jù)，編碼格式類似于下面這樣：

假設(shè)你想寫(xiě)一個(gè)腳本來(lái)按照坑洼報(bào)告數(shù)量排列郵編號(hào)碼。你可以像這樣做：

from xml.etree.ElementTree import parse
from collections import Counter

potholes_by_zip = Counter()

doc = parse('potholes.xml')
for pothole in doc.iterfind('row/row'):
  potholes_by_zip[pothole.findtext('zip')] += 1
for zipcode, num in potholes_by_zip.most_common():
  print(zipcode, num)

這個(gè)腳本唯一的問(wèn)題是它會(huì)先將整個(gè)XML文件加載到內(nèi)存中然后解析。在我的機(jī)器上，為了運(yùn)行這個(gè)程序需要用到450MB左右的內(nèi)存空間。如果使用如下代碼，程序只需要修改一點(diǎn)點(diǎn)：

from collections import Counter

potholes_by_zip = Counter()

data = parse_and_remove('potholes.xml', 'row/row')
for pothole in data:
  potholes_by_zip[pothole.findtext('zip')] += 1
for zipcode, num in potholes_by_zip.most_common():
  print(zipcode, num)

結(jié)果是：這個(gè)版本的代碼運(yùn)行時(shí)只需要7MB的內(nèi)存–大大節(jié)約了內(nèi)存資源。

討論
這里技術(shù)會(huì)依賴 ElementTree 模塊中的兩個(gè)核心功能。第一，iterparse() 方法允許對(duì)XML文檔進(jìn)行增量操作。使用時(shí)，你需要提供文件名和一個(gè)包含下面一種或多種類型的事件列表： start , end, start-ns 和 end-ns 。由 iterparse() 創(chuàng)建的迭代器會(huì)產(chǎn)生形如 (event, elem) 的元組，其中 event 是上述事件列表中的某一個(gè)，而 elem 是相應(yīng)的XML元素。例如：

>>> data = iterparse('potholes.xml',('start','end'))
>>> next(data)
('start', <Element 'response' at 0x100771d60>)
>>> next(data)
('start', <Element 'row' at 0x100771e68>)
>>> next(data)
('start', <Element 'row' at 0x100771fc8>)
>>> next(data)
('start', <Element 'creation_date' at 0x100771f18>)
>>> next(data)
('end', <Element 'creation_date' at 0x100771f18>)
>>> next(data)
('start', <Element 'status' at 0x1006a7f18>)
>>> next(data)
('end', <Element 'status' at 0x1006a7f18>)
>>>

start 事件在某個(gè)元素第一次被創(chuàng)建并且還沒(méi)有被插入其他數(shù)據(jù)(如子元素)時(shí)被創(chuàng)建。而 end 事件在某個(gè)元素已經(jīng)完成時(shí)被創(chuàng)建。盡管沒(méi)有在例子中演示， start-ns 和 end-ns 事件被用來(lái)處理XML文檔命名空間的聲明。

這本節(jié)例子中， start 和 end 事件被用來(lái)管理元素和標(biāo)簽棧。棧代表了文檔被解析時(shí)的層次結(jié)構(gòu)，還被用來(lái)判斷某個(gè)元素是否匹配傳給函數(shù) parse_and_remove() 的路徑。如果匹配，就利用 yield 語(yǔ)句向調(diào)用者返回這個(gè)元素。

在 yield 之后的下面這個(gè)語(yǔ)句才是使得程序占用極少內(nèi)存的ElementTree的核心特性：

elem_stack[-2].remove(elem)

這個(gè)語(yǔ)句使得之前由 yield 產(chǎn)生的元素從它的父節(jié)點(diǎn)中刪除掉。假設(shè)已經(jīng)沒(méi)有其它的地方引用這個(gè)元素了，那么這個(gè)元素就被銷毀并回收內(nèi)存。

對(duì)節(jié)點(diǎn)的迭代式解析和刪除的最終效果就是一個(gè)在文檔上高效的增量式清掃過(guò)程。文檔樹(shù)結(jié)構(gòu)從始自終沒(méi)被完整的創(chuàng)建過(guò)。盡管如此，還是能通過(guò)上述簡(jiǎn)單的方式來(lái)處理這個(gè)XML數(shù)據(jù)。

這種方案的主要缺陷就是它的運(yùn)行性能了。我自己測(cè)試的結(jié)果是，讀取整個(gè)文檔到內(nèi)存中的版本的運(yùn)行速度差不多是增量式處理版本的兩倍快。但是它卻使用了超過(guò)后者60倍的內(nèi)存。因此，如果你更關(guān)心內(nèi)存使用量的話，那么增量式的版本完勝。

您可能感興趣的文章: