Python可以使用 xml.etree.ElementTree 模塊從簡單的XML文檔中提取數(shù)據(jù)。 為了演示,假設你想解析Planet Python上的RSS源。下面是相應的代碼:
運行上面的代碼,輸出結果類似這樣:
很顯然,如果你想做進一步的處理,你需要替換 print() 語句來完成其他有趣的事。
在很多應用程序中處理XML編碼格式的數(shù)據(jù)是很常見的。 不僅因為XML在Internet上面已經(jīng)被廣泛應用于數(shù)據(jù)交換, 同時它也是一種存儲應用程序數(shù)據(jù)的常用格式(比如字處理,音樂庫等)。 接下來的討論會先假定讀者已經(jīng)對XML基礎比較熟悉了。
在很多情況下,當使用XML來僅僅存儲數(shù)據(jù)的時候,對應的文檔結構非常緊湊并且直觀。 例如,上面例子中的RSS訂閱源類似于下面的格式:
xml.etree.ElementTree.parse() 函數(shù)解析整個XML文檔并將其轉換成一個文檔對象。 然后,你就能使用 find() 、iterfind() 和 findtext() 等方法來搜索特定的XML元素了。 這些函數(shù)的參數(shù)就是某個指定的標簽名,例如 channel/item 或 title 。
每次指定某個標簽時,你需要遍歷整個文檔結構。每次搜索操作會從一個起始元素開始進行。 同樣,每次操作所指定的標簽名也是起始元素的相對路徑。 例如,執(zhí)行 doc.iterfind('channel/item') 來搜索所有在 channel 元素下面的 item 元素。 doc 代表文檔的最頂層(也就是第一級的 rss 元素)。 然后接下來的調(diào)用 item.findtext() 會從已找到的 item 元素位置開始搜索。
ElementTree 模塊中的每個元素有一些重要的屬性和方法,在解析的時候非常有用。 tag 屬性包含了標簽的名字,text 屬性包含了內(nèi)部的文本,而 get() 方法能獲取屬性值。例如:
有一點要強調(diào)的是 xml.etree.ElementTree 并不是XML解析的唯一方法。 對于更高級的應用程序,你需要考慮使用 lxml 。 它使用了和ElementTree同樣的編程接口,因此上面的例子同樣也適用于lxml。 你只需要將剛開始的import語句換成 from lxml.etree import parse 就行了。 lxml 完全遵循XML標準,并且速度也非常快,同時還支持驗證,XSLT,和XPath等特性。
增量式解析大型XML文件
任何時候只要你遇到增量式的數(shù)據(jù)處理時,第一時間就應該想到迭代器和生成器。 下面是一個很簡單的函數(shù),只使用很少的內(nèi)存就能增量式的處理一個大型XML文件:
為了測試這個函數(shù),你需要先有一個大型的XML文件。 通常你可以在政府網(wǎng)站或公共數(shù)據(jù)網(wǎng)站上找到這樣的文件。 例如,你可以下載XML格式的芝加哥城市道路坑洼數(shù)據(jù)庫。 在寫這本書的時候,下載文件已經(jīng)包含超過100,000行數(shù)據(jù),編碼格式類似于下面這樣:
假設你想寫一個腳本來按照坑洼報告數(shù)量排列郵編號碼。你可以像這樣做:
這個腳本唯一的問題是它會先將整個XML文件加載到內(nèi)存中然后解析。 在我的機器上,為了運行這個程序需要用到450MB左右的內(nèi)存空間。 如果使用如下代碼,程序只需要修改一點點:
結果是:這個版本的代碼運行時只需要7MB的內(nèi)存?C大大節(jié)約了內(nèi)存資源。
討論
這里技術會依賴 ElementTree 模塊中的兩個核心功能。 第一,iterparse() 方法允許對XML文檔進行增量操作。 使用時,你需要提供文件名和一個包含下面一種或多種類型的事件列表: start , end, start-ns 和 end-ns 。 由 iterparse() 創(chuàng)建的迭代器會產(chǎn)生形如 (event, elem) 的元組, 其中 event 是上述事件列表中的某一個,而 elem 是相應的XML元素。例如:
start 事件在某個元素第一次被創(chuàng)建并且還沒有被插入其他數(shù)據(jù)(如子元素)時被創(chuàng)建。 而 end 事件在某個元素已經(jīng)完成時被創(chuàng)建。 盡管沒有在例子中演示, start-ns 和 end-ns 事件被用來處理XML文檔命名空間的聲明。
這本節(jié)例子中, start 和 end 事件被用來管理元素和標簽棧。 棧代表了文檔被解析時的層次結構, 還被用來判斷某個元素是否匹配傳給函數(shù) parse_and_remove() 的路徑。 如果匹配,就利用 yield 語句向調(diào)用者返回這個元素。
在 yield 之后的下面這個語句才是使得程序占用極少內(nèi)存的ElementTree的核心特性:
這個語句使得之前由 yield 產(chǎn)生的元素從它的父節(jié)點中刪除掉。 假設已經(jīng)沒有其它的地方引用這個元素了,那么這個元素就被銷毀并回收內(nèi)存。
對節(jié)點的迭代式解析和刪除的最終效果就是一個在文檔上高效的增量式清掃過程。 文檔樹結構從始自終沒被完整的創(chuàng)建過。盡管如此,還是能通過上述簡單的方式來處理這個XML數(shù)據(jù)。
這種方案的主要缺陷就是它的運行性能了。 我自己測試的結果是,讀取整個文檔到內(nèi)存中的版本的運行速度差不多是增量式處理版本的兩倍快。 但是它卻使用了超過后者60倍的內(nèi)存。 因此,如果你更關心內(nèi)存使用量的話,那么增量式的版本完勝。
更多文章、技術交流、商務合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
