增量式解析大型XML文件

增量式解析大型XML文件

问题

你想使用尽可能少的内存从一个超大的XML文档中提取数据。

解决方案

任何时候只要你遇到增量式的数据处理时，第一时间就应该想到迭代器和生成器。 下面是一个很简单的函数，只使用很少的内存就能增量式的处理一个大型XML文件：

from xml.etree.ElementTree import iterparsedef parse_and_remove(filename, path): path_parts = path.split('/') doc = iterparse(filename, ('start', 'end')) # Skip the root element next(doc) tag_stack = [] elem_stack = [] for event, elem in doc: if event == 'start': tag_stack.append(elem.tag) elem_stack.append(elem) elif event == 'end': if tag_stack == path_parts: yield elem elem_stack[-2].remove(elem) try: tag_stack.pop() elem_stack.pop() except IndexError: pass

为了测试这个函数，你需要先有一个大型的XML文件。 通常你可以在政府网站或公共数据网站上找到这样的文件。 例如，你可以-XML格式的芝加哥城市道路坑洼数据库。 在写这本书的时候，-文件已经包含超过100,000行数据，编码格式类似于下面这样：

2012-11-18T00:00:00 Completed 2012-11-18T00:00:00 12-01906549 Pot Hole in Street Final Outcome CDOT Street Cut ... Outcome 4714 S TALMAN AVE 60632 1159494.68618856 1873313.83503384 14 9 58 41.808090232127896 -87.69053684711305 2012-11-18T00:00:00 Completed 2012-11-18T00:00:00 12-01906695 Pot Hole in Street Final Outcome CDOT Street Cut ... Outcome 3510 W NORTH AVE 60647 1152732.14127696 1910409.38979075 26 14 23 41.91002084292946 -87.71435952353961

假设你想写一个脚本来按照坑洼报告数量排列邮编号码。你可以像这样做：

from xml.etree.ElementTree import parsefrom collections import Counterpotholes_by_zip = Counter()doc = parse('potholes.xml')for pothole in doc.iterfind('row/row'): potholes_by_zip[pothole.findtext('zip')] += 1for zipcode, num in

这个脚本唯一的问题是它会先将整个XML文件加载到内存中然后解析。 在我的机器上，为了运行这个程序需要用到450MB左右的内存空间。 如果使用如下代码，程序只需要修改一点点：

from collections import Counterpotholes_by_zip = Counter()data = parse_and_remove('potholes.xml', 'row/row')for pothole in data: potholes_by_zip[pothole.findtext('zip')] += 1for zipcode, num in

结果是：这个版本的代码运行时只需要7MB的内存–大大节约了内存资源。

讨论

这一节的技术会依赖 ​​ElementTree​​​ 模块中的两个核心功能。 第一，​​iterparse()​​​ 方法允许对XML文档进行增量操作。 使用时，你需要提供文件名和一个包含下面一种或多种类型的事件列表： ​​start​​​ , ​​end​​​, ​​start-ns​​​ 和 ​​end-ns​​​ 。 由 ​​iterparse()​​​ 创建的迭代器会产生形如 ​​(event, elem)​​​ 的元组， 其中 ​​event​​​ 是上述事件列表中的某一个，而 ​​elem​​ 是相应的XML元素。例如：

>>> data = iterparse('potholes.xml',('start','end'))>>> next(data)('start', )>>> next(data)('start', )>>> next(data)('start', )>>> next(data)('start', )>>> next(data)('end', )>>> next(data)('start', )>>> next(data)('end', )>>>

这本节例子中， ​​start​​​ 和 ​​end​​ 事件被用来管理元素和标签栈。 栈代表了文档被解析时的层次结构， 还被用来判断某个元素是否匹配传给函数 parse_and_remove() 的路径。 如果匹配，就利用 yield 语句向调用者返回这个元素。

在 ​​yield​​​ 之后的下面这个语句才是使得程序占用极少内存的​​ElementTree​​的核心特性：

elem_stack[-2].remove(elem)

这个语句使得之前由 ​​yield​​ 产生的元素从它的父节点中删除掉。 假设已经没有其它的地方引用这个元素了，那么这个元素就被销毁并回收内存。

对节点的迭代式解析和删除的最终效果就是一个在文档上高效的增量式清扫过程。 文档树结构从始自终没被完整的创建过。尽管如此，还是能通过上述简单的方式来处理这个XML数据。

这种方案的主要缺陷就是它的运行性能了。 我自己测试的结果是，读取整个文档到内存中的版本的运行速度差不多是增量式处理版本的两倍快。 但是它却使用了超过后者60倍的内存。 因此，如果你更关心内存使用量的话，那么增量式的版本完胜。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。