我正在尝试使用python中的BeutifulSoup解析大型xml文件。 [文件大小约为200MB]。使用lxml解析器,Beutifulsoup仍然需要很长时间来解析文件(可能是5分钟),我希望缓存汤,以便将来能够快速重新加载。
我通常会使用pickle来转储变量以便稍后重新加载,但是我会收到递归错误。我已经尝试按照Hitting Maximum Recursion Depth Using Python's Pickle / cPickle增加递归限制,最初为10,000到100,000。不幸的是,当设置为更高的值时,这会导致python崩溃,因为更高的递归限制会带来危险。
是否有另一种转储变量的方法,这样可以将文件快速读回Python?