我必须解析我的XML文件并从中导入数据,但该文件大约有1.6GB,大约30万行XML,这是我400,000条记录的代表。
在我的生产服务器上,脚本因内存而被终止。是否有一个选项可以指定它应该打开给定XPath的节点数以及它的任何偏移量?
我的示例代码:
path = '/my/path'
doc = Nokogiri::XML::parse(File.open(path))
doc.xpath('//tblPodmiotOsoba').each do |node|
my_import_method
end
并且有任何选项,如:
path = '/my/path'
doc = Nokogiri::XML::parse(File.open(path))
doc.xpath('//tblPodmiotOsoba', start:0 , end: 100).each do |node|
my_import_method
end
还是其他什么?任何想法都会有用。