Nokogiri XML解析偏移/限制?

时间:2014-03-29 19:54:55

标签: ruby xml nokogiri

我必须解析我的XML文件并从中导入数据,但该文件大约有1.6GB,大约30万行XML,这是我400,000条记录的代表。

在我的生产服务器上,脚本因内存而被终止。是否有一个选项可以指定它应该打开给定XPath的节点数以及它的任何偏移量?

我的示例代码:

path = '/my/path'
doc = Nokogiri::XML::parse(File.open(path))
doc.xpath('//tblPodmiotOsoba').each do |node|
  my_import_method
end

并且有任何选项,如:

path = '/my/path'
doc = Nokogiri::XML::parse(File.open(path))
doc.xpath('//tblPodmiotOsoba', start:0 , end: 100).each do |node|
  my_import_method
end

还是其他什么?任何想法都会有用。

0 个答案:

没有答案