Question

我对Node.js比较陌生。我试图将大小约为400MB的83个XML文件转换为JSON。

每个文件都包含这样的数据（除了每个元素都有大量的附加语句）：

<case-file>
  <serial-number>75563140</serial-number>
  <registration-number>0000000</registration-number>
  <transaction-date>20130101</transaction-date>
  <case-file-header>
     <filing-date>19981002</filing-date>
     <status-code>686</status-code>
     <status-date>20130101</status-date>
  </case-file-header>
  <case-file-statements>
     <case-file-statement>
        <type-code>D10000</type-code>
        <text>"MUSIC"</text>
     </case-file-statement>
     <case-file-statement>
        <type-code>GS0351</type-code>
        <text>compact discs</text>
     </case-file-statement>
  </case-file-statements>
  <case-file-event-statements>
     <case-file-event-statement>
        <code>PUBO</code>
        <type>A</type>
        <description-text>PUBLISHED FOR OPPOSITION</description-text>
        <date>20130101</date>
        <number>28</number>
     </case-file-event-statement>
     <case-file-event-statement>
        <code>NPUB</code>
        <type>O</type>
        <description-text>NOTICE OF PUBLICATION</description-text>
        <date>20121212</date>
        <number>27</number>
     </case-file-event-statement>
   </case-file-event-statements>

我尝试了很多不同的Node模块，包括sax，node-xml，node-expat和xml2json。显然，我需要从文件中流式传输数据并通过XML解析器将其传输，然后将其转换为JSON。

我也试过阅读一些博客等试图解释，虽然表面上看，如何解析Xml。

在Node Universe中，我首先尝试了sax，但我无法弄清楚如何以我可以将其转换为JSON的格式提取数据。 xml2json不会在流上工作。 node-xml看起来令人鼓舞，但我无法弄清楚它是如何以任何有意义的方式解析块的。 node-expat指向libexpat文档，它似乎需要博士学位。节点elementree做同样的事情，指向Python实现，但没有解释已实现的内容或如何使用它。

有人能指出我可以用来开始的例子吗？

Answer 1

我怀疑这种情况在2 - 3年后仍然具有相关性，但是如果其他人偶然发现这种情况，我会说NPM xml-stream看起来对我来说相当直接。

如果你是一个想要避免GYP的Windows用户，我尝试使用sax添加一个非常简单的解决方案，逐个从XML文件中提取孩子，它就是＆＃39;它被称为no-gyp-xml-stream，它可能没有很多功能，但它使用起来很简单：https://www.npmjs.com/package/no-gyp-xml-stream

Answer 2

尽管这个问题已经很老了，但我正在分享我的问题和解决方案，这可能对所有尝试将XML转换为JSON的人都有用。

这里的实际问题不是转换，而是处理巨大的XML文件而不必一次将它们保存在内存中。

在使用几乎所有广泛使用的软件包时，我遇到了以下问题-

许多软件包都支持从XML到JSON的转换，涵盖了所有情况，但它们不适用于大文件。
很少有软件包（例如xml-flow，xml-stream）支持大型XML文件转换，但是转换过程会漏掉一些极端的情况，在这种情况下，转换要么失败要么给出不可预测的JSON结构（{ {3}}）。

理想的解决方案是将这两种方法的优点结合起来，而这正是我所做的explained in this SO question。

简单来说，xtreamer像xml-flow / xml-stream一样接受重复节点，但是发出重复的xml节点而不是转换后的JSON。这具有以下优点-

随着xtreamer的扩展，我们可以通过管道传递transform stream。
发出的XML节点可以传输到任何XML to JSON解析器中，以获取所需的JSON。
我们可以更进一步，并使用xtreamer连接JSON解析器，它将调用JSON解析器并相应地发出JSON。
xtreamer以stream作为其唯一依赖项，并且是转换流扩展，可以灵活地与其他流进行管道传输。

如果XML结构不固定怎么办？

我设法提出了另一个基于sax的节点程序包xtreamer node package，该程序包读取XML文件并以以下格式提供文件的结构-

structure: { [name: string]: { [hierarchy: number]: number } };

此程序包允许找出重复的节点名称，然后将其传递给xtreamer进行解析。

我希望这会有所帮助。：）

Answer 3

我想现在你有一个工作过程，考虑到你的答案。

无论如何，如果您已经使用SAX成功解析了传入数据，解决方案可能只是将数据放入您设计的对象中并使用yourStream.write(JSON.stringify(yourObject)) 把它流出来。

Node.js将Xml转换为大型Xml文件的JSON的示例

3 个答案: