数百万条记录的XML创建

时间:2013-03-15 09:51:36

标签: java mysql xml stax

我必须创建一个大型XML文件,其中包含超过60万条记录。 我需要一种快速的方法来执行此操作,因为它将定期重复。

我有两个地方的数据

  1. 在两个不同的表中的数据库中。
  2. 在文件系统中以两个管道分隔的文件。
  3. 目前,我正在尝试使用StaX解析器在JAVA中创建XML文件。

    在这里,我需要知道是否应该使用数据库/文本文件来读取数据和创建XML文件。

    哪一种选择会更快?
    此外,是否有任何特定的API以优化的方式处理如此大型数据到XML的创建/转换?

    我对使用linux命令的文件处理持开放态度,前提是它是一个更快的选项。

    更新评论

    • 从两个单独的文件到DB Query CSV转储,您能以多快的速度获取XML元素信息? PIPE分离文件中提供了数据库中可用的任何内容。 我们如何快速获取/创建XML元素信息正是这里问题的意图。这正是影响整体运营速度的因素。

    • 映射并发症:映射是1到多个。第一个文件中的1个记录映射到第二个文本文件/表中的大约8000个记录。

    评论更新 - >使用大输出缓冲区。

    解读。将从更大的块中读取数据库/文件中的数据,并在处理完整块后将其刷新。但我应该再通过数据库读取还是文件读取?

    更新 我可以使用MySQL数据库中的任何工具导出它,自动转换为XML格式吗?

1 个答案:

答案 0 :(得分:0)

您可以使用 perl XML::Simple / XML::Writer perl模块。 Perl还能够从数据库和文本文件中读取数据。