我必须创建一个大型XML文件,其中包含超过60万条记录。 我需要一种快速的方法来执行此操作,因为它将定期重复。
我有两个地方的数据
目前,我正在尝试使用StaX解析器在JAVA中创建XML文件。
在这里,我需要知道是否应该使用数据库/文本文件来读取数据和创建XML文件。
哪一种选择会更快?
此外,是否有任何特定的API以优化的方式处理如此大型数据到XML的创建/转换?
我对使用linux命令的文件处理持开放态度,前提是它是一个更快的选项。
更新评论
从两个单独的文件到DB Query CSV转储,您能以多快的速度获取XML元素信息? PIPE分离文件中提供了数据库中可用的任何内容。 我们如何快速获取/创建XML元素信息正是这里问题的意图。这正是影响整体运营速度的因素。
映射并发症:映射是1到多个。第一个文件中的1个记录映射到第二个文本文件/表中的大约8000个记录。
评论更新 - >使用大输出缓冲区。
解读。将从更大的块中读取数据库/文件中的数据,并在处理完整块后将其刷新。但我应该再通过数据库读取还是文件读取?
更新 我可以使用MySQL数据库中的任何工具导出它,自动转换为XML格式吗?