所以我需要设置一个小的Java程序,该程序会生成一个XML文件,其中包含我每个月处理的所有数据。
我的输入数据包含每天产生的XML文件,我的输出文件必须包含该月每一天的所有数据。我每天都必须制作输出文件,而不仅仅是在月底。
输入文件包含数千个节点,因此输出文件将非常大(可能为1-2 gb),并且性能非常重要。而且数据非常敏感,因此该程序的可靠性和安全性必须正确。
我正在考虑每天做事:
1)如果是每月的第一天,请创建一个新的输出文件
2)将当天的输入数据添加到输出文件中
首先,我想知道对于任务2,我是否应该将输入数据添加到XML文件或每次都将其完全重写?在性能方面最好的是什么?哪种xml库最适合此类任务?
然后,我想知道是否将每天的数据保存到易于阅读的中间文件中对性能没有好处吗?
所以算法将是每天:
1)如果是每月的第一天,请创建一个新的输出文件和一个新的中间文件(JSON或文本或…。)
2)将当天的数据添加到中间文件
3)从中间文件生成输出文件
你们怎么看?
对不起,我的英语不好,谢谢!