文件处理与数据库处理

时间:2018-06-06 17:10:39

标签: database multithreading file batch-processing

我有一种批处理类型的应用程序,基本上按记录读取(固定大小)并分别处理它们中的每一个并输出处理过的。

在处理之前存储记录的更好方法是什么?在文件或数据库中。

假设:

  1. 记录数量巨大(数百万)。
  2. 考虑在不同线程之间拆分工作,以便可以并行完成工作
  3. 考虑任何失败的线程,以便重新开始工作。
  4. 请了解文件处理的问题(可能是文件损坏,效率问题转移到特定记录)与数据库处理(可能比文件记录读取效率低)。

0 个答案:

没有答案