有效处理各种文件?

时间:2018-11-02 06:32:27

标签: java io stream filestream

我正在开发一个Java应用程序,该应用程序处理大量不同大小的文件。 (例如:一行只有几百万个文件,或者一行只有几百万个文件)。哪种方法最有效地处理这两种情况?

1 个答案:

答案 0 :(得分:0)

处理数百万个文件的最有效方法是拥有快速的SSD驱动器。打开和关闭每个文件的成本非常高,并且可能是瓶颈。 HDD可能只允许您每秒读取约100个文件,无论它们多么小。

对于处理千兆字节的文件,您可能希望同时处理文件的各个部分,尽管处理方式取决于格式和对文件的处理方式。您应该能够以大约50-200 MB / s的速率读取文件,具体取决于您执行的操作。