解压缩大文件(~80 GB) - 使用Java或shell脚本

时间:2016-11-02 10:13:04

标签: java linux bash file-io gzip

我有一个Java应用程序,我需要解压缩大约80 GB的GZIP文件。我应该使用Java API进行解压缩,还是应该调用解压缩文件的bash脚本?哪一个会有效率?我可能有超过1个zip文件,因此每次解压缩时我可以使用多个线程吗?我的环境是基于Linux的

1 个答案:

答案 0 :(得分:1)

student_id命令比基于Java的解压缩方法更快,因为它是本机代码,经过高度优化。

你可以使用bash在一个单独的进程中解压缩每个文件,它可能会更快,但由于磁盘访问瓶颈而没有你想象的那么快。

当然,瓶颈虽然仍然存在,但在SSD驱动器的情况下最小化,或者在单独的磁盘上并行解压缩多个文件。