关于lz4mt压缩和linux缓冲问题

时间:2014-11-13 11:31:40

标签: linux caching buffer compression

我正在使用lz4的lz4多线程版本,并且在我的工作流程中,我从客户端向服务器发送数千个大型文件(620 MB),当文件到达服务器时,我的规则将使用lz4mt触发并压缩文件,然后删除未压缩的文件。问题是有时当我删除未压缩的文件时,我无法获得正确大小的压缩文件,因为lz4mt在将输出发送到磁盘之前立即返回。 那么lz4mt是否有任何方法可以在压缩后通过bzip2删除未压缩的文件。

Input: bzip2 uncompress_file
Output: Compressed file only

,而

Input: lz4mt uncompress_file
Output: (Uncompressed + Compressed) file

下面的脚本同步命令也不能正常工作我想。 作为我的规则触发的脚本是:     的 script.sh

/bin/lz4mt  uncompressed_file output_file
/bin/sync
/bin/rm uncompressed_file

请告诉我如何解决上述问题。 非常感谢

1 个答案:

答案 0 :(得分:1)

作者在这里。您可以尝试以下方法

  1. 使用&&;连接命令。
  2. 添加lz4mt命令行选项-q(禁止提示)和-f(强制覆盖)。
  3. 使用原始lz4尝试。