cspilt后将管道输出到压缩的tar

时间:2019-01-04 20:50:11

标签: bash command-line gzip tar csplit

所以,我有以下情况:

产生大量(必须压缩)输出的代码,如下所示:

line00
line01
...
line0N
.
line10
line11
...
line1M
.
...

我生成此内容并将其压缩为:

./my_cmd | gzip -9 > output.gz

我想做的是使用伪代码:

./my_cmd \
| csplit --prefix=foo '/^\.$/+1' {*} \  # <-- this will just create files
| tar -zf ??? \                 # <-- don't know how to link files to tar
| gzip -9 > output.tar.gz

理想情况下,未解压缩的文件永远不会进入硬盘驱动器。

总结:我的目标是在硬盘驱动器上的分隔符上以压缩状态分割的一组文件,而无需中间的读写步骤。

如果我用tar / gzip / csplit无法做到这一点,那么也许还有其他事情吗?

1 个答案:

答案 0 :(得分:1)

Tar可以自行处理压缩。

./my_cmd | csplit --prefix=foo - '/^\.$/+1' {*} ; # writes foo?? files 

printf "%s\n" foo[0-9][0-9] | tar czf output.tar.gz -T -
rm -f foo[0-9][0-9]  # clean up the temps     

如果这还不够好,并且您确实需要-9压缩,

printf "%s\n" foo[0-9][0-9] | 
    tar cOT -               |
    gzip -9 > output.tar.gz

然后,您应该能够从存档中提取单个文件以进行单独处理。

tar xvOf tst.tgz foo00 | wc -l

这使您可以保持文件压缩,但无需提取即可将大块数据写入磁盘。