Question

我从一个表中获取1.5TB数据库摘录。它被分解为7个文件并使用RAR压缩。

我想将一个字段的子集提取到另一个文件中进行处理。

我找到的示例处理bzip或gzip文件。我问的是可能的吗？如果不是直接如何将文件转换为与awk一起使用的格式？

我在Centos6上有~146GB的工作空间。

Answer 1

您可以尝试使用unrar，然后将结果汇总到awk。

例如：假设您需要最后一个字段：

unrar p *.rar | awk '{print $NF}'

或更有效率：

find . -name *.rar | xargs -n 1 -P 4 unrar p | awk '{print $NF}'

选项p表示＆＃34;将文件打印到标准输出＆＃34;。

我希望这可以帮到你。