将一个大文件分解为bash脚本中特殊字符的较小文件

Question

我有一个包含80万字的巨大文件，用|分隔字符。我想在每1000 |上写一个读取文件的bash脚本它将内容转储到文件中，然后继续，直到我们

Answer 1

您的帖子似乎已被删除，但从我收集的内容中，此脚本应该可以帮助您开始使用。

awk 'BEGIN{
    FS="|"
    y=1
    outputFile="/tmp/outfile"
}{
    for (i=1; i<=NF; i++) {
        tmpoutput=tmpoutput" "$i
        if (y == 1000) {
            y=1
            print tmpoutput > outputFile
            tmpoutput=""
        } else {
            y++
        }
    }
}END{
    print tmpoutput > outputFile
}' inputFile