Question

我正在使用以下命令拆分文件。它应该每50,000行拆分并使用一个4位数字后缀。该文件大约有1.4亿行。

split -d -l -n 4 50000 domains.xml domains_

但是当我跑步时，我收到了这个错误：

split: -n: invalid number of lines
Try `split --help' for more information.

对此有什么正确的命令？

Answer 1

由于GNU split的主要帮助说：

Usage: /usr/gnu/bin/split [OPTION]... [INPUT [PREFIX]]
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default
size is 1000 lines, and default PREFIX is 'x'.  With no INPUT, or when INPUT
is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.
  -a, --suffix-length=N   generate suffixes of length N (default 2)
      --additional-suffix=SUFFIX  append an additional SUFFIX to file names.
  -b, --bytes=SIZE        put SIZE bytes per output file
  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file
  -d, --numeric-suffixes[=FROM]  use numeric suffixes instead of alphabetic.
                                   FROM changes the start value (default 0).
  -e, --elide-empty-files  do not generate empty output files with '-n'
      --filter=COMMAND    write to shell COMMAND; file name is $FILE
  -l, --lines=NUMBER      put NUMBER lines per output file
  -n, --number=CHUNKS     generate CHUNKS output files.  See below
  -u, --unbuffered        immediately copy input to output with '-n r/...'
      --verbose           print a diagnostic just before each
                            output file is opened
      --help     display this help and exit
      --version  output version information and exit

在我看来，您需要稍微重新组织您的选项：

split -a 4 -d -l 50000 domains.xml domains_

Answer 2

（来自manpage，GNU coreutils 8.21）你需要的似乎是-a / - suffix-length = N（生成长度为N的默认值（默认为2）），而不是-n / - number = CHUNKS（生成CHUNKS输出文件）

split -d -l 50000 -a 4 domains.xml domains_

你应该得到：domains_0000，domains_0001 ......

Answer 3

我会使用awk。它使您可以更好地控制输出文件和文件名。它应该只是快速问。以下是将100行文件拆分为20行块的方法：

awk 'NR%20==1 { file = FILENAME "_" sprintf("%04d", NR+19) } { print > file }' domains.xml

这应该创建一些文件，如：

file_0020
file_0040
file_0060
file_0080
file_0100

相应调整。 HTH。

Answer 4

虽然您没有要求，但我想您希望对生成的文件进行适当的扩展（让我们说xml）：

split -d -l 50000 -a 4 --additional-suffix=.xml domains.xml domains_

--additional-suffix=.xml将使文件名为domains_0000.xml，domains_1453.xml等类型。

Answer 5

我不知道这是否对您有所帮助，但如果您在文件名前缀outfile1中添加1，则最终会得到：

outfile101
outfile102
outfile103

我知道这可能不是你想要的，但是各种程序都不能解析作业数组中的前导零等等，无论计算机科学家是否总是从零开始计算。至少通过这种方式，您可以使用更广泛的程序解析文件。

如何使用数字后缀拆分文件

5 个答案: