每天在bash中提取文件的行

时间:2013-07-21 16:57:25

标签: linux bash shell sh

我有一个20.000.000行的文件,每天添加或删除一些行,我需要做一个crontab,我需要每天获得50.000行的9个文件。

例如:

BigFile is my file with 20.000.000 lines.

我需要生成9个文件,第一个文件的行为1到50000,第二个文件的行为50001到100000,第三个文件的行为100001到150000 . . .

我第一次不能分割,因为我的文件整天都在变化,而我遇到的第二个问题是如果第一次获得我的9个文件,第二天我需要继续使用最后一行。

例如第一天我使用450.000行,然后第二天我需要第一行450001到500000行,第三天我需要使用900001作为我的第一个文件。

拆分不起作用,因为如果我第一次使用拆分,文件更改,那么我第二天不工作的文件

你能帮助我吗?

1 个答案:

答案 0 :(得分:2)

使用split命令(manpage)。

例如:

$ split -l 50000 /path/to/bigfile