Question

我的Linux服务器中有一个非常大的文件（目前超过10GB），内容不断添加到文件的末尾。

我有另一个脚本需要一次处理这个文件大约1000行。获取此文件中的行并以相同的方式运行的最佳方法是什么。

我正在考虑sed命令来删除线条。但这是最好的方法吗？

Answer 1

由于要监视的文件是纯文本文件（非二进制文件），因此可以执行

tail -f my_big_fat_file | my_fancy_processing_script

你不能以1000行的方式获取它，但你的处理脚本可以累积行并开始处理，直到收集到足够的行。