日志文件变得越来越大。解决方案需要在主内存中打开它

时间:2013-06-26 01:18:21

标签: data-processing large-data

我有一个巨大的java应用程序日志文件,无法在主内存中打开。我想将此文件拆分为等效部分,足以在主内存中打开。我怎样才能做到这一点 ?如何确保最后一行拆分不在中间但在行尾?

1 个答案:

答案 0 :(得分:1)

你想操纵一个大文本文件,它来自Java并不重要。

在Unix上,您可以使用命令wc来发现文件中有多少行,并且命令拆分以分割文件。在其他平台上,例如windows,有这些命令的实现,例如来自cygwin。

但是为什么要将内容加载到内存中呢?如果您正在寻找使用诸如baregrap和文件查看器等工具的东西。