读取100 GB的1.5 GB日志文件并创建Solr索引

Question

我的要求是 - 我有一个巨大的日志文件，可能是1GB或1.5GB。我想读取100MB块并在块上创建Solr索引，或者如果可能的话创建自定义索引。

加载整个文件可能会产生堆空间问题，我不想使用BufferedReader.readline()来创建自定义索引。

对于我应采取的方法是否有任何建议。