我有两个非常大的文本文件(每个文件中至少有6条laksh行)。并且文件的内容将按列显示,每个文件将分别有2列,其中一列是两个文件中的公共列。
现在我需要读取2个文件并在两个文件之间映射一个公共列,并将最后一行插入到现在有3列的数据库中。
当我使用 Play框架与JAVA 分别读取文件并将第一个文件的内容存储在列表中并一次读取第二个文件1000行和1000行是然后读取这1000个文件的映射,并将最终记录插入到数据库中,然后读取和处理接下来的1000行,此过程将持续到第二个文件结束。
当文件较小时,这工作正常但是现在这已成为一个耗时的过程,并且还存在一个漏洞,因为我们将第一个文件的内容存储在一个数组中,这可能会导致稍后的堆空间错误。
因此,在寻找替代选项时,我发现Akka - Streams很有趣,而且使用它时性能似乎要好得多。但是我不确定它是如何适合我的场景的,因为我正在处理读取多个文件并在以后映射它们。
那么你们可以建议我是否建议在这里使用Akka流,如果这样也可以让我高度了解如何在我的案例中实施它?