组合多个文件并写入新文件，而不需要在Java中重复

Question

我有2个文件含有以下内容

file1.txt
stack 1
overflow 2
frequency 4

file2.txt
stack 2
overflow 1
terms 5

我想组合这样的多个文件，并使用以下输出

创建一个新文件

final.txt
stack 3
overflow 3
terms 5
frequency 4

注意：文件非常大

有人能帮助你做最好的方法吗？

Answer 1

您可以尝试Spark。 Spark建立在分布式数据集的概念之上，分布式数据集包含任意Java或Python对象。您可以从外部数据创建数据集，然后对其应用并行操作。