Spark - 从目录一次处理单个文件

时间:2017-01-05 19:05:55

标签: apache-spark

我处于使用Spark的情况下,我有几百个未压缩的文件,每个都有几个演出,我不认为我可以在一台机器上使用它,并且有足够的服务器可能需要花费望而却步。我想知道是否有可能获得Spark而不是尝试加载所有文件然后处理它们,加载单个文件,处理它,然后移动到下一个文件。

0 个答案:

没有答案