不同的Spark输入和输出格式

Question

Spark支持哪些不同的输入和输出格式？

Map Reduce支持其中的一些，但我在Spark中只看到textFile和objectFile。

另外，如何在Spark中利用Hadoop输入/输出格式？

Answer 1

您可以通过在大多数RDD类型上调用saveAsNewAPIHadoopFile来将RDD保存为任何传统的Hadoop文件格式，例如： PairRDDFunctions，并通过致电SparkContext上的newAPIHadoopFile来阅读它们。

Answer 2

我想你使用Java？查看RDD here上的所有saveAs函数以及JavaSparkContext类here中的所有输入函数。