如何使用spark java API将JavaRDD存储为序列文件?

时间:2014-06-20 00:59:00

标签: apache-spark

我想将JavaRDD存储为序列文件而不是文本文件。但我没有看到任何Java API。有办法吗?请告诉我。谢谢!

1 个答案:

答案 0 :(得分:4)

如果不是JavaPairRDD方法.saveAsSequenceFile,我认为您可以使用.saveAsHadoopFile并使用SequenceFileOutputFormat.class作为格式参数。这似乎有点解释:http://apache-spark-user-list.1001560.n3.nabble.com/Spark-SequenceFile-Java-API-Repeat-Key-Values-td353.html