如何保存Spark Java Dstream RDD

Question

Spark Scala API DStream提供了一种方法saveAsTextFiles，用于将Dstream RDD存储在HDFS上。

但Spark Java API's DStream

中没有相应的方法

如何使用Spark Java API在DFS中存储DStream RDD？

Answer 1

Time参数可用于前缀/后缀实际路径。

myrdd.foreachRDD(new Function2<JavaPairRDD<Integer, String>, Time, Void>() {
    public Void call(JavaPairRDD<Integer, String> rdd) {
                        rdd.saveAsTextFile(path + "-" + time.toString().split(" ")[0]);
                        return null;
                    }
                });

Answer 2

使用Dstream的foreach mathod，您可以先从Dstream获取所有RDD，然后使用saveAsTextFile方法保存这些rdds。

以下是示例代码

sortedCounts.foreach(new Function<JavaPairRDD<Integer, String>, Void>() {
                    public Void call(JavaPairRDD<Integer, String> rdd) {
                        rdd.saveAsTextFile(path);
                        return null;
                    }
                });

Answer 3

尝试使用dstream()方法将JavaDStream转换为DStream。例如..

lines.dstream().saveAsObjectFiles("pre", "suf")

Answer 4

如果JavaDStream对象为dstream且目录路径为path，则可以将其保存为

 dstream.foreachRDD(rdd -> {
                rdd.saveAsTextFile(path);
            });

Answer 5

使用JavaDStream类的forERDRD API。