Question

我有一个RDD，我试图序列化，然后通过反序列化重建。我试图看看Apache Spark中是否可行。

     static JavaSparkContext sc = new JavaSparkContext(conf);
        static SerializerInstance si = SparkEnv.get().closureSerializer().newInstance();
    static ClassTag<JavaRDD<String>> tag = scala.reflect.ClassTag$.MODULE$.apply(JavaRDD.class);
..
..
            JavaRDD<String> rdd = sc.textFile(logFile, 4);
            System.out.println("Element 1 " + rdd.first());
            ByteBuffer bb= si.serialize(rdd, tag);
            JavaRDD<String> rdd2 = si.deserialize(bb, Thread.currentThread().getContextClassLoader(),tag);
            System.out.println(rdd2.partitions().size());
            System.out.println("Element 0 " + rdd2.first());

当我对新创建的RDD执行操作时，我在最后一行得到异常。我序列化的方式类似于Spark内部的方式。

Exception in thread "main" org.apache.spark.SparkException: RDD transformations and actions can only be invoked by the driver, not inside of other transformations; for example, rdd1.map(x => rdd2.values.count() * x) is invalid because the values transformation and count action cannot be performed inside of the rdd1.map transformation. For more information, see SPARK-5063.
    at org.apache.spark.rdd.RDD.sc(RDD.scala:87)
    at org.apache.spark.rdd.RDD.take(RDD.scala:1177)
    at org.apache.spark.rdd.RDD.first(RDD.scala:1189)
    at org.apache.spark.api.java.JavaRDDLike$class.first(JavaRDDLike.scala:477)
    at org.apache.spark.api.java.JavaRDD.first(JavaRDD.scala:32)
    at SimpleApp.sparkSend(SimpleApp.java:63)
    at SimpleApp.main(SimpleApp.java:91)

RDD是在同一个进程中创建和加载的，所以我不明白这个错误是如何发生的。

Answer 1

我是此警告信息的作者。

Spark不支持对通过反序列化创建的RDD副本执行操作和转换。 RDD是可序列化的，因此可以在执行程序中调用它们上的某些方法，但最终用户不应尝试手动执行RDD序列化。

当序列化RDD时，它会丢失对创建它的SparkContext的引用，从而阻止使用它启动作业（请参阅here）。在早期版本的Spark中，当Spark试图访问私有的RDD.sc字段时，您的代码将导致NullPointerException。

此错误消息的措辞是这样的，因为在尝试执行rdd1.map { _ => rdd2.count() }之类的操作时，用户经常遇到混淆NullPointerExceptions，导致在执行程序计算机上的反序列化RDD上调用操作。我没想到有人会尝试在驱动程序上手动序列化/反序列化他们的RDD，所以我可以看到这个错误消息可能会有些误导。

序列化RDD

1 个答案: