org.apache.spark.SparkException：任务不可序列化，wh

Question

当我实施自己的分区并试图改变原来的rdd时，我遇到了一个问题。我知道这是由引用不可序列化的函数引起的，但是在添加

之后

  

扩展Serializable

对于每个相关课程，这个问题仍然存在。我该怎么办？

线程中的异常＆＃34; main＆＃34; org.apache.spark.SparkException：任务不可序列化     在org.apache.spark.util.ClosureCleaner $ .ensureSerializable（ClosureCleaner.scala：166）     在org.apache.spark.util.ClosureCleaner $ .clean（ClosureCleaner.scala：158）     在org.apache.spark.SparkContext.clean（SparkContext.scala：1622）

element.children(':last-child').slideToggle();

Answer 1

我刚刚解决了这个问题！将-Dsun.io.serialization.extendedDebugInfo = true添加到您的VM配置中，您将定位不可序列化的类！