Question

我是新手，并试图运行示例JavaSparkPi.java，它运行良好，但因为我必须在另一个java中使用它我将所有东西从main复制到类中的方法并尝试在main中调用该方法，它说

org.apache.spark.SparkException：作业已中止：任务不可序列化： java.io.NotSerializableException

代码如下所示：

public class JavaSparkPi {

public void cal(){
    JavaSparkContext jsc = new JavaSparkContext("local", "JavaLogQuery");
    int slices = 2;
    int n = 100000 * slices;

    List<Integer> l = new ArrayList<Integer>(n);
    for (int i = 0; i < n; i++) {
        l.add(i);
    }

    JavaRDD<Integer> dataSet = jsc.parallelize(l, slices);

    System.out.println("count is: "+ dataSet.count());
    dataSet.foreach(new VoidFunction<Integer>(){
        public void call(Integer i){
            System.out.println(i);
        }
    });

    int count = dataSet.map(new Function<Integer, Integer>() {
        @Override
        public Integer call(Integer integer) throws Exception {
            double x = Math.random() * 2 - 1;
            double y = Math.random() * 2 - 1;
            return (x * x + y * y < 1) ? 1 : 0;
        }
    }).reduce(new Function2<Integer, Integer, Integer>() {
        @Override
        public Integer call(Integer integer, Integer integer2) throws Exception {
            return integer + integer2;
        }
    });

    System.out.println("Pi is roughly " + 4.0 * count / n);
}

public static void main(String[] args) throws Exception {

    JavaSparkPi myClass = new JavaSparkPi();
    myClass.cal();
}
}

有人对此有所了解吗？谢谢！

Answer 1

嵌套函数包含对包含对象（JavaSparkPi）的引用。所以这个对象将被序列化。为此，它需要可序列化。简单易行：

public class JavaSparkPi implements Serializable {
  ...

Answer 2

出现此错误的原因是，您的本地或群集中有多个物理CPU，并且Spark引擎尝试通过网络将此功能发送到多个CPU。您的功能

 dataSet.foreach(new VoidFunction<Integer>(){
        public void call(Integer i){
            ***System.out.println(i);***
        }
    });

使用未序列化的println（）。因此，Spark Engine抛出异常。解决方案是您可以在下面使用：

dataSet.collect().forEach(new VoidFunction<Integer>(){
       public void call(Integer i){
         System.out.println(i);
    }
});

java + spark：org.apache.spark.SparkException：作业已中止：任务不可序列化：java.io.NotSerializableException

2 个答案: