Question

我正在转换现有的包以使其在spark上运行，为了在第三方工具中序列化类，我使用了以下代码：

SparkConf conf = new SparkConf().setAppName("my.app.spark").setMaster("local").set("spark.serializer", "org.apache.spark.serializer.KryoSerializer").set("spark.kryo.registrationRequired", "true");



            try {
                    conf.registerKryoClasses(new Class<?>[]{
                                    Class.forName("my.thirdparty.classes"),
                                    Class.forName("my.thirdparty.classes2")
                    });
            } catch (ClassNotFoundException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
            }


        JavaSparkContext context = new JavaSparkContext(conf);
        List<File> txtFiles = new ArrayList<File>();
            for(File file: input.listFiles(filter)) {
                    txtFiles.add(file);
            }
            JavaRDD<File> distText = context.parallelize(txtFiles);
            distText.foreach(
                            new VoidFunction<File>()
                                    { public void call(File file) {
                                            processFile(file);

      }});
            context.close();

使用以下命令提交时： spark-submit --class“mypackage.RunWithSpark”--master yarn --driver-memory 6g mypackage.jar

我得到的错误如下：

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.SparkConf.registerKryoClasses([Ljava/lang/Class;)Lorg/apache/spark/SparkConf;
        ...
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:292)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我是Spark的新手，你可以帮忙吗？

谢谢

Answer 1

方法org.apache.spark.SparkConf.registerKryoClasses在Spark 1.2.0中添加。您的群集只运行Spark 1.0.0，因此出错。

您应该将群集升级到1.6.1，或者在程序中切换到Spark 1.0.0并使用版本1.0.0 API注册Kryo类。该规则始终将您的程序链接到与群集相同的Spark版本，否则您将遇到各种问题。

使用kryo序列化火花的问题

1 个答案: