Question

我正在尝试使用Kryo注册在spark中运行一个非常简单的scala类。该类只是将文件中的数据加载到RDD[LabeledPoint]。

代码（灵感来自https://spark.apache.org/docs/latest/mllib-decision-tree.html中的代码）：

import org.apache.spark.{SparkContext, SparkConf}

import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.LabeledPoint



object test {
  def main(args: Array[String]) {

    val conf = new SparkConf().setMaster("local").setAppName("test")
    conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
    conf.set("spark.kryo.registrationRequired", "true")
    val sc = new SparkContext(conf)

    sc.getConf.registerKryoClasses(classOf[ org.apache.spark.mllib.regression.LabeledPoint ])
    sc.getConf.registerKryoClasses(classOf[ org.apache.spark.rdd.RDD[org.apache.spark.mllib.regression.LabeledPoint] ])

    // Load data
    val rawData = sc.textFile("data/mllib/sample_tree_data.csv")
    val data = rawData.map { line =>
      val parts = line.split(',').map(_.toDouble)
      LabeledPoint(parts(0), Vectors.dense(parts.tail))
    }

    sc.stop()
    System.exit(0)
  }
}

我理解的是，正如我设置spark.kryo.registrationRequired = true一样，所有使用的类都必须注册，以便我注册RDD[LabeledPoint]和LabeledPoint。

问题

我收到以下错误：

java.lang.IllegalArgumentException: Class is not registered: org.apache.spark.mllib.regression.LabeledPoint[]
Note: To register this class use: kryo.register(org.apache.spark.mllib.regression.LabeledPoint[].class);
    at com.esotericsoftware.kryo.Kryo.getRegistration(Kryo.java:442)
    at com.esotericsoftware.kryo.util.DefaultClassResolver.writeClass(DefaultClassResolver.java:79)
    at com.esotericsoftware.kryo.Kryo.writeClass(Kryo.java:472)
    at com.esotericsoftware.kryo.Kryo.writeClassAndObject(Kryo.java:565)
    at org.apache.spark.serializer.KryoSerializerInstance.serialize(KryoSerializer.scala:162)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

据我了解，这意味着班级LabeledPoint[]未注册，而我已注册班级LabeledPoint。

此外，错误中提出的用于注册类（kryo.register(org.apache.spark.mllib.regression.LabeledPoint[].class);）的代码不起作用。

两个班级有什么区别？
如何注册此课程？

Answer 1

非常感谢@eliasah，他通过指出建议的解决方案（kryo.register(org.apache.spark.mllib.regression.LabeledPoint[].class);）位于Java而不是Scala中，为此答案做出了很多贡献。

因此，Scala中LabeledPoint[]的含义是Array[LabeledPoint]。

我通过注册Array[LabeledPoint]类解决了我的问题，即添加我的代码：

sc.getConf.registerKryoClasses(classOf[ Array[org.apache.spark.mllib.regression.LabeledPoint] ])

Kryo注册了LabeledPoint类

1 个答案: