我需要使用spark help page中提到的registerKryoClasses方法使用自定义类启动spark shell。
现在如页面所述，我无法在启动spark shell后重新创建sc变量，因此需要在启动spark-shell命令时提供选项--conf。
使用--conf应该是什么选项值，以便它等同于以下更新：
conf.registerKryoClasses(Array(classOf[ArrayBuffer[String]], classOf[ListBuffer[String]]))
答案 0 :(得分：3)
使用Javaserializer而不是Kryos序列化程序的选项对我有用：
spark-shell --conf 'spark.serializer=org.apache.spark.serializer.JavaSerializer'
编辑：刚想出如何使用这些选项。我们可以做到以下几点：
--conf 'spark.kryo.classesToRegister=scala.collection.mutable.ArrayBuffer,scala.collection.mutable.ListBuffer'