Scala Spark如何解决此任务无法序列化

时间:2018-08-24 17:06:51

标签: scala apache-spark

所以我有一个简单的UDF

object Constants extends Serializable {
  val COMMA_DELIMITER: String = ","
  val EMPTY: String = " "
 }

val Format2Int = (input: AnyRef) => {
  var column = input.toString.trim()
  column = column.replaceAll(Constants.COMMA_DELIMITER, Constants.EMPTY).trim()
  column
}

sqlContext.udf.register("Format2Int", Format2Int)

由于使用Constants对象,因此每次我尝试调用该任务时,该任务都无法序列化。 (如果我替换Constants.COMMA_DELIMITERConstants.EMPTY的话就可以了。在仍然使用Constants类的情况下如何解决这个问题?

0 个答案:

没有答案