所以我有一个简单的UDF
object Constants extends Serializable {
val COMMA_DELIMITER: String = ","
val EMPTY: String = " "
}
val Format2Int = (input: AnyRef) => {
var column = input.toString.trim()
column = column.replaceAll(Constants.COMMA_DELIMITER, Constants.EMPTY).trim()
column
}
sqlContext.udf.register("Format2Int", Format2Int)
由于使用Constants
对象,因此每次我尝试调用该任务时,该任务都无法序列化。 (如果我替换Constants.COMMA_DELIMITER
和Constants.EMPTY
的话就可以了。在仍然使用Constants类的情况下如何解决这个问题?