想要将java.util库添加到build.sbt文件中

时间:2018-06-21 23:57:37

标签: java apache-spark apache-spark-sql

我正在使用java.util库中的base64函数,并将其在spark UDF中注册,并尝试在Spark-Sql中使用

spark.udf.register("encodeBase64", (processname: String) => ( Base64.getEncoder.encodeToString(processname.getBytes())))

但是,每次构建胖子并将其运行在我的Spark集群中时,都会出现java.lang.NoClassDefFoundError: java/util/Base64错误。

我想添加java.util.base64函数来构建build.sbt。请让我知道如何将其添加到build.sbt。

  

18/06/21 23:49:47警告TaskSetManager:在阶段1.0(TID 1,ma2-gbit-ldn5006.corp.apple.com,执行者1)中丢失了任务0.0:java.lang.NoClassDefFoundError:java / util / Base64

0 个答案:

没有答案