我正在使用java.util库中的base64函数,并将其在spark UDF中注册,并尝试在Spark-Sql中使用
spark.udf.register("encodeBase64", (processname: String) => ( Base64.getEncoder.encodeToString(processname.getBytes())))
但是,每次构建胖子并将其运行在我的Spark集群中时,都会出现java.lang.NoClassDefFoundError: java/util/Base64
错误。
我想添加java.util.base64函数来构建build.sbt。请让我知道如何将其添加到build.sbt。
18/06/21 23:49:47警告TaskSetManager:在阶段1.0(TID 1,ma2-gbit-ldn5006.corp.apple.com,执行者1)中丢失了任务0.0:java.lang.NoClassDefFoundError:java / util / Base64