添加JAR以在spark中使用sql UDF

Question

我想使用我的libaray中定义的自定义UDF。我使用了以下代码：

％spark2 import org.apache.spark.sql.functions.year

val sqlContext = new org.apache.spark.sql.hive.HiveContext（sc）

sqlContext.sql（s“ADD JAR /usr/hdp/current/spark-client/lib/myLib.jar”）

val df = sqlContext.sql（“select parse_datetime（start_timestamp，'CET'，'yyyyMMddHHmmssSSS'）AS TIMESTAMP）from temp）

上面的代码抱怨缺少函数“parse_datetime”，显然，ADD JAR语句没有添加myLib。是否存在语法问题或者我缺少什么。我在Zeppelin运行这个。

我还在$ SPARK_HOME / lib文件夹中复制了myLib.jar，但没有用。

Answer 1

我找到了解决方案。我已经在spark intertreper的dependencies部分给出了myLib.jar的确切路径。它现在有效。