参考上传的JAR库

时间:2019-02-14 02:02:03

标签: scala apache-spark jar databricks

我已将一组支持功能记入helper.jar库中,并导入到Databricks集群中。该jar已安装在群集上,但是我无法引用该库中的功能。

jar导入已经过测试,已重新启动群集,并且可以在InelliJ中引用该jar,并将其开发为Azure Spark / HDInsight项目。

//next line generates error value helper is not a member of org.apache.spark.sql.SparkSession
import helper 

//nex line generates error: not found: value fn_conversion 
display(df.withColumn("RevenueConstantUSD", fn_conversion($"Revenue")) 

我希望helper函数在库部署后或添加import命令后可见。

编辑:添加了有关IntelliJ项目类型的信息

0 个答案:

没有答案