我已将一组支持功能记入helper.jar
库中,并导入到Databricks集群中。该jar已安装在群集上,但是我无法引用该库中的功能。
jar导入已经过测试,已重新启动群集,并且可以在InelliJ中引用该jar,并将其开发为Azure Spark / HDInsight项目。
//next line generates error value helper is not a member of org.apache.spark.sql.SparkSession
import helper
//nex line generates error: not found: value fn_conversion
display(df.withColumn("RevenueConstantUSD", fn_conversion($"Revenue"))
我希望helper
函数在库部署后或添加import
命令后可见。
编辑:添加了有关IntelliJ项目类型的信息