如何在Azure Databricks上提交自定义spark应用程序？

Question

我创建了一个小应用程序，该应用程序按特定的时间间隔提交火花作业，并创建一些分析报告。这些作业可以从本地文件系统或分布式文件系统（fs可以是HDFS，ADLS或WASB）读取数据。我可以在Azure databricks群集上运行此应用程序吗？

该应用程序在HDInsights群集上正常运行，因为我能够访问节点。我将可部署的jar放在一个位置，类似地使用开始脚本启动它，也可以使用我准备的停止脚本来停止它。

我发现的一件事是Azure Databricks有其自己的文件系统：ADFS，我也可以添加对此文件系统的支持，但是我将能够像在HDInsight上那样部署并运行我的应用程序簇？如果没有，是否可以通过一种方法将作业从边缘节点，HDInsight群集或任何其他OnPrem群集提交到Azure Databricks群集。

Answer 1

您看过乔布斯吗？ https://docs.databricks.com/user-guide/jobs.html。您可以像在HDInsight上一样提交jar进行火花提交。

Databricks文件系统为DBFS-ABFS用于Azure Data Lake。您无需为此修改应用程序-文件路径将由数据砖处理。