在现有交互式databricks集群上的dbfs上执行pyspark代码

Question

我正在研究Azure Databricks。目前，我的Pyspark项目在“ dbfs”上。我配置了spark-submit作业来执行我的Pyspark代码（.py文件）。但是，根据Databricks文档，提交火花的作业只能在新的自动化集群上运行（可能是设计使然）。

是否可以在现有的交互式群集上运行我的Pyspark代码？

我还试图从％sh单元中的笔记本计算机运行spark-submit命令，以免使用。

Answer 1

默认情况下，创建作业时，群集类型被选择为“ 新的自动化群集”。

您可以配置群集类型以在自动群集还是现有的交互式群集之间进行选择。

配置作业的步骤：

选择作业=>单击集群=>编辑按钮，然后选择“ 现有交互式集群”，然后选择集群。