可以在Azure Databricks的群集中并行运行纯python脚本（而非pyspark）吗？

Question

我想从本地迁移python脚本以在云上运行，尤其是在 Azure Databricks 创建的群集上。

1. 纯python脚本可以并行运行（同时在群集中使用多个节点）而不必转换为pyspark吗？
2. 是否可以检查作业是否并行运行？

Answer 1

1. 否
2. 如果您已提交了Spark作业，则可以看到日志，并显示正在使用的执行者数量。这就是您将知道作业并行运行的方式