如何从代码中提交纱线集群模式的pyspark作业

时间:2015-08-10 06:27:07

标签: apache-spark pyspark

我们可以从Python代码中以纱线群集模式提交pyspark作业。

1 个答案:

答案 0 :(得分:0)

spark-submit是用于在spark上提交pyspark作业的命令,我们必须提到用于在群集上部署作业的纱线群集模式。

spark-submit --master yarn --deploy-mode cluster  py_files.py