使用'--py-files'参数将PySpark作业提交到集群

Question

我试图使用python文件的zip的GCS uri提交作业（通过--py-files参数），并将python文件名作为PY_FILE参数值。 这似乎不起作用。我是否需要为PY_FILE值提供一些相对路径？ PY_FILE也包含在zip中。 例如在

gcloud beta dataproc jobs submit pyspark  --cluster clustername --py-files gcsuriofzip PY_FILE    

PY_FILE的值应该是什么？

Answer 1

这是一个很好的问题。要回答这个问题，我将使用PySpark wordcount example。

在这种情况下，我创建了两个文件，一个名为test.py，即我要执行的文件，另一个名为wordcount.py.zip，其中包含已修改 { {1}}文件旨在模仿我想要调用的模块。

我的wordcount.py文件如下所示：

test.py

我修改了import wordcount import sys if __name__ == "__main__": wordcount.wctest(sys.argv[1]) 文件以消除main方法并添加命名方法：

wordcount.py

我可以使用以下... from pyspark import SparkContext ... def wctest(path): sc = SparkContext(appName="PythonWordCount") ... 命令在Dataproc上调用整个内容：

gcloud

在此示例中，gcloud beta dataproc jobs submit pyspark --cluster <cluster-name> \ --py-files gs://<bucket>/wordcount.py.zip gs://<bucket>/test.py \ gs://<bucket>/input/input.txt 是我的存储桶的名称（或路径），<bucket>是我的Dataproc集群的名称。