Question

我正在浏览火花指南2.1.0并看到以下行在http://spark.apache.org/docs/latest/submitting-applications.html 目前，独立模式不支持Python应用程序的集群模式。

但在下面，他们有一个例子在群集部署模式下使用监督

在Spark独立群集上运行

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

现在我很困惑......有一次他们说python应用程序的spark独立集群不支持集群模式，但另一方面他们给出了一个示例，他们有python应用程序的deploye-mode = cluster与spark独立集群如果我的解释错了，谁能纠正我？

Answer 1

根据documentation，

独立模式不支持Python应用程序的集群模式。

和

对于 Python应用程序，只需传递.py文件而不是JAR，并使用--py-将Python .zip，.egg或.py文件添加到搜索路径中文件。

您发布的示例是针对scala应用程序的。 python的例子给出了文档本身。

# Run a Python application on a Spark standalone cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  examples/src/main/python/pi.py \
  1000

spark独立集群是否支持python应用程序的deploye mode = cluster？

1 个答案: