如何在同一AWS EMR集群中同时运行Spark作业？

Question

是否可以在同一个AWS EMR集群中同时提交和运行Spark作业？如果是，那么请你详细说明一下吗？

Answer 1

您应该使用标记--deploy-mode cluster，它允许您将多个执行部署到您的群集。这将使纱线为您处理资源和队列。

完整的例子：

spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

更多详情here。

Answer 2

目前，EMR不支持并行运行多个步骤。据我所知，这些实验性功能已经实施但由于某些问题尚未发布。