独立:AWS Ec2中的Spark执行器核心

时间:2018-02-13 23:39:42

标签: apache-spark amazon-ec2

我使用的r4.4xlarge有16个Vcpus和8个虚拟核心

https://aws.amazon.com/ec2/pricing/on-demand/

https://aws.amazon.com/ec2/virtualcores/

3个问题:

1)现在我应该如何为独立群集中的spark应用程序计算spark.executor.cores,这对我来说总是一个令人困惑的计算

2)我猜虚拟核心的实例级别不是在vcpu级别?

3)例如,如果有3个工作节点和1个主节点都具有上述配置,并且如果我必须同时提交多个spark应用程序,它们是否会同时运行?或者一个工作会耗尽所有资源但不需要,另一个工作会留在队列中,或者如果资源可用,两个申请是否会同时提交?

注意:我正在使用spark rest api提交上述2个申请作为2个单独的火花提交

0 个答案:

没有答案