我使用的r4.4xlarge有16个Vcpus和8个虚拟核心
https://aws.amazon.com/ec2/pricing/on-demand/
https://aws.amazon.com/ec2/virtualcores/
3个问题:
1)现在我应该如何为独立群集中的spark应用程序计算spark.executor.cores,这对我来说总是一个令人困惑的计算
2)我猜虚拟核心的实例级别不是在vcpu级别?
3)例如,如果有3个工作节点和1个主节点都具有上述配置,并且如果我必须同时提交多个spark应用程序,它们是否会同时运行?或者一个工作会耗尽所有资源但不需要,另一个工作会留在队列中,或者如果资源可用,两个申请是否会同时提交?
注意:我正在使用spark rest api提交上述2个申请作为2个单独的火花提交