AWS集群中的核心

时间:2018-08-09 15:44:56

标签: amazon-web-services apache-spark spark-streaming

我正在使用10核r4.8xlarge集群。 AWS文档https://aws.amazon.com/ec2/virtualcores/说,每个r4.8xlarge的EC2实例类型都包含一个16的虚拟核心数。问题1.这是否意味着并行有160个核心(每个执行者16个核心。我还问,是核心=火花执行者)? Q2。 Spark文档说

The number of cores allocated to the Spark Streaming application must be more than the number of receivers. Otherwise the system will receive data, but not be able to process it.

Q2。如果要为我的火花流作业创建15个接收器,则应将spark.executor.cores设置为15或更高。还是应该将群集的核心总数从10个增加到15个?

1 个答案:

答案 0 :(得分:0)

回答第二季度:

您可以将spark.dynamicAllocation.enabled设置为true(默认为false)来动态分配执行程序,当在EMR上运行时,可以很好地利用此执行程序。

详细了解herehere