Question

我使用3 m3.large实例在AWS上创建了Datastax Enterprise集群，其中所有3个节点都是运行Spark的分析节点。

3 m3.large亚马逊实例每个都有2个核心，因此共有6个核心。

在Spark Master网站上，我看到总共只有3个核心 - ＆gt;在每个工作节点的web ui上，我只看到一个可用的核心。

其他3个核心发生了什么？ DSE是否为Cassandra或其他一些操作为每台机器预留了1个核心？

谢谢

Answer 1

DSE中可用于Spark的核心数量默认为（.7 * total_number_of_cores）。在您的情况下，这将导致1.4向下舍入到单个核心。您可以通过编辑

修改百分比

/etc/dse/dse.yaml

or  

install_location/resources/dse/conf/dse.yaml

并调整

initial_spark_worker_resources: .7

下面的文档还详细介绍了如何修改Spark设置。但是，重要的是要注意，如果所有计算机的内核都分配给Spark，那么您的系统将最终切换上下文并降低性能。