spark独立集群是否需要同类机器？

Question

我想在集群上运行graphx app，其中包括具有不同RAM量的计算机。 现在我尝试使用spark独立集群。但似乎我无法调整每台机器的spark.executor.memory属性。我对吗？

Answer 1

对我来说，如果您手动设置选项spark.executor.memory，您的任务将在至少具有手动RAM量的工作人员上启动。

因此，通过使用此选项，您需要拥有一个统一的群集。

默认情况下，每个工作人员使用其计算机上可用的所有RAM（操作系统减去1Go），并且只能限制要使用的RAM量。我不知道你用“调整”一词是否正在寻找它。

http://spark.apache.org/docs/latest/spark-standalone.html（在SPARK_WORKER_MEMORY上搜索）