以不同方式设置每个执行程序内存(Spark Standalone)

时间:2015-06-26 08:14:05

标签: hadoop apache-spark

在我们的群集中,datanode没有相同的硬件规格。例如:

dnode1 -> 4  GB RAM 
dnode2 -> 15 GB RAM
dnode3 -> 30 GB RAM

提交spark作业时,要使用每个datanode,我必须将spark.executor.memory设置为每个datanode可以承受的某个值。但是我想知道是否有办法独立设置每个执行程序进程的内存使用量?例如:

Executor in dnode1 will use around 4 GB RAM
Executor in dnode2 will use around 15 GB RAM
Executor in dnode3 will use around 30 GB RAM

0 个答案:

没有答案