在我们的群集中,datanode没有相同的硬件规格。例如:
dnode1 -> 4 GB RAM
dnode2 -> 15 GB RAM
dnode3 -> 30 GB RAM
提交spark作业时,要使用每个datanode,我必须将spark.executor.memory设置为每个datanode可以承受的某个值。但是我想知道是否有办法独立设置每个执行程序进程的内存使用量?例如:
Executor in dnode1 will use around 4 GB RAM
Executor in dnode2 will use around 15 GB RAM
Executor in dnode3 will use around 30 GB RAM