如何用spark配置Yarn集群?

时间:2018-09-17 05:14:23

标签: apache-spark hadoop yarn hadoop2.7.3

我有2台具有32GB RAM和8core的计算机。因此,如何配置带有火花的纱线以及根据我们的数据集必须使用哪些属性来调整资源。我有8gb数据集,那么有人可以在并行作业运行中建议带有火花的纱线配置吗?

这是纱线的配置: 我正在使用hadoop 2.7.3,spark 2.2.0和ubuntu 16

`yarn scheduler minimum-allocation-mb--2048 
yarn scheduler maximum-allocation-mb--5120
yarn nodemanager resource.memory-mb--30720 
yarn scheduler minimum-allocation-vcores--1 
yarn scheduler maximum-allocation-vcores--6 
yarn nodemanager resource.cpu-vcores--6`

这是火花配置:

spark master    master:7077 
spark yarn am memory 4g 
spark yarn am cores 4 
spark yarn am memoryOverhead    412m 
spark executor instances    3 
spark executor cores    4 
spark executor memory   4g 
spark yarn executor memoryOverhead  412m

但是我的问题是每台计算机使用32GB RAM和8core。这个conf是否正确,我可以运行多少个应用程序? bcoz只有两个并行运行的应用程序。

0 个答案:

没有答案