我有2台具有32GB RAM和8core的计算机。因此,如何配置带有火花的纱线以及根据我们的数据集必须使用哪些属性来调整资源。我有8gb数据集,那么有人可以在并行作业运行中建议带有火花的纱线配置吗?
这是纱线的配置: 我正在使用hadoop 2.7.3,spark 2.2.0和ubuntu 16
`yarn scheduler minimum-allocation-mb--2048
yarn scheduler maximum-allocation-mb--5120
yarn nodemanager resource.memory-mb--30720
yarn scheduler minimum-allocation-vcores--1
yarn scheduler maximum-allocation-vcores--6
yarn nodemanager resource.cpu-vcores--6`
这是火花配置:
spark master master:7077
spark yarn am memory 4g
spark yarn am cores 4
spark yarn am memoryOverhead 412m
spark executor instances 3
spark executor cores 4
spark executor memory 4g
spark yarn executor memoryOverhead 412m
但是我的问题是每台计算机使用32GB RAM和8core。这个conf是否正确,我可以运行多少个应用程序? bcoz只有两个并行运行的应用程序。