具有重叠EC2实例的群集

时间:2016-09-06 22:44:52

标签: amazon-web-services hadoop apache-spark amazon-ec2 yarn

我有以下具有重叠EC2实例的群集,例如:纱线群集和Memcached群集使用相同的实例 2,3,4 ;此外,每个实例都有不同的RAM,CPU,核心大小,这会潜在地解决问题吗?或者群集可以自己做平衡吗?谢谢!

Spark群集:EC2实例2,3,5 纱线簇:EC2实例1, 2,3,4 ,5
Memcached数据库集群:EC2实例 2,3,4 ,6

instance 1: 512GB RAM, 2 vCPU,  2 cores  
instance 2: 1TB RAM,   8 vCPU,  4 cores    
instance 3: 2TB RAM,   6 vCPU,  6 cores    
instance 4: 256GB RAM, 2 vCPU,  2 cores  
instance 5: 2TB RAM,   16 vCPU, 4 cores    
instance 6: 4TB RAM,   4 vCPU,  8 cores 

1 个答案:

答案 0 :(得分:1)

群集不知道这种分享;您需要为每个主机配置资源分配以避免过度承诺。

如果对于任何节点总资源分配使得所有RAM /核心/磁盘都可用,则存在风险(通常,存在火花任务或纱线儿童无法启动的风险)。比如,例如3,你不能为每项服务分配1T。

例如,在实例3中,您无法为每项服务分配1T。

作为旁注,Spark可以在纱线上运行,因此可以选择将其减少为两个群集。