我有以下具有重叠EC2实例的群集,例如:纱线群集和Memcached群集使用相同的实例 2,3,4 ;此外,每个实例都有不同的RAM,CPU,核心大小,这会潜在地解决问题吗?或者群集可以自己做平衡吗?谢谢!
Spark群集:EC2实例2,3,5
纱线簇:EC2实例1, 2,3,4 ,5
Memcached数据库集群:EC2实例 2,3,4 ,6
instance 1: 512GB RAM, 2 vCPU, 2 cores
instance 2: 1TB RAM, 8 vCPU, 4 cores
instance 3: 2TB RAM, 6 vCPU, 6 cores
instance 4: 256GB RAM, 2 vCPU, 2 cores
instance 5: 2TB RAM, 16 vCPU, 4 cores
instance 6: 4TB RAM, 4 vCPU, 8 cores
答案 0 :(得分:1)
群集不知道这种分享;您需要为每个主机配置资源分配以避免过度承诺。
如果对于任何节点总资源分配使得所有RAM /核心/磁盘都可用,则存在风险(通常,存在火花任务或纱线儿童无法启动的风险)。比如,例如3,你不能为每项服务分配1T。
例如,在实例3中,您无法为每项服务分配1T。
作为旁注,Spark可以在纱线上运行,因此可以选择将其减少为两个群集。