加载不均匀分布在AWS Spark从属服务器中

时间:2015-09-25 05:46:54

标签: amazon-web-services amazon-ec2 apache-spark

我已经使用Spark 1.4建立了一个AWS EMR集群。我已经设置了一个主节点和两个从节点。看一下负载分布,似乎一个奴隶总是被淘汰出局而另一个奴隶做得不多。有没有人遇到类似的问题?可能是什么导致了这个?

注意:我正在尝试运行Spark MLLib来生成推荐。因此它从Elasticsearch中提取数据并使用Spark进行推荐计算。一个从站总是在网络使用率上最大化,而另一个从站似乎使用最少的资源并且几乎空闲。主设备使用10 GB网络,而每个从设备使用1 GB。

0 个答案:

没有答案