标签: amazon-web-services amazon-ec2 apache-spark
我已经使用Spark 1.4建立了一个AWS EMR集群。我已经设置了一个主节点和两个从节点。看一下负载分布,似乎一个奴隶总是被淘汰出局而另一个奴隶做得不多。有没有人遇到类似的问题?可能是什么导致了这个?
注意:我正在尝试运行Spark MLLib来生成推荐。因此它从Elasticsearch中提取数据并使用Spark进行推荐计算。一个从站总是在网络使用率上最大化,而另一个从站似乎使用最少的资源并且几乎空闲。主设备使用10 GB网络,而每个从设备使用1 GB。