获取可用执行程序的数量

时间:2017-05-01 02:14:20

标签: apache-spark amazon-emr

我在安装了Spark的情况下启动了EMR 5.4.0集群。如果在不可用的执行程序上调度(例如,在具有2个m3.xlarge核心节点的集群上,有大约16个执行程序可用),我的工作性能确实会降低。

我的应用程序有什么方法可以发现这个号码吗?我可以通过这样做来发现主机: sc.range(1,100,1,100).pipe("hostname").distinct().count(),但我希望有更好的方式来了解Spark正在运行的群集。

0 个答案:

没有答案