我有一个非常慢的火花工作。当我进入Cloudera的作业历史服务器UI时,我可以看到执行器的数量只有2和驱动程序。
http://foo:18088/history/application_1456200816465_350138/executors/
但是我的群集中有11个服务器在"委托"火花状态。
http://foo:7180/cmf/services/43/instances
所以我的问题是,当有11台服务器时,为什么我的工作只使用2个执行器?
我从命令行运行我的工作
nohup spark-submit --class com.abhi.Foo --master yarn-cluster Foo-assembly.jar
> output.txt 2> info.txt