我在两个spark工作中面临以下问题，第一个是处理1M数据并在重要数量的键上生成reduceByKey超过20000个分区的算法。 第二个是10000个数据超过10000个分区的火花随机森林。 在这两种情况下，我都会遇到这个问题，火花杀死并创造数百个执行者，而不会向前发展......
INFO AppClient$ClientEndpoint: Executor updated: app-20170111091905-0328/16 is now RUNNING
INFO AppClient$ClientEndpoint: Executor updated: app-20170111091905-0328/15 is now EXITED (Command exited with code 1)
INFO SparkDeploySchedulerBackend: Executor app-20170111091905-0328/15 removed: Command exited with code 1
INFO BlockManagerMasterEndpoint: Trying to remove executor 15 from BlockManagerMaster.
在第一种情况下，它发生在reduceBykey步骤中。 对于第二种情况，它发生在：reduce at randomForest.scala：94
我的配置如下：spark 1.6.2,3个奴隶，一个工人，每个人有4个芯片6Go MEM，2Go MEM for driver
我试图找到answear，但我发现只是为了增加akka.framesize我所做的没有改变并且增加了工作人员的MEM ... 我也认为，对于第二种情况，它可以来自森林中过多的树木。 此外，我没有找到任何明确的解释来证明这些问题是合理的。
提前谢谢