集群上的Spark:我想知道以下错误的含义和可能的原因:

时间:2015-06-22 07:52:48

标签: apache-spark akka timeoutexception

我跟随错误/警告:

1)WARN AkkaRpcEndpointRef:在1次尝试中发送消息[message = Heartbeat(2,[Lscala.Tuple2; @ 58149ee3,BlockManagerId(2,192.168.0.171,49714))]时出错 java.util.concurrent.TimeoutException:期货在[120秒]之后超时

2)ERROR CoarseGrainedExecutorBackend:驱动程序192.168.0.131:41837解除了关联!关机。

我在4台机器的集群中运行Spark(v.1.4.0)应用程序,其中驱动程序的内存(4 GB)较少(每个8 Gb)。驱动程序是否可能因其工作负载而产生错误?

1 个答案:

答案 0 :(得分:1)

驱动程序无法响应执行程序,因为它在计算过程中处于压力之下。 只需向驱动程序添加mroe RAM即可解决问题。