我的spark(1.5.0)流应用程序中的一些作业挂起:submitJob at ReceiverTracker.scala:557
。第557行引用如下:
val future = ssc.sparkContext.submitJob[Receiver[_], Unit, Unit](
receiverRDD, startReceiverFunc, Seq(0), (_, _) => Unit, ())
我找到了SPARK-1975,并且建议核心数量应该大于DStream的数量。在我的情况下确实如此:2个接收器,4个执行器,每个3个核心。
挂起工作的原因是什么?任何建议表示赞赏。谢谢。