火花流:提交ReceiverTracker时工作挂起

时间:2015-09-12 00:56:59

标签: apache-spark apache-kafka spark-streaming

我的spark(1.5.0)流应用程序中的一些作业挂起:submitJob at ReceiverTracker.scala:557。第557行引用如下:

val future = ssc.sparkContext.submitJob[Receiver[_], Unit, Unit](
    receiverRDD, startReceiverFunc, Seq(0), (_, _) => Unit, ())

我找到了SPARK-1975,并且建议核心数量应该大于DStream的数量。在我的情况下确实如此:2个接收器,4个执行器,每个3个核心。

Spark执行器: enter image description here

Spark职位: enter image description here

kafka主题 enter image description here

挂起工作的原因是什么?任何建议表示赞赏。谢谢。

0 个答案:

没有答案