火花流卡夫卡并行接收器接收数据不平衡

时间:2016-12-08 10:10:40

标签: apache-spark apache-kafka receiver dstream

我只想尝试并行接收来自kafka的流数据。 这是我的代码:

val myKafkaStream = (1 to numReceivers.toInt).map { i =>
   KafkaUtils.createStream(ssc, zkQuorum, group, topicMap)
}

我在纱线上运行代码,numReceiver为5,代码确实有效。 但问题是只有两个接收器接收数据。 num-executor是5,执行器核心是2

结果:

KafkaReveiver-0 : 49637.95 event/sec
KafkaReveiver-1 : 0.0 event/sec
KafkaReveiver-2 : 0.0 event/sec
KafkaReveiver-3 : 49616.85 event/sec
KafkaReveiver-4 : 0.0 event/sec

0 个答案:

没有答案