为什么有些批次没有Kafka数据摄取?

时间:2016-01-23 21:12:29

标签: apache-spark apache-kafka spark-streaming

我使用Spark Streaming和Kafka,批处理间隔为10秒。我确信Kafka队列总是有及时提供Spark的数据。但有时Spark可能会在那里堆叠几分钟,并不断输出以下日志:

INFO scheduler.JobScheduler: Added jobs for time 1453521260000 ms
INFO scheduler.JobScheduler: Added jobs for time 1453521280000 ms
INFO scheduler.JobScheduler: Added jobs for time 1453521300000 ms
INFO scheduler.JobScheduler: Added jobs for time 1453521320000 ms

请问任何想法,为什么Spark会堆积在那里并继续增加工作,但没有任何进展?

0 个答案:

没有答案