我使用Spark Streaming和Kafka,批处理间隔为10秒。我确信Kafka队列总是有及时提供Spark的数据。但有时Spark可能会在那里堆叠几分钟,并不断输出以下日志:
INFO scheduler.JobScheduler: Added jobs for time 1453521260000 ms
INFO scheduler.JobScheduler: Added jobs for time 1453521280000 ms
INFO scheduler.JobScheduler: Added jobs for time 1453521300000 ms
INFO scheduler.JobScheduler: Added jobs for time 1453521320000 ms
请问任何想法,为什么Spark会堆积在那里并继续增加工作,但没有任何进展?