Spark Streaming中“作业持续时间”和“批处理时间”之间有什么区别？

Question

我在Spark UI中的应用程序的作业持续时间如下： Job Duration in Spark UI

以下是Spark UI中的批处理时间： Batch Processing Time in Spark UI

请注意，批处理时间通常比作业持续时间长。那么，它们之间有什么区别？

Answer 1

Spark一起处理批处理中的所有作业，以更好地利用CPU时间。这就是批处理时间大于作业处理时间的原因。