获取批处理间隔的时间

Question

我正在编写一个火花流应用程序，我需要获取当前批处理间隔的时间..如何做到这一点？...我想知道时间是如何调整的..它是根据时间调整的机器在集群的驱动程序中？

Answer 1

如果我理解正确，您需要在创建StreamingContext

时指定Spark Streaming应用的批处理间隔

例如：

val ssc = new StreamingContext(sparkConf, Seconds(2))

在上面的代码中，每2秒，你的火花流工作从输入源（kafka，文件等）中提取数据