有没有办法在Spark Streaming窗口提取窗口开始时间和窗口结束时间？

Question

我正在使用DSTREAM方法的window。然后，随后我执行其他操作，如reduceByKey。是否可以将窗口开始时间和结束时间添加到DSTREAM数据并将其用作键？

考虑我有一个具有以下输入模式的DSTREAM：

(call_id, call_duration, call_count) 

在DSTREAM上进行窗口操作后，是否可能产生以下输出？

(window_start_time, window_end_time, average_call_duration, total_call_counts)

Answer 1

dstream.foreachRDD((rdd, time)=> {
  // time is scheduler time for the batch job.it's interval was your window/slide length.
})

使用时间作为ETL函数的参数。