Question

Windowed Dstream窗口在Spark Streaming中不起作用。它似乎是Spark Streaming中的调度程序错误。

val layer0= // Input data
val layer1 = layer0.window(Seconds(30), Seconds(30)) // Works
layer1.foreachRDD(...)

val layer2 = layer1.window(Seconds(60), Seconds(60)) // Does not work
layer2.foreachRDD(...)

任何人都遇到过这个问题，并且知道如何在Spark中解决这个问题。

从驱动程序日志中添加更多详细信息：

时间1433141250000：

2015-06-01 06:47:30 INFO MapValuedDStream - 时间1433141250000 ms无效，因为zeroTime为1433141240000 ms且slideDuration为30000 ms且差异为10000 ms

2015-06-01 06:47:30 INFO MapValuedDStream - 时间1433141250000 ms无效，因为zeroTime为1433141240000 ms且slideDuration为60000 ms且差异为10000 ms

时间1433141260000：

2015-06-01 06:47:40 INFO MapValuedDStream - 时间1433141260000 ms无效，因为zeroTime为1433141240000 ms且slideDuration为30000 ms且差异为20000 ms

2015-06-01 06:47:40 INFO MapValuedDStream - 时间1433141260000 ms无效，因为zeroTime为1433141240000 ms且slideDuration为60000 ms，差异为20000 ms

时间1433141270000：（30S）

2015-06-01 06:47:50 INFO FilteredDStream - 从1433141250000 ms切换到1433141270000 ms（对齐到1433141250000 ms和1433141270000 ms）

2015-06-01 06:47:50 INFO MapValuedDStream - 时间1433141270000 ms无效，因为zeroTime为1433141240000 ms且slideDuration为60000 ms且差异为30000 ms

时间1433141280000： 2015-06-01 06:48:00 INFO MapValuedDStream - 时间1433141280000 ms无效，因为zeroTime是1433141240000 ms，slideDuration是30000 ms，差异是40000 ms

2015-06-01 06:48:00 INFO MapValuedDStream - 时间1433141280000 ms无效，因为zeroTime是1433141240000 ms，slideDuration是60000 ms，差异是40000 ms

时间1433141290000：

2015-06-01 06:48:10 INFO MapValuedDStream - 时间1433141290000 ms无效，因为zeroTime为1433141240000 ms且slideDuration为30000 ms且差异为50000 ms

2015-06-01 06:48:10 INFO MapValuedDStream - 时间1433141290000 ms无效，因为zeroTime为1433141240000 ms且slideDuration为60000 ms且差异为50000 ms

时间1433141300000：（60S）

2015-06-01 06:48:20 INFO WindowedDStream - 从1433141270000 ms切换到1433141300000 ms（对齐到1433141250000 ms和1433141280000 ms）

2015-06-01 06:48:20 INFO WindowedDStream - 时间1433141250000 ms无效，因为zeroTime为1433141240000 ms且slideDuration为30000 ms且差异为10000 ms

2015-06-01 06:48:20 INFO WindowedDStream - 时间1433141280000 ms无效，因为zeroTime为1433141240000 ms且slideDuration为30000 ms且差异为40000 ms

Answer 1

这确实是一个错误，我已将其记录为SPARK-7326。我自己也修好了。请参阅已合并为母版的my pull request。我相信修复程序将在1.4.0版本中发布。

Spark Streaming Bug - Windowed DStream窗口不起作用

1 个答案: