在Spark的结构化流中，是否存在与Spark流中相同的流上下文？

Question

我正在尝试获取结构化流查询的批处理信息以最终进行记录。我是Spark的新手，我对从Spark Streaming访问等效的streamingContext感到困惑。 StreamingContext是否仅是Spark Streaming的东西？

我尝试执行与以下操作类似的操作，但是由于我没有streamingContext，所以无法注册侦听器（因此我想了解）。我是否试图通过具有结构化流的StreamingContext完全偏离轨道？

In Spark Streaming, is there a way to detect when a batch has finished?

Answer 1

StreamingQueryListener具有查询的生命周期事件，onQueryStarted，onQueryUpdated，onQueryTerminated。据我了解，OnQueryUpdated在批次之间触发，并报告最后处理的批次。

创建一个自定义侦听器并将其附加到事件总线，您应该一切顺利。

spark.streams.addListener（customListener）