Spark结构化流式存储接收器问题

时间:2019-03-27 15:19:44

标签: apache-spark spark-structured-streaming

希望更好地了解Spark结构存储流输出接收器,尤其是用于管理接收器写入的内存表的选项。暂时仅限于Spark 2.2.1。

配置了内存接收器后,结构化流查询将写入内存表作为输出。使用查询名称,可以执行spark.sql操作。我想知道是否有一种方法可以清除/删除内存表中的内容。不允许执行sql DELETE调用。

此外,在追加模式和内存接收器的情况下,我认为内存表将继续增长。我想知道如果使用完整模式时,通过接收器写入的内存表是否将被完全覆盖。如果是这种情况,并且启用了水印功能,那么我可以控制内存表的大小。

谢谢!

0 个答案:

没有答案