希望更好地了解Spark结构存储流输出接收器,尤其是用于管理接收器写入的内存表的选项。暂时仅限于Spark 2.2.1。
配置了内存接收器后,结构化流查询将写入内存表作为输出。使用查询名称,可以执行spark.sql操作。我想知道是否有一种方法可以清除/删除内存表中的内容。不允许执行sql DELETE调用。
此外,在追加模式和内存接收器的情况下,我认为内存表将继续增长。我想知道如果使用完整模式时,通过接收器写入的内存表是否将被完全覆盖。如果是这种情况,并且启用了水印功能,那么我可以控制内存表的大小。
谢谢!