写入HDFS位置时如何在Spark结构化流上执行追加操作

时间:2019-01-24 13:09:32

标签: apache-spark spark-structured-streaming

我正在对流数据进行一些聚合并将其插入HDFS位置。 在特定的时间,我从kafka(假设为11.00)获取数据(10000条记录),我需要将其汇总并插入HDFS中。因此,当下一个数据到达11.01时,我只需要汇总那些记录,而无需考虑任何WINDOW。

当我在Spark结构化流媒体中尝试相同操作时,出现以下错误

  org.apache.spark.sql.AnalysisException: Append output mode not supported when there are streaming aggregations on streaming DataFrames/DataSets without watermark;;

有什么方法可以在没有水印/窗口的情况下将数据插入HDFS位置?请提出建议/帮助

0 个答案:

没有答案