我正在对流数据进行一些聚合并将其插入HDFS位置。 在特定的时间,我从kafka(假设为11.00)获取数据(10000条记录),我需要将其汇总并插入HDFS中。因此,当下一个数据到达11.01时,我只需要汇总那些记录,而无需考虑任何WINDOW。
当我在Spark结构化流媒体中尝试相同操作时,出现以下错误
org.apache.spark.sql.AnalysisException: Append output mode not supported when there are streaming aggregations on streaming DataFrames/DataSets without watermark;;
有什么方法可以在没有水印/窗口的情况下将数据插入HDFS位置?请提出建议/帮助