我在应用value=''
时收到以下错误消息。
线程“main”中的异常org.apache.spark.sql.AnalysisException:流数据框架/数据集上的聚合不支持更新模式下的flatMapGroupsWithState;
以下是我要做的事。
flatMapGroupsWithState
应用于上一步输出到组
groupByKey
将此聚合合并到以前的流状态。获取最后一步的错误消息。
此错误是否意味着我在数据集上应用flatMapGroupsWithState
后无法应用flatMapGroupsWithState
?
答案 0 :(得分:0)
此错误是否意味着我在数据集上应用
flatMapGroupsWithState
后无法应用agg(....)
?
不是真的。它说(突出我的)......
流数据框架/数据集上的聚合不支持更新模式下的flatMapGroupsWithState
这意味着您使用的默认输出模式是update
,而应该是complete
或append
,如Spark官方文档中所述{ {3}}(参见“使用flatMapGroupsWithState查询”查询类型)。