Spark结构化流：GroupStateTimeout的java.lang.NoClassDefFoundError

Question

我正在尝试在https://spark.apache.org/docs/2.2.0/api/scala/index.html#org.apache.spark.sql.streaming.GroupState定义的Spark结构化流中使用mapGroupsWithState。

但是我得到了错误：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/streaming/GroupStateTimeout

似乎在包中找不到GroupStateTimeout类定义

我从以下位置将JAR用于spark-sql_2.11_2.2.0： https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11/2.2.0

当我打开JAR时，没有GroupStateTimeout的类定义。我不确定在这里是否缺少它，因为mapGroupsWithState似乎是一个文档齐全的功能。包中缺少类定义吗？

Answer 1

GroupStateTimeOut是 spark-catalyst 模块的一部分。请在这里看看：https://github.com/apache/spark/blob/master/sql/catalyst/src/main/java/org/apache/spark/sql/streaming/GroupStateTimeout.java

因此，您需要在项目中添加 火花催化剂 依赖项https://mvnrepository.com/artifact/org.apache.spark/spark-catalyst_2.11/2.2.0。希望它能解决您的问题