不支持的文字类型类scala.collection.immutable.HashSet $ HashTrieSet

Question

我有一个带有ID列表的数据框。我想将其过滤为一组ID，然后使用.filter（）来做到这一点。

我遇到了这个错误。

java.lang.RuntimeException: Unsupported literal type class scala.collection.immutable.HashSet$HashTrieSet

我的代码非常简单。

val setofID = Set("112", "113", "114", "121", "118", "120")

val my_dfFiltered = my_df.filter($"id".isin(setofID)).persist

Answer 1

Set无法与isin一起使用，请使用Seq并使用类似varags的

val setofID = Set("112", "113", "114", "121", "118", "120").toSeq

val my_dfFiltered = my_df.filter($"id".isin(setofID:_*)).persist