Spark SQL DF - 如何为`Column`的`isin`方法动态传递多个值

Question

我正在尝试使用where condition过滤Spark SQL DataFrame。

例如： [工作一个]

null

我正在尝试的是，我试图动态地构建它，而不是对foreach($mydata as $key => $data) <select name="sel[]" class="selectpicker" multiple_title="selections"> <option value="$key">$data</option> </select> 值进行硬编码。所以我构建了一个包含所有df.where(col("pType").isin("type1","type2")) 值的List（String）。

例如，如果我有pType，如何将此列表用于pType方法？

Answer 1

您可以使用Scala的语法将集合转换为“重复参数”（Java-speak中的AKA“varargs”以及其他语言），请参阅Scala Language Specification中的4.6.2节：

val list = List("type1","type2")
df.where(col("pType").isin(list: _*))