如何使用pyspark选择数据框中的值？

Question

我正在尝试根据字符串（如UNKNOWN）从数据框中的列中选择值。

newDF = experimentsDF.select(experimentsDF.labs_col WHEN (experimentsDF.expirenement_desc == 'UNKNOWN')) 

我正在使用pyspark，我没有正确的语法。

你能帮我选择labs_col中的值吗？

Answer 1

Pyspark具有执行此操作的过滤功能：

experimentsDF.filter(experimentsDF.expirenement_desc == 'UNKNOWN').select('labs_col')

您也可以使用Where功能：

experimentsDF.where(col('expirenement_desc ')=='UNKOWN').select('labs_col')