在Pyspark过滤操作

Question

我有一个数据框 dataframe1 ，我想从此数据框中获取一些过滤记录，我已成功应用喜欢和 isin 操作它：

dataframe1.where((col('string_v').like("d_ms%"))).show()
dataframe1.where((col('string_v').isin("d_ms-92","d_ms_93"))).show()

但有些人可以帮助我如何使用pyspark应用过滤条件 not isin 和不喜欢，我们将不胜感激。

Answer 1

无论

dataframe1.where(~(col('string_v').like("d_ms%"))).show()
dataframe1.where(~(col('string_v').isin("d_ms-92","d_ms_93"))).show()

或

from pyspark.sql.functions import not

dataframe1.where(not(col('string_v').like("d_ms%"))).show()
dataframe1.where(not(col('string_v').isin("d_ms-92","d_ms_93"))).show()