我在PySpark中有一个包含空格,Null和Nan的数据帧。 我想删除任何有这些行的行。我试过下面的命令,但似乎没什么用。
myDF.na.drop().show()
myDF.na.drop(how='any').show()
以下是数据框:
+---+----------+----------+-----+-----+
|age| category| date|empId| name|
+---+----------+----------+-----+-----+
| 25|electronic|17-01-2018| 101| abc|
| 24| sports|16-01-2018| 102| def|
| 23|electronic|17-01-2018| 103| hhh|
| 23|electronic|16-01-2018| 104| yyy|
| 29| men|12-01-2018| 105| ajay|
| 31| kids|17-01-2018| 106|vijay|
| | Men| nan| 107|Sumit|
+---+----------+----------+-----+-----+
我错过了什么?解决NULL,Nan或空格的最佳方法是什么,以便在实际计算中没有问题?
答案 0 :(得分:5)
NaN
(不是数字)具有不同的含义NULL
和空字符串只是一个正常值(可以使用csv reader自动转换为NULL),因此na.drop
赢了&#39 ; t匹配这些。
您可以将all转换为null并放弃
from pyspark.sql.functions import col, isnan, when, trim
df = spark.createDataFrame([
("", 1, 2.0), ("foo", None, 3.0), ("bar", 1, float("NaN")),
("good", 42, 42.0)])
def to_null(c):
return when(~(col(c).isNull() | isnan(col(c)) | (trim(col(c)) == "")), col(c))
df.select([to_null(c).alias(c) for c in df.columns]).na.drop().show()
# +----+---+----+
# | _1| _2| _3|
# +----+---+----+
# |good| 42|42.0|
# +----+---+----+