在数据集中,某些字符串列没有值或NA值,我想计算数据集中包含多少个这些空值?根据该值,确定对缺失值使用哪种方法。
我非常有效地尝试了用或表达式过滤每一列的数据框。我想以更有效,更整洁的方式过滤它们。最好不将其转换为rdd来执行此操作,但是如果无法使用数据帧执行这种rdd过滤方式,也是可以接受的。
我发现这个线程Spark SQL filter multiple fields与我的问题非常相似,但是我想要一种更简洁,更优雅的方式来编写此线程,因为我有很多列
// trainDataFull is my dataframe
val nullValues = Array("NA", "None")
val filtered = trainDataFull.filter(trainDataFull("Alley").isin(nullValues:_*) ||
trainDataFull("MSZoning").isin(nullValues:_*) ||
trainDataFull("Street").isin(nullValues:_*) ||
trainDataFull("LotShape").isin(nullValues:_*) ||
trainDataFull("LandContour").isin(nullValues:_*) ||
trainDataFull("Utilities").isin(nullValues:_*) ||
trainDataFull("LotConfig").isin(nullValues:_*) ||
trainDataFull("LandSlope").isin(nullValues:_*) ||
trainDataFull("Neighborhood").isin(nullValues:_*) ||
trainDataFull("Condition1").isin(nullValues:_*) ||
trainDataFull("Condition2").isin(nullValues:_*) ||
trainDataFull("BldgType").isin(nullValues:_*) ||
trainDataFull("HouseStyle").isin(nullValues:_*) ||
trainDataFull("RoofStyle").isin(nullValues:_*) ||
trainDataFull("RoofMatl").isin(nullValues:_*) ||
trainDataFull("Exterior1st").isin(nullValues:_*) ||
trainDataFull("Exterior2nd").isin(nullValues:_*) ||
trainDataFull("MasVnrType").isin(nullValues:_*) ||
trainDataFull("MasVnrArea").isin(nullValues:_*) ||
trainDataFull("ExterQual").isin(nullValues:_*) ||
trainDataFull("MasVnrArea").isin(nullValues:_*) ||
trainDataFull("ExterQual").isin(nullValues:_*) ||
trainDataFull("ExterCond").isin(nullValues:_*) ||
trainDataFull("Foundation").isin(nullValues:_*) ||
trainDataFull("BsmtQual").isin(nullValues:_*) ||
trainDataFull("BsmtCond").isin(nullValues:_*) ||
trainDataFull("BsmtExposure").isin(nullValues:_*)
)
我想看看哪一列有多少个空值。
答案 0 :(得分:0)
您始终可以通过编程方式生成查询
val nullValues = Array("NA", "None")
val df = Seq(("NA", "Foo"), ("None", "NA")).toDF("MSZoning", "Street")
val columns = df.schema.collect {
case StructField(name, StringType, _, _) =>
sum(when(col(name).isInCollection(nullValues), 1)).as(name)
}
df.select(columns:_*).show()
输出:
+--------+------+
|MSZoning|Street|
+--------+------+
| 2| 1|
+--------+------+