Pyspark获取最大值不包括NaN

Question

df = spark.createDataFrame([(1.0,100.0, float('nan')), (float('nan'),100.0, 2.0)], ("a", "b"))
df.select(F.max(df.a)).show()

结果是：

+------+
|max(a)|
+------+
|   NaN|
+------+

我不想要NaN，我该怎么办？

Answer 1

你可以做到

df.na.fill(0) 

在您应用max过滤器

之前