如何使用＆＃34;在＆＃34;时填充Spark上的空值声明

Question

当另一列的值小于数字时，如何填充列的空值？

例如，

val filledage = age.na.fill(30,Array("Age")) ..... when kidscolumns>1 

类似的东西

谢谢！

Answer 1

假设您有dataframe

+----+-------+
|Age |column1|
+----+-------+
|null|6      |
|null|20     |
|35  |10     |
|25  |5      |
+----+-------+

并且当null值小于Age时，您希望将30列中的column1值替换为15，然后您就可以

import org.apache.spark.sql.functions._
val comparingValue = 15
df.withColumn("Age", when(col("column1")<comparingValue, lit(30)))

应该给你

+----+-------+
|Age |column1|
+----+-------+
|30  |6      |
|null|20     |
|30  |10     |
|30  |5      |
+----+-------+

我希望答案很有帮助