检查spark数据帧中的行值是否为null

Question

我在pyspark中使用自定义函数来检查spark数据帧中每一行的条件，如果condition为true则添加列。

代码如下：

from pyspark.sql.types import *
from pyspark.sql.functions import *
from pyspark.sql import Row

def customFunction(row):
    if (row.prod.isNull()):
        prod_1 = "new prod"
        return (row + Row(prod_1))
    else:
        prod_1 = row.prod
        return (row + Row(prod_1))

sdf = sdf_temp.map(customFunction)
sdf.show()

我在下面提到了错误：

AttributeError：＆＃39; unicode＆＃39;对象没有属性＆＃39; isNull＆＃39;

如何检查自定义函数中当前行中特定列的空值？

Answer 1

考虑到sdf是DataFrame，您可以使用select声明。

sdf.select("*", when(col("pro").isNull(), lit("new pro")).otherwise(col("pro")))