如何在pyspark中创建新列？

Question

在我的pyspark DataFrame中，我有两列price1和price2。我想根据公式result创建一个新列((price1 - price2)/price1)。不过，我还要检查price1和price2是否为空，price1不是0。

如何使用这些条件正确创建新列？

现在我有了这个：

df = df.withColumn("result", df["price1"]-df["price2"]/df["price1"])

Answer 1

我认为你可以这样做：

df = df.withColumn("result", df["price1"]-df["price1"]/df["price2"]).fillna(0)

Answer 2

如果你可以使用udf，

from pyspark.sql import functions as F

udf = F.udf(lambda x,y : 0 if x == 0 or not all((x,y)) else x-y/x)
df = df.withColumn("result", udf(df["price1"],df["price2"]))

Answer 3

df = df.withColumn("result", 
when(df.col("price1").isNull OR df.col("price2").isNull OR df.col("price1")==0,0)
.otherwise(df.col("price1")-df.col("price2")/df.col("price1")))

这是使用scala来完成的。