Question

下面的代码可以正常工作，但是如果5列NULL中的任何一个字段是SAL1, SAL2, SAL3, SAL4, SAL5，则对应的TOTAL_SALARY为NULL。似乎需要创建一些空条件或spark udfs，请您提供帮助。

输入：

NO NAME ADDR SAL1 SAL2 SAL3 SAL4 SAL5
1  ABC  IND  100  200  300  null 400
2  XYZ  USA  200  333  209  232  444

第二条记录的总和很好，但是在第一条记录中，由于SAL4中为空，输出也为空。

from pyspark.shell import spark
from pyspark.sql import functions as F
from pyspark.sql.types import StringType
sc = spark.sparkContext

df = spark.read.option("header","true").option("delimiter", ",").csv("C:\\TEST.txt")
df.createOrReplaceTempView("table1")
df1 = spark.sql( "select * from table1" )
df2 = df1.groupBy('NO', 'NAME', 'ADDR').agg(F.sum(df1.SAL1 + df1.SAL2 + df1.SAL3 + df1.SAL4 + df1.SAL5).alias("TOTAL_SALARY"))
df2.show()

预先感谢

Answer 1

只需在您的代码中放入na.fill(0)。这会将NULL值替换为0，您应该能够执行该操作。

因此您的最后一行应如下所示：

df2 = df1.na.fill(0).groupBy('NO', 'NAME', 'ADDR').agg(F.sum(df1.SAL1 + df1.SAL2 + df1.SAL3 + df1.SAL4 + df1.SAL5).alias("TOTAL_SALARY"))

似乎sum函数应该能够正确处理Null值。我刚刚测试了以下代码：

df_new = spark.createDataFrame([
(1, 4), (2, None),  (3,None), (4,None),
(5,5), (6,None), (7,None),(1, 4), (2, 8),  (3,9), (4,1),(1, 2), (2, 1), (3,3), (4,7),
], ("customer_id", "balance"))
df_new.groupBy("customer_id").agg(sum(col("balance"))).show()
df_new.na.fill(0).groupBy("customer_id").agg(sum(col("balance"))).show()

输出：

+-----------+------------+
|customer_id|sum(balance)|
+-----------+------------+
|          7|        null|
|          6|        null|
|          5|           5|
|          1|          10|
|          3|          12|
|          2|           9|
|          4|           8|
+-----------+------------+
+-----------+------------+
|customer_id|sum(balance)|
+-----------+------------+
|          7|           0|
|          6|           0|
|          5|           5|
|          1|          10|
|          3|          12|
|          2|           9|
|          4|           8|
+-----------+------------+

如果总和中的所有值均为NULL，则版本1仅包含NULL值。版本2会返回0，因为所有NULL值都将替换为0

Answer 2

基本上在代码行下方，检查所有5个SAL字段，如果为空，则将其替换为0。如果不保留原始值，则为

df1 = df.withColumn("SAL1", when(df.SAL1.isNull(), lit(0)).otherwise(df.SAL1))\
            .withColumn("SAL2", when(df.SAL2.isNull(), lit(0)).otherwise(df.SAL2))\
            .withColumn("SAL3", when(df.SAL3.isNull(), lit(0)).otherwise(df.SAL3))\
            .withColumn("SAL4", when(df.SAL4.isNull(), lit(0)).otherwise(df.SAL4))\
            .withColumn("SAL5", when(df.SAL5.isNull(), lit(0)).otherwise(df.SAL5))\

spark数据框无法替换NULL值

2 个答案: