Question

正如网络上的many other locations所述，向现有DataFrame添加新列并不简单。不幸的是，拥有此功能非常重要（即使在分布式环境中效率很低），尤其是在尝试使用DataFrame连接两个unionAll时。

向null添加DataFrame列以促进unionAll的最优雅的解决方法是什么？

我的版本是这样的：

from pyspark.sql.types import StringType
from pyspark.sql.functions import UserDefinedFunction
to_none = UserDefinedFunction(lambda x: None, StringType())
new_df = old_df.withColumn('new_column', to_none(df_old['any_col_from_old']))

Answer 1

没有import StringType的选项

df = df.withColumn('foo', F.lit(None).cast('string'))

完整示例：

from pyspark.sql import SparkSession, functions as F

spark = SparkSession.builder.getOrCreate()

df = spark.range(1, 3).toDF('c')
df = df.withColumn('foo', F.lit(None).cast('string'))

df.printSchema()
#     root
#      |-- c: long (nullable = false)
#      |-- foo: string (nullable = true)

df.show()
#     +---+----+
#     |  c| foo|
#     +---+----+
#     |  1|null|
#     |  2|null|
#     +---+----+

Answer 2

我会将lit（None）转换为NullType而不是StringType。因此，如果我们必须过滤掉该列上的非空行...可以按照以下方式轻松完成

df = sc.parallelize([Row(1, "2"), Row(2, "3")]).toDF()

new_df = df.withColumn('new_column', lit(None).cast(NullType()))

new_df.printSchema() 

df_null = new_df.filter(col("new_column").isNull()).show()
df_non_null = new_df.filter(col("new_column").isNotNull()).show()

如果要转换为StringType，也要小心不要使用lit（＆＃34; None＆＃34;）（带引号），因为它无法在col上搜索具有过滤条件.isNull（）的记录（＆＃ 34; NEW_COLUMN＆＃34）

。

向Spark DataFrame添加一个空列

2 个答案: