使用python将空列添加到Spark中的数据框

Question

我有一个数据帧，我想用一个nother数据帧创建一个unionAll。问题是第二个数据帧的列多于第一个数据帧。有没有办法在我的第一个数据框中添加三列只有空单元格？

Answer 1

使用spark-dataframe的withColumn对象 DF.withColumn("NewCol","Value")

Answer 2

df.withColumn（'NewColumn'，lit（None）.cast（StringType（）））

Answer 3

也许这会有所帮助

要添加字符串类型列：

from pyspark.sql.types import StringType

df.withColumn("COL_NAME", lit(None).cast(StringType()))

要添加整数类型

from pyspark.sql.types import StringType

df.withColumn("COL_NAME", lit(0).cast(IntegerType()))