使用Java在Spark Data Frame中添加空值列

Question

我有一个数据框，想要添加一个类型为String的列，其值为空。 如何使用Spark Java API完成。

我使用lit函数，但在尝试编写DF和saveAsTable时收到错误。

Answer 1

能够通过在具有空值的列上使用lit函数来解决，并将类型转换为String类型。

df.withColumn(
 "col_name", functions.lit(null)
).withColumn("col_name", 
  df.col("channel_name").cast(DataTypes.StringType)
)

Answer 2

df.withColumn("col_name", lit(null).cast("string"))

或

import org.apache.spark.sql.types.StringType

df.withColumn("col_name", lit(null).cast(StringType))