引发错误：无法使用默认值将新列添加到数据框

Question

我正在尝试添加一些新的默认列来触发数据框。

var res = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], StructType(Seq()))
if (config.useMethod1) {
  res = data.withColumn("column1", lit("").cast(StringType)) // dummy 'column1'
} else {
  val sampleDF = getsampleDF() // contains column named 'column1'
  res = data.join(sampleDF, $"key1" === $"key2")
}

res.select($"column1")

此后，当我如上所述对'column1'进行选择时，出现错误，因为找不到列1。有人知道这里可能出什么问题吗？

如果我只运行以下内容，则可以正常运行：

val sampleDF = getsampleDF() // contains column named 'column1'
res = data.join(sampleDF, $"key1" === $"key2")
res.select($"column1")

谢谢！