Spark加入后会改变列的可空性

时间:2018-06-12 15:15:38

标签: apache-spark

我有三个具有指定架构的数据帧。在加入之前,所有列都可以为空。但是,在(左外部)连接之后,即使没有应用udf的列也会改变它们的可空性。而且我没有看到他们如何改变它的逻辑。并非所有列都不可为空。 有人遇到过这个吗?

基本上,我做的是这样的事情:

val joinedDf = broadcast (df1).join(df2, col("idInDf1")===col("idInDf2"), "left_outer").join(df3, col("idInDf1")===col("idInDf3),"left_outer")

0 个答案:

没有答案