Scala:在数据框中定义主键

时间:2017-01-19 21:48:21

标签: apache-spark primary-key spark-dataframe

使用数据框时是否可以定义主键? 我有两个数据框,我加入了“ID”。现在我想选择“Date”并在输出中收到主键“ID”。

val join1 = df_2.join(df_3, df_3.col("ID") === df_2.col("APPLICATION2_ID")) 
val joinFinal = join1.join(df_1, df_1.col("ID") === join1.col("ID"))

1 个答案:

答案 0 :(得分:2)

为了在加入相同名称的列时删除重复列,请使用Seq版本:

val joinFinal = join1.join(df_1, Seq("ID"))