如何加入DataFrames的地图? Scala Spark

时间:2018-07-02 18:17:57

标签: scala apache-spark dictionary join reduce

我有一个DataFrames的地图:

val myMap = Map(
    "name1" -> df1,
    "name2" -> df2,
    "name3" -> df3
)

我想将这些DataFrames加入到常见列的列表中:

val commonColumns = Seq("id", "time")

那么对于任何长度的df映射,我可以写什么语句来获得下面的效果?

val desiredDf = df1.join(df2, commonColumns).join(df3, commonColumns)

1 个答案:

答案 0 :(得分:1)

如何?

val desiredDf = myMap.values.reduce((l, r) => {
  l.join(r, commonColumns)
})