在Spark 1.5中串联两个数据框

时间:2018-09-27 09:55:33

标签: scala apache-spark

我在Scala中有两个数据框(最初是列表),我想附加它们。例如,如果我有: val df1 = List(1, 2, 3)val df2 = List(4, 5, 6)

我想最终得到一个包含两行的数据框


1 2 3

4 5 6

我发现在某个地方,如果将列表转换为实际的数据帧并执行类似val df = df1.union(df2)的操作,我会得到所需的东西,但是不幸的是,这似乎在Spark 1.5中不起作用

1 个答案:

答案 0 :(得分:0)

在您的示例中,df1和df2不是数据帧,而是列表。假设它们确实是数据帧,则可以执行以下操作:

val df3 = df1.unionAll(df2)