Question

给出两个数据框，它们可能具有完全不同的架构，除了索引列（在这种情况下为timestamp）之外，例如下面的df1和df2：

df1：

timestamp | length | width
    1     |   10   |  20
    3     |    5   |   3

df2：

timestamp |  name    | length
    0     | "sample" |    3
    2     | "test"   |    6

如何将这两个数据帧组合成一个看起来像这样的东西：

df3：

timestamp |     df1        |     df2
          | length | width |   name   | length  
    0     |   null |  null | "sample" |    3
    1     |   10   |  20   |   null   |   null
    2     |   null |  null | "test"   |    6
    3     |    5   |   3   |   null   |   null

我非常陌生，所以这实际上可能没有多大意义。但是我要解决的问题是：我需要组合这些数据框，以便以后可以将每一行转换为给定的对象。但是，它们必须按时间戳进行排序，因此当我写出这些对象时，它们的顺序正确。

因此，例如，鉴于上述df3，我将能够生成以下对象列表：

objs = [
 ObjectType1(timestamp=0, name="sample", length=3),
 ObjectType2(timestamp=1, length=10, width=20),
 ObjectType1(timestamp=2, name="test", length=6),
 ObjectType2(timestamp=3, length=5, width=3)
]

也许合并数据帧没有任何意义，但是我如何才能单独对数据帧进行排序，并以某种方式从Row全局排序的每个数据帧中抓取timestamp呢？

P.S .：请注意，我在两个数据帧中都重复了length。这样做是为了说明它们可能具有相同名称和类型的列，但表示完全不同的数据，因此合并架构是不可能的。

Answer 1

您需要的是完全外部联接，可能重命名其中一列，例如df1.join(df2.withColumnRenamed("length","length2"), Seq("timestamp"),"full_outer")

查看此示例，该示例是根据您的示例构建的（只需输入较少的内容）

// data shaped as your example
case class t1(ts:Int, width:Int,l:Int)
case class t2(ts:Int, width:Int,l:Int)
// create data frames
val df1 = Seq(t1(1,10,20),t1(3,5,3)).toDF
val df2 = Seq(t2(0,"sample",3),t2(2,"test",6)).toDF
df1.join(df2.withColumnRenamed("l","l2"),Seq("ts"),"full_outer").sort("ts").show
+---+-----+----+------+----+                                                    
| ts|width|   l|  name|  l2|
+---+-----+----+------+----+
|  0| null|null|sample|   3|
|  1|   10|  20|  null|null|
|  2| null|null|  test|   6|
|  3|    5|   3|  null|null|
+---+-----+----+------+----+

如何将不同的数据帧组合在一起并分类为一个？

1 个答案: