如何在Spark中使用过滤制作节点对？

Question

我在Spark和Scala中有以下DataFrame：

nodeId  typeFrom    typeTo     date
1       A           G          2016-10-12T12:10:00.000Z
2       B           A          2016-10-12T12:00:00.000Z
3       A           B          2016-10-12T12:05:00.000Z
4       D           C          2016-10-12T12:30:00.000Z
5       G           D          2016-10-12T12:35:00.000Z

我想在nodeId和typeFrom值相同的情况下为这些情况制作typeTo对。

上述示例的预期输出如下：

nodeId_1   nodeId_2   type    date
1          2          A       2016-10-12T12:10:00.000Z
3          2          A       2016-10-12T12:05:00.000Z
2          3          B       2016-10-12T12:00:00.000Z
4          5          C       2016-10-12T12:30:00.000Z
5          1          G       2016-10-12T12:35:00.000Z

我不知道如何成对nodeId：

df.
  .filter($"typeFrom" === $"typeTo")
  .???

Answer 1

您可以在B与nodeFrom匹配时使用自我加入：

nodeTo