我是Apache Spark的新手, 我能得到一个如何为依赖图实现'展平'的片段吗? 即我说我有: 节点:A,B,C 边:( A,B),(B,C)
它会产生一个新的图表: 节点:A,B,C 边:(A,B)(A,C)(B,C)
答案 0 :(得分:0)
1)假设每个节点都在自己的行中
A
B
C
2)作为第一步,与自己进行CROSS JOIN。
A A
A B
A C
B A
B B
B C
C A
C B
C C
2)在第二步中筛选出重复节点名称的所有行。
A B
A C
B A
B C
C A
C B
3)发布从两个字段派生另一个字段,告诉你边缘。
A B AB
A C AC
B A BA
B C BC
C A CA
C B CB
您需要将其转换为(Scala / Python)语法。希望这会有所帮助。