我有一个图表，大约75％的连接只来自一个节点
e.g。如果所有节点的度数之和为100，则该节点的度数为75。
经过一些操纵， 关于该节点存在大量重复边缘。
假设1是这种节点
1,2
1,2
1,2
1,2
1,2
1,2
1,3
1,3
1,3
但是，它有太多的重复键来获取distinct（）边缘。 我在尝试使用distinct（）之前尝试重新分区，但它仍然没有解决太多重复的键，现在写入磁盘然后使用distinct（）解决了这个问题。
有没有更好的方法来处理这种极端偏斜问题？