使用MapReduce查找不对称对

Question

我正在尝试分析包含follower和followee对的社交网络数据。

我希望使用MapReduce （Hadoop）找到asymmetric pairs （A跟随B但B不遵循A）。

但是，对于这对数据，我不确定mappers和一个 reducer应该如何处理数据，因为分离这些数据会影响结果。

有人可以向我解释如何使用MapReduce从大量数据中使用MapReduce 查找非对称对吗？

非常感谢。

P.S。我希望有一种方法可以使用许多Mappers来解决这类问题，即使我可能只需要使用一个Reducer。

Answer 1

以下是我解决问题的方法 （它有效，但可能不是最佳解决方案。如果有人有更好的答案，请告诉我。）

Each mapper计算关注者/关注者对的数量，同时使该对的顺序以小数字排在第一位，而较大的数字排在第二位。

  

0 - ＆gt; 1（ID 0跟随ID 1）
  1 - ＆gt; 0（ID 1跟随ID 0）

     

对（0,1）的计数为2

Single reducer收集计数的键值对，并检查该对的计数是否为。

1表示两个节点之间只有一个有向边。