从hadoop中的稀疏矩阵中读取特定的行块

Question

我有一个矩阵存储如下

  

rowid，columnid，value

我想只读取一大块行并将其发送给映射器。例如，id = 1,2,3,4到mapper的行，5,6,7,8到另一个，... 有可能这样做吗？

Answer 1

不，除非你跳过一些严肃的箍，否则这可能是不可能的。这就是减少阶段的目的！将rowid设为reduce键（或基于它的某些计算......如(rowid-1)/4），这些块将被发送到同一个reducer。