Question

我试图用伪代码写一个MapReduce任务，该任务返回按降序排序的项目。例如：对于wordcount任务，而不是获取：

apple 1
banana 3
mango 2

我希望输出为：

banana 3
mango 2
apple 1

有关如何做的任何想法？我知道如何按升序执行（替换映射器作业中的键和值），但不是按降序排列。

Answer 1

您可以在此处获取以下reducer代码的帮助，以按降序排序。

假设您已经编写了映射器和驱动程序代码，其中mapper将生成输出为（Banana，1）等

在reducer中，我们将对特定键的所有值求和，并将最终结果放在一个映射中，然后根据值对映射进行排序，并在reduce的清理函数中写入最终结果。

请参阅以下代码以了解更多信息：

public class Word_Reducer extends Reducer<Text,IntWritable, Text , 
  IntWritable> {
// Change access modifier as per your need 
 public Map<String , Integer > map = new LinkedHashMap<String , Integer>();
 public void reduce(Text key , Iterable<IntWritable> values ,Context context 
)
 {

// write logic for your reducer 
// Enter reduced values in map for each key
for (IntWritable value : values ){

    // calculate "count" associated with each word 

}
 map.put(key.toString() , count); 



     }

      public void cleanup(Context context){ 
    //Cleanup is called once at the end to finish off anything for reducer
    //Here we will write our final output
    Map<String , Integer>  sortedMap = new HashMap<String , Integer>();

   /
  sortedMap = sortMap(map);

    for (Map.Entry<String,Integer> entry = sortedMap.entrySet()){
    context.write(new Text(entry.getKey()),new 
      IntWritable(entry.getValue()));
      }


     }
     public Map<String , Integer > sortMap (Map<String,Integer> unsortMap){

  Map<String ,Integer> hashmap = new LinkedHashMap<String,Integer>();
   int count=0;
   List<Map.Entry<String,Integer>> list = new 
  LinkedList<Map.Entry<String,Integer>>(unsortMap.entrySet());
//Sorting the list we created from unsorted Map
   Collections.sort(list , new Comparator<Map.Entry<String,Integer>>(){

    public int compare (Map.Entry<String , Integer> o1 , Map.Entry<String , 
         Integer> o2 ){
        //sorting in descending order
        return o2.getValue().compareTo(o1.getValue());

    }


});

   for(Map.Entry<String, Integer> entry : list){
    // only writing top 3 in the sorted map 
      if(count>2)
        break;

      hashmap.put(entry.getKey(),entry.getValue());


}

  return hashmap ;

}

  }

MapReduce按降序排序

1 个答案: