如何在映射器中使用自定义Writable? Hadoop的

时间:2016-11-05 02:22:49

标签: java hadoop mapreduce hadoop-streaming hadoop-partitioning

我正在尝试为以下问题编写mapreducer程序。

问题:

  1. 确定存储在csv文件中的每条推文的长度
  2. 特定长度的推文发生了多长时间
  3. 计算他们的平均值
  4. 还给出了下面的客户可写(对)。假设对完全实现。如何在映射器中使用自定义可写(Pair)来解决问题?

    我可以通过简化解析文本并确定映射器中每条推文的长度来解决问题,而无需使用自定义Writable(Pair)。关键是长度(int),值将是特定长度的出现。然后,将它们传递给减速机。但是,如果我想在映射器中使用Pair自定义可写,我该怎么做?请向我解释如何实现这一目标。

    `public class Pair实现WritableComparable     {

       private IntWritable a;
       private IntWritable b;
       public Pair()
       {}
       public Pair(int a, int b) 
       {}
        ...
        ...
    
    }`
    

0 个答案:

没有答案