Question

我正在尝试编写一个代码，我试图获取访问该网站的前十个IPAddress。我有样本日志，第一个MR代码的输出如下：

01-dynamic-c.rotterdam.luna.net 1
01-dynamic-c.wokingham.luna.net 28
02-dynamic-c.wokingham.luna.net 13
03-dynamic-c.wokingham.luna.net 15
04-dynamic-c.rotterdam.luna.net 22

现在我想在第二个MR作业中计算TopN，但树图的大小在mapper中始终为1。看起来像树图上的put操作一直在替换我的旧条目。

private TreeMap<Text, Integer> repToRecordMap = new TreeMap<Text, Integer>();
int count = 0;

@Override
public void map(Text key, Text value, Context context)
        throws IOException, InterruptedException {
    System.out.println("key ==> " + key);
    System.out.println("value ==> "
            + Integer.parseInt(value.toString()));
    System.out.println("size ==> " + repToRecordMap.size());

    repToRecordMap.put(key, Integer.parseInt(value.toString()));

}

以下是System.out在日志中打印的内容：

key ==> ***.novo.dk
value ==> 16
**size ==> 1**
key ==> 007.thegap.com
value ==> 45
**size ==> 1**
key ==> 01-dynamic-c.rotterdam.luna.net
value ==> 1
**size ==> 1**

每次我有一个新密钥但是大小始终为1表示它一直用新密钥替换旧密钥。请帮助我为什么会这样？

由于

Answer 1

您应该将文字对象转换为字符串并定义Map<String, Integer>。 MapReduce框架重用时可以使用可序列化的对象进行内存优化。我认为这就是你的情况，文本对象是相同的（在对象级别），即使它们代表不同的字符串。

MapReduce代码中的TreeMap大小始终为1

1 个答案: