Question

我对MapReduce很陌生。目前正在尝试完成Hadoop MapReduce的udacity课程。

我有一个解析论坛节点的映射器，我将获得与每个节点关联的标签。我的目标是对前10个标签进行排序。

示例输出：

video   1
cs101   1
meta    1
bug     1
issues  1
nationalities   1
cs101   1
welcome 1
cs101   1
cs212   1
cs262   1
cs253   1
discussion      1
meta    1

将它们全部添加到reducer中非常容易：

#!/usr/bin/python

import sys
import string

total = 0
oldKey = None

for line in sys.stdin:
    data_mapped = line.strip().split("\t")

    if(len(data_mapped) != 2):
        print "====================="
        print line.strip()
        print "====================="
        continue

    key, value = data_mapped

    if oldKey and oldKey != key:
        print total, "\t", oldKey
        oldKey = key;
        total = 0

    oldKey = key
    total += float(value)

if oldKey != None:
    print total, "\t", oldKey

输出：

1.0     application
1.0     board
1.0     browsers
1.0     bug
8.0     cs101
1.0     cs212
5.0     cs253
1.0     cs262
1.0     deadlines
1.0     digital
5.0     discussion
1.0     google-appengine
2.0     homework
1.0     html
1.0     hungarian
1.0     hw2-1
3.0     issues
2.0     jobs
2.0     lessons

我知道键是在映射器的输出中排序的，因此我只测试键是否仍然是相同的标签。如果没有，那么我将输出标签出现的次数。

但问题是如何对此列表进行排序？

如果我将所有信息存储在列表或字典中，我可以在python中对列表进行排序。然而，这似乎是一个糟糕的设计决定，因为如果你有很多不同的标签，你就会失去记忆。

Answer 1

我相信你可以在这里使用collections.Counter课程：

示例：（从您的代码中修改）

#!/usr/bin/python

import sys
import collections

counter = collections.Counter()

for line in sys.stdin:
    k, v = line.strip().split("\t", 2)

    counter[k] += int(v)

print counter.most_common(10)

collections.Counter()类实现了这个确切的用例和许多其他常见的用例，包括计算事物和收集各种统计数据等。

8.3.1。计数器对象提供计数器工具以支持方便快捷的计数器。例如：

MapReduce（Python） - 如何为Top-N列表排序reducer输出？

1 个答案: