Question

目的是通过输入值（json文件）对（键，值）进行排序。我有4种方法，两对映射器和缩减器。

输入类似于

{ 
  id: 1, 
  user: {
    friends_count: 1
  } 
}

mapper和reducer的第一阶段的输出类似于

A 1
B 2
C 3
D 4

我想要的是

1 A
2 B
3 C
4 D

在第一阶段按键排序工作正常，但在第二阶段，我试图使值成为键，抛出一个错误，说

TypeError：at 0x7fa43ea615a0＆gt;不是JSON可序列化的

我正在使用的代码是

from mrjob.job import MRJob
from mrjob.step import MRStep
import json

class MRFrnsCounter(MRJob):
    def steps(self):
        return [
            MRStep(mapper=self.mapper,
                   reducer=self.reducer),
            MRStep(mapper = self.mapper_two,
                    reducer = self.reducer_two)
        ]

def mapper(self, _, line):
    f = json.loads(line)
    (uid, frns) = f["id"],f["user"]["friends_count"]
    yield (uid), (frns)

def reducer(self, uid, frns):
    yield uid, sum(frns)

def mapper_two(self, uid, frns):
    yield (frns), (uid)

def reducer_two(self, frns, uid):
    yield (frns), uid

if __name__ == '__main__':
    MRFrnsCounter.run()

当键和值反转时，代码在第二个映射器中断。任何意见将不胜感激。

Answer 1

为什么不在第一个reducer中只有yield sum(frns), uid？

然而，在你的第二个映射器中，你试图产生一个生成器，而不是一个整数。通过发电机迭代产生frns，uid。像这样：

for num in frns:
    yield num, uid

Mapreduce无法按值排序[python]

1 个答案: