默认情况下,mrJob以键[tab]输出格式存储键和输出值。
即使键(或值)为空,null或其他不感兴趣,也会发生这种情况。假设我的键,值对是None,{“a”:1“,”b“:1}。然后我明白了:
None {"a":1, "b":2}
有没有办法压制密钥或值?我只想要这个:
{"a":1, "b":2}
顺便说一句,我已经尝试过了。我错过了什么......?
class MyMrJobClass(MRJob):
OUTPUT_PROTOCOL = mrjob.protocol.JSONProtocol
def step1_mapper(self, _, line):
...
yield my_key, my_value
def step1_reducer(self, key, values):
for v in values:
...
yield None, my_data
def steps(self):
return [
self.mr(
mapper=self.step1_mapper,
reducer=self.step1_reducer,
),
]
注意:我知道我不需要覆盖单步作业的步骤。这最终将是一个多步骤的工作,因此以这种方式构建类非常重要。
谢谢!
答案 0 :(得分:5)
您可以使用mrjob.protocol.JSONValueProtocol
(注意值。请参阅documentation)作为输出协议,而不是mrjob.protocol.JSONProtocol
。
该文档包含有关使用custom protocols的更多信息。