Question

使用Elastic Map Reduce时出现错误，我不确定它是什么意思，因为它不是很具描述性。我想知道具体到哪种JSONDecodeError。 “12”不具有描述性。这是输出。我正在使用MRjob类

writing to step-0-mapper_part-00000
writing to step-0-mapper_part-00001
Counters from step 1:
  Undecodable input:
    JSONDecodeError: 12
  Unencodable output:
   TypeError: 2
writing to /tmp/emr_irene.ec2-user.20130716.171313.288877/step-0-mapper-sorted
> sort /tmp/emr_irene.ec2-user.20130716.171313.288877/step-0-mapper_part-00000 /tmp/emr_irene.ec2-     user.20130716.171313.288877/step-0-mapper_part-00001
writing to step-0-reducer_part-00000
Counters from step 1:
 Undecodable input:
 JSONDecodeError: 12
 Unencodable output:
   TypeError: 2

Answer 1

在这种情况下，数字12是您拥有的json编码错误的数量。为了明确地找出他们失败的最佳方式，我知道如何通过减少输入集并通过重新运行来纠正问题。

Answer 2

如果您正在使用Amazon AWS，则可以运行以下脚本，您将获得有关错误的更多信息：

python -m mrjob.tools.emr.fetch_logs --find-failure YOUR_JOB_ID

弹性地图减少错误

2 个答案: