Mrjob步骤失败。如何调试?

时间:2018-10-03 11:55:45

标签: python amazon-emr mrjob common-crawl

我正在尝试在EMR集群中运行示例=1*(MIN(B2:H2)<0) 。我已经在AWS仪表板中手动创建了EMR集群,并按如下所示启动了mrjob

mrjob

作业因以下错误消息而失败

python keywords.py -r emr s3://commoncrawl/crawl-data/CC-MAIN-2018-34/wet.paths.gz --cluster-id j-22GFG1FUGS12L

我如何查看失败消息?

1 个答案:

答案 0 :(得分:0)

请参阅EMR docs,以获取作业和任务日志。因为挖掘集群日志并非易事,所以我建议使用mrjob's local runner全面测试Python代码。