我一直在尝试在Amazon EMR上执行多个步骤的猪作业。以下是我的环境的详细信息：
节点数：20 AMI版本：3.1.0 Hadoop发布：2.4.0
猪脚本有多个步骤，它会产生一个长时间运行的地图减少作业，同时具有地图阶段和减少阶段。运行一段时间后（有时一小时，有时三到四次），工作就会被杀死。有关该作业的资源管理器的信息是：
杀死hadoop（auth：SIMPLE）的工作 工作在RUNNING状态下收到Kill。
显然，我没有杀死它：）
我的问题是：我该如何确定究竟发生了什么？我该如何诊断问题？要查看哪些日志文件（grep用于什么）？即使适当的日志文件将非常有用，任何帮助。我是YARN / Hadoop 2.0的新手
答案 0 :(得分：0)
可能有很多原因。在群集上启用调试，并在stderr日志中查看更多信息。
aws emr create-cluster --name "Test cluster" --ami-version 3.9 --log-uri s3://mybucket/logs/ \
--enable-debugging --applications Name=Hue Name=Hive Name=Pig
此处有更多详情： http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-debugging.html