具有TaskStart行但没有TaskEnd行的配置单元日志的重要性是什么?

时间:2014-09-08 21:35:59

标签: logging hadoop cron hive bigdata

某些上下文:我已经设置了一个cron作业来对hive进行一些处理,但它现在已经失败了。 cron日志记录了一个通用"查询返回的非零代码:9,原因:FAILED:执行错误,从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1"安排作业时出错。然而,更有趣的是每个失败的作业的配置单元日志文件。他们遵循模板:

SessionStart [stuff]
QueryStart [stuff]
Counters [stuff]
TaskStart [stuff]
Counters [stuff]
Counters [stuff]
QueryEnd [stuff]

查看有效的作业的日志,日志中首先有更多的行(这是有意义的,因为这是在一系列查询的第一个中失败),其次每个TaskStart行都与TaskEnd配对与失败作业的日志不同。等效的[stuff]似乎在失败的日志和成功的日志之间匹配。缺少一个TaskEnd似乎是最重要的区别,这就是为什么我要特别询问它。

这可能是非常不完整的信息,以推断任何重要的,但我想我也可以问。任何帮助都将受到极大的赞赏。

1 个答案:

答案 0 :(得分:0)

节俭在处理过程中死亡。