如何访问Hive日志信息

时间:2013-09-30 05:23:10

标签: hadoop mapreduce hive hdfs hcatalog

我正在尝试分析Hive查询的性能。虽然我能够使用Java进行Hive查询,但我仍然需要访问每次查询后生成的日志信息。而不是使用黑客来读取磁盘上的最新日志,并使用正则表达式提取数字,我正在寻找一个优雅的方法,如果已经可用。

任何指针都会有所帮助。提前谢谢。

-lg

2 个答案:

答案 0 :(得分:1)

在Job Tracer中显示查询执行详细信息,如Status,Finished at,Finished in,您可以以编程方式访问作业跟踪器。此链接的相关信息

How could I programmatically get all the job tracker and tasktracker information that is displayed by Hadoop in the web interface?

答案 1 :(得分:0)

一旦hive开始运行,相应的map-reduce作业就会启动。可以在每个任务运行的相应tasktracker上找到此hadoop作业的日志。

使用jobclient API以编程方式检索这些日志。