解析hiveserver2日志以获取用户,查询和错误

时间:2018-11-15 18:37:53

标签: parsing hive amazon-emr

我们有一个AWS EMR集群,用户可以在其中通过JDBC运行数千个查询。有时,刚回来时会显示一条错误消息,并向我们询问有关该错误的详细信息。 通常,我们最终会挖掘日志并获取详细信息。

相反,有人知道解析器会解析日志文件并提供用户,查询,时间和状态等详细信息吗?

还有,当通过JDBC触发查询时可以给我应用程序ID的任何python软件包/ API吗?

注意:我知道appID可以从资源管理器中获取,但这涉及到运行诸如yarn application等命令。我正在寻找API解决方案。

谢谢

0 个答案:

没有答案