您好我们正在最近升级的CDH 4环境中运行配置单元查询。我注意到的一件事是,早先在CDH 3中我们能够在Job tracker中跟踪我们的查询。
类似于"主机名:50030 / jobconf.jsp?jobid = job_12345"的链接会有一个参数" hive.query.string"或" mapred.jdbc.input.bounding.query"其中包含执行MR作业的实际查询。
但是在CDH4中,我看不到我可以在哪里获得查询。许多查询并行运行以跟踪我们所关注的查询。
答案 0 :(得分:0)
您仍然可以在作业跟踪器中查看配置单元查询。
根据以下网址名称中的作业ID获取作业信息:50030 / jobtracker.jsp
您可以在页面顶部找到下面提到的一些详细信息。
历史查看器上的Hadoop Job 4651 用户:xxxx JobName:test.jar
JobConf:
HDFS://域:端口/用户/ XXXX / .staging / job_201403111534_4651 / job.xml
Job-ACLs:允许所有用户提交时间:2014年3月14日03:15:19
发布时间:2014年3月14日03:15:19(0秒)完成日期:2014年3月14日
03:18:04(2分钟,44秒)状态:未完成分析此工作
现在点击Job Conf旁边的网址,您会找到提交的配置单元查询。
答案 1 :(得分:0)
我看到每个作业的查询参数都可以在HDFS本身的.staging文件夹中找到,并且可以解析以获得与Job_Ids相关的查询。