Question

在运行配置单元查询时，我需要查看HDinsights群集中使用的节点数。运行查询时如何查看此内容。我知道Ambari视图提供了此功能，但是我在哪里可以获取使用的确切节点数和存储量。谢谢

Answer 1

运行作业后，查看当前的Jobtracker日志，您可能会看到类似这样的条目-

2014-01-23 20:14:59,136 INFO org.apache.hadoop.mapred.JobInProgress: Input size for job job_201401221948_0006 = 1395667. Number of splits = 7
2014-01-23 20:14:59,137 INFO org.apache.hadoop.mapred.JobInProgress: tip:task_201401221948_0006_m_000000 has split on node:/fd0/ud0/localhost
2014-01-23 20:14:59,137 INFO org.apache.hadoop.mapred.JobInProgress: tip:task_201401221948_0006_m_000001 has split on node:/fd0/ud0/localhost

......

如果看到“拆分数= 1”，将有一个映射任务，并且您知道将仅使用节点。

，当“分割数”> 1时，对于每个分割，您将看到一个使用Tasktracker节点信息创建的地图任务，如下所示-

2014-01-23 20:14:59,153 INFO org.apache.hadoop.mapred.JobTracker: Adding task (JOB_SETUP) 'attempt_201401221948_0006_m_000008_0' to tip task_201401221948_0006_m_000008, for tracker 'tracker_workernode7:127.0.0.1/127.0.0.1:49200'

查看Hive查询中使用的节点数

1 个答案: