确定Mappers&的数量在Pig脚本中启动Reducers

时间:2016-11-10 23:29:28

标签: hadoop hive apache-pig hortonworks-data-platform tez

我正在使用Hortonworks'沙箱VM运行Hadoop服务。我在Pig模式下执行了Tez过滤器脚本。与Hive不同,Pig日志(控制台)不会显示有关映射器数量的任何信息。减速机正在执行。我在找错了地方吗?

1 个答案:

答案 0 :(得分:0)

当您在Tez模式下运行时,它没有映射器或缩减器。 Tez使用任务的DAG(有向无环图)来处理数据。因此,映射器和缩减器由顶点和边缘替换。如果您使用Ambari,它会提供“Tez视图”以获取有关该作业的更多详细信息。此外,您可以启用/安装Tez UI(https://tez.apache.org/tez-ui.html)以查看该信息。