运行Pig Script时获取异常

Question

我在大约300GB的数据集上运行Pig Script时遇到以下错误。

  

错误：计数器数量超出限制 - 计数器= 120限制= 120

有没有人对如何解决问题 没有 修改Pig属性文件中的计数器配置有什么想法？

Answer 1

由于您需要修改配置文件，因此无法将其限定为正确答案。在没有修改某些配置文件的情况下，我认为目前没有任何办法。

现在这是纯粹的挑选，但实际上您可以在不修改Pig属性的情况下执行此操作。您需要做的就是在Hadoop配置文件中配置计数器限制。

将 mapreduce.job.counters.max 或 mapreduce.job.counters.limit （取决于您的Hadoop版本）添加到您的文件 mapred-site.xml 。例如

<property>
     <name>mapreduce.job.counters.limit</name>
     <value>256</value>
</property>

请记住重新启动所有节点管理器以及历史记录服务器。