我正在使用Pig脚本处理50+百万个数据,并且在脚本结尾处,我们在转储数据之前使用了rank函数:我得到的错误如下:
猪作业失败,出现“ org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器过多:121个max = 120”。
我在猪脚本中使用了以下解决方案:
设置mapreduce.job.counters.max 1000;
但是我在等级函数上仍然遇到相同的错误。
如果有人能帮助我,或者只是提供另一种在数据上应用秩函数而又不会出错的方法,我将不胜感激。